The concept of cloud computing has been introduced for several years. Many of us may be able to roughly imagine what it is, some of us may know how to describe it, but only a few do know how to implement it. Does NoSQL, MapReduce or Big Data equal to cloud computing? Can a service be said that it is cloud-based if it is using any of those tools? Many companies and groups have declared that their online services are cloud-based or they are using cloud computing, but are those all true? Except for the questions above, where should we start if we would like to establish a cloud-based service which is distributed, flexible, reliable, available, scalable and stable? This session intends to lead you through the gate of mysteries and head to the beautiful realm of cloud computing by using powerful tools, like Hazelcast. Welcome to journey with us to the core of cloud computing application! https://cyberjos.blog/java/seminar/jcconf-2014-establish-the-core-of-cloud-computing-application-by-using-hazelcast/

1. #JCConf
Establish The Core of
Cloud Computing Application
by Using Hazelcast
Joseph Kuo （趨勢科技）
a.k.a. CyberJos

2. #JCConf
About Me
●
家裡沒錢買硬碟機和光碟機，無法玩大富
翁和三國志，只好用 386 電腦寫程式
●
大學唸數學系時玩了一堆語言和架構
●
擔任過資訊講師，並曾任職於遊戲雲端平
台公司和全球電子商務公司
●
現任職於趨勢科技
●
希望能一輩子玩技術寫程式到老

3. #JCConf
Agenda
●
什麼是雲端？
●
雲端運算程式簡介
●
Hazelcast 簡介
●
Hazelcast 基本功能
●
Hazelcast 實戰
●
Hazelcast 進階
●
Demo

4. #JCConf
什麼是雲端？

5. #JCConf

6. #JCConf
什麼是雲端？
●
最近幾年很紅，和奈米ＸＸ一樣
●
好像很厲害的樣子
●
許多服務都號稱雲端，但用起來沒感覺
●
聽說有神人從雲端上駭出了不雅照？
●
雲端旅館、雲端咖啡、雲端情人（咦？
●
台灣雲端運算產業元年？

7. #JCConf
什麼是雲端？

8. #JCConf
結果……

9. #JCConf

10. #JCConf
什麼是雲端？
●
維基說：雲端是一種基於網際網路的運算
方式，共享的軟硬體資源和資訊可按需求
提供給其他的電腦裝置
●
雲端運算是概念而不是新技術，利用網路
將資源串連共享並動態提供客戶端服務。
●
使用者不需了解細節。對他們來說，用起
來好像沒有差異。
●
對程式設計師來說，呃……

11. #JCConf
和之前的ＸＸ運算有什麼不同？

12. #JCConf
各式網路運算
●
分散式運算：將大型工作分成數個較小的
工作，並交由網內各電腦分別計算完成後
再整合其結果。
●
網格運算：將各式不同平台、架構的電腦
在公開的規格下，通過分散式運算的方式
整合以利用空閒資源。
●
雲端運算：經由網路取得遠端運算資源，
從而減輕本地客戶端的負擔。

13. #JCConf
雲端運算的歷史
●
2006 年 Amazon 推出彈性運算服務
●
2006 年 8 月， Google 提出雲端運算概念
●
2007 年 10 月， Google 與 IBM 在美國大學
校園推廣雲端運算計畫
●
2008 年 7 月， Yahoo, HP 與 Intel 宣布跨國
聯合研究試驗計畫
●
2010 年 3 月， Novell 與雲端安全聯盟 CSA
宣佈供應商中立「可信任雲端運算計畫」

14. #JCConf
雲端運算概念

15. #JCConf
雲端五四三，呃…是五四三二一

16. #JCConf
雲端的五種基本特徵
●
On-Demand Self-Service ：自我隨需服務
●
Broad Network Access ：廣域網路存取
●
Resource Pooling ：多人共享資源
●
Rapid Elasticity ：快速彈性縮放
●
Measured Service ：監控量測服務

17. #JCConf
雲端的四種部署類型
●
Private Cloud ：私有雲，企業內部
●
Community Cloud ：社群雲，特定群組
●
Public Cloud ：公有雲
●
Hybrid Cloud ：混合雲

18. #JCConf
雲端的三種服務模式
●
SaaS ：軟體即服務，消費者使用應用程式
但不掌控作業系統與硬體，如： MS CRM
●
PaaS ：平台即服務，消費者掌控應用程式
環境，但不掌控作業系統與硬體，如：
Google App Engine
●
IaaS ：基礎架構即服務，消費者使用基礎
硬體資源，但不掌控雲端架構，如：
Amazon AWS

19. #JCConf
雲端的兩大研究方法
●
Cloud 雲：集中式雲端伺服機櫃與機房
●
Terminal 端：各式異質終端裝置

20. #JCConf
雲端的一個重要精神
Anytime
Anywhere
With Any Devices
Accessing Any Services

21. #JCConf
雲端程式的特性
●
隨需求而改變服務
●
客戶端共享資源與資料
●
快速重新部署
●
可監控與量測
●
動態擴充功能、具有彈性
●
虛擬化技術
●
巨量資料及繁重運算

22. #JCConf
雲端程式的特性
使用者利用各式異質裝置，享用網路上遠
端機器的資源與服務。工作自動拆分成數
個較小單元的任務，分送到叢集中的各個
節點上去運算與分析，並將結果整合後回
傳給使用者。

23. #JCConf
說的很好聽，啊然後咧…？

24. #JCConf
Hazelcast 簡介
Hazelcast 是一套 Java 的 in-memory 網格資
料套件，藉由串連叢集中的所有節點，將
資料平均分散，並共享各節點的運算能力
與儲存空間以提供服務，且有能力容許節
點意外斷線或當機。

25. #JCConf

26. #JCConf
誰正在用 Hazelcast ？
●
Apache Camel, Apache Shiro, Apache Karaf
●
Atlassian Stash & Confluence
●
Mulesof
●
OrientDB
●
WS02 Carbon & CEP
●
OpenFire
●
Petals ESB

27. #JCConf
Hazelcast 特色
●
分散式 Queue, Set, List, Map, MultiMap,
Lock, ExecutorService, JCache
●
分散式 Topic, Indexing, Query support
●
Socket 層級加密與成員事件處理
●
支援客戶端存取遠端叢集
●
動態 HTTP 叢集、縮放、備份、錯誤回復
●
Web 監控工具

28. #JCConf
Hazelcast 用途
●
In-Memory NoSQL KV Store
●
Cache
●
Messaging
●
Application Scaling
●
Data Grid
●
Clustering

29. #JCConf
In-Memory NoSQL KV Store
●
以 Key-value 方式將資料儲存在記憶體，使
其存取速度快，並且克服了兩項缺點：
– 擴展性：利用叢集將同一份資料儲存在不同節點，並
可同時使用該節點的 CPU 與 RAM 資源來達成擴展。
可依需求在小叢集中使用，或是搭配其他資料源
– 揮發性：使用點對點資料分散技術來避免單一節點掛
掉。預設每份資料會儲存兩份，其值可以調大，但會
降低整體記憶體的可用性。同時亦提供節點備份、異
地備援與寫入硬碟等選擇

30. #JCConf
In-Memory NoSQL KV Store
●
動態的可擴展式分區儲存系統，可自動平
衡資料。當節點掛掉而重新平衡時，會稍
微降低 CPU, RAM 與網路的效能。
●
Java 的 GC 機制：大量資料在記憶體時會導
致 GC 時間拉長。 Hazelcast 用 High-Density
Memory Store （ NIO DirectByteBuffers ）將
資料切成 chunk 來降低 GC 造成的影響。

31. #JCConf
Cache
●
Elastic Memcached ：可做為 Memcached 的
替代品，供其他語言的 Memcached 套件使
用。優點為可動態增加節點、無需架設快
取伺服器、易於維護、多種新功能、簡單
好用、備份功能、易於部署
●
Hibernate 2nd Level Cache ：節點共享快取
●
Spring Cache ：支援 Spring 快取外掛模組

32. #JCConf
Messaging
●
各節點之間可互傳訊息，並可依此實作
Event Bus 。節點可以發佈訊息或是訂閱特
定 Topic 以發送或接收訊息。 Hazelcast 使
用 publish/subscribe 模式來處理分散式訊息
機制。

33. #JCConf
Application Scaling
●
Elastic Scalability ：增加節點叢集
●
Super Speeds ：記憶體內處理速度
●
High Availability ：提供備份，甚或跨網域
●
Fault Tolerance ：容許節點意外結束
●
Cloud Readiness ：可部署在 EC2

34. #JCConf
Data Grid
●
Scale-out Computing ：使用節點運算資源
●
Resilience ：節點結束不會丟資料或降效能
●
Programming Model ：對程式設計師友善
●
Fast, Big Data ：將巨量資料存放於記憶體
●
Dynamic Scalability ：可動態增減節點
●
Elastic Main Memory ：各節點貢獻記憶體

35. #JCConf
Clustring
●
各節點上線後自動尋找其他節點並加入叢
集，並提供不同搜尋方式以供各種情況下
設定使用。 Hazelcast 亦提供了 HTTP 叢集
功能以達成 Session Clustering ，使得各個
Web servers 之間可以共享 session ，並避免
單一 server 斷線而造成的 session 遺失。

36. #JCConf
好套件，不用嗎？

37. #JCConf
Hazelcast 使用時機
●
記憶體快取，可供資料存取層使用
●
暫時性資料存放，例如 session
●
跨 JVM 通訊與共享儲存庫
●
建立可彈性縮放的服務
●
大量資料處理與分析

38. #JCConf
開始用 Hazelcast
●
安裝 Hazelcast
●
寫程式
●
開始跑

39. #JCConf
安裝 Hazelcast
●
下載
– 從 www.hazelcast.org下載 hazelcast-<version>.zip
– 解壓縮
– 把 hazelcast-<version>.jar 放到 CLASSPATH 中
– 打完收工（咦？）

40. #JCConf
或者你喜歡其他方式
●
Maven
<dependency>
<groupId>com.hazelcast</groupId>
<artifactId>hazelcast</artifactId>
<version>3.3.3</version>
</dependency>
●
Gradle
dependencies {
compile 'com.hazelcast:hazelcast:3.3.+'
}

41. #JCConf
寫程式
public class GetStartedMain {
public static void main(final String[] args) {
Config cfg = new Config();
HazelcastInstance instance =
Hazelcast.newHazelcastInstance(cfg);
Map<Long, String> map = instance.getMap("test");
map.put(1L, "Demo");
System.our.println(map.get(1L));
}
}

42. #JCConf
開始跑
一直跑一直跑一直跑一直跑一直跑一直跑

43. #JCConf
Demo
Members [2] {
Member [127.0.0.1:5701]
Member [127.0.0.1:5702] this
}

44. #JCConf
等等……那設定檔咧！？

45. #JCConf
Hazelcast 設定檔
●
Hazelcast 可以不使用設定檔
●
如果有需要更改預設值的話，使用 XML 方
式來設定。
●
把設定檔放到 CLASSPATH 並指定載入：
Hazelcast.newHazelcastInstance(
new ClasspathXmlConfig("hazelcast.xml"));

46. #JCConf
Hazelcast 設定檔
<hazelcast>
<group>
<name>jcconf2014-hazelcast-sample</name>
<password>jcconf2014-hazelcast</password>
</group>
<network><!-- ... --></network>
<queue name="default"><!-- ... --></queue>
<map name="default"><!-- ... --></map>
<properties><!-- ... --></properties>
</hazelcast>

47. #JCConf
Hazelcast 網路設定
<network>
<port auto-increment="true">5701</port>
<join>
<multicast enabled="true">
<multicast-group>224.2.2.3</multicast-group>
<multicast-port>54327</multicast-port>
</multicast>
<tcp-ip enabled="false">
<member>localhost:5701</member>
<member>localhost:5702</member>
</tcp-ip>
</join>
<interfaces enabled="false">
<interface>172.17.42.*</interface>
</interfaces>
</network>

48. #JCConf
Hazelcast Map 設定
<map name="default">
<!-- Data type: BINARY 、 OBJECT 、 OFFHEAP -->
<in-memory-format>BINARY</in-memory-format>
<backup-count>1</backup-count>
<time-to-live-seconds>0</time-to-live-seconds>
<max-idle-seconds>0</max-idle-seconds>
<eviction-policy>NONE</eviction-policy>
<max-size policy="PER_NODE">0</max-size>
<!--
<max-size policy="PER_PARTITION">27100</max-size>
<max-size policy="USED_HEAP_SIZE">4096</max-size>
-->
<eviction-percentage>25</eviction-percentage>
</map>

49. #JCConf
Hazelcast 特性設定
<properties>
<property name="hazelcast.logging.type">
slf4j
</property>
</properties>

50. #JCConf
但是教練，我想寫 code ！

51. #JCConf
Hazelcast 程式碼片段
HazelcastInstance h =
Hazelcast.newHazelcastInstance(new Config());
MultiMap<String, String> m = h.getMultiMap("mymap");
BlockingQueue<String> q = h.getQueue("myqueue");
Lock l = h.getLock("mylock");
IAtomicLong c = h.getAtomicLong("counter");
ExecutorService e = h.getExecutorService("worker");
ITopic<String> t = h.getTopic("mytopic");
t.addMessageListener(
new MessageListener<String>() {
public void onMessage(Message<String> m)){}});
t.publish("Hello to distributed world");

52. #JCConf
One More Thing...

53. #JCConf
Hazelcast Sharding
●
預設 Hazelcast 會有 271 個分割區。給定一
個 key 值後，它會經過運算來選定該物件
的儲存分割區。主要分割區與備份分割區
會均等分散在各節點中。
●
加入越多節點時， Hazelcast 會重新調配分
割區分佈，使其均勻分散。此時只會移動
所需的最小分割區數量。

54. #JCConf
Hazelcast Sharding

55. #JCConf
Hazelcast Sharding

56. #JCConf
Hazelcast Topology
●
任意數量的節點可以組成單一叢集並提供
服務。 Hazelcast 提供了原生語言客戶端
（ Java, .NET 與 C++ ）、 Memcached 客戶
端以及 REST 客戶端的方式來使用 Hazelcast
叢集。

57. #JCConf
Hazelcast Topology

58. #JCConf

59. #JCConf

60. #JCConf
Demo

61. #JCConf
References
●
Hazelcast: http://hazelcast.org/
●
Documents: http://hazelcast.org/documentation/
●
Get started: http://hazelcast.org/getting-started/
●
Sample Code:
https://github.com/CyberJos/jcconf2014-hazelcas
t-sample

62. #JCConf
References (Cont.)
●
雲端應用之現況與未來：
http://cloud.cc.ncku.edu.tw/ezfiles/256/1256/a
ttach/55/pta_15675_3077916_80036.pdf
●
NIST:
http://csrc.nist.gov/publications/nistpubs/800-14
5/SP800-145.pdf

63. #JCConf
以上，謝謝各位。

64. #JCConf
Q&A