Azure Service Fabric の概要紹介 資料 「モノづくりの新潮流」スマホを組み立てる"Project Ara"とMicrosoftのクラウド"Azure"の今 featuring 第4回サトヤ勉強会 #atnd #satoya https://atnd.org/events/67115

1. Azure Service Fabric 概要
kyrt / Takekazu Omi
takekazu.omi@kyrt.in
2015/6/27 R.2.1

2. kyrt 2

3. 自己紹介
近江 武一
JAZUG Azure Storage 担当（自称）
Microsoft MVP for Azure
http://www.slideshare.net/takekazuomi
kyrt @takekazuomi 3
kyrt.in
github.com/takekazuomi
white paper
監訳

4. Cloud 時代のApplication
kyrt 4

5. 概要
reliable
⇨データ損失が無い
scalable
⇨リソース追加で処理能力が向上
low latency
⇨より短時間での処理
分散による複雑さの増加
⇨frameworkで吸収
kyrt 5

6. 3つの基本戦略
reliable
⇨複製を持つ – replication
scalable
⇨partition分割する - partitioning
low latency
⇨データとコードを近くに配置
kyrt 6

7. 運用の自動化
ノードの追加、削除
障害検知
負荷分散
配置
更新
kyrt 7

8. kyrt 8

9. Service Fabric とは
kyrt 9

10. 幾つかの側面
1. Integrated IaaS and PaaS component
2. A platform for reliable, hyperscale,
microservices-based applications.
3. PaaS v2 - Quantum Leap

11. Integrated IaaS and PaaS component
kyrt 11

12. Magic Quadrant for Cloud Infrastructure
as a Service, Worldwide
GartnerのIaaS MQ
リーダー Amazonと
Microsoftの２社
http://www.gartner.com/technology/reprin
ts.do?id=1-2G2O5FC&ct=150519&st=sb
kyrt 12

13. Microsoft Strengths
IaaSとPaaSの統合、AWSと並ぶ新機能のリリース、
オンプレミス環境、開発環境、Microsoftの SaaS との
シームレスな連携
kyrt 13

14. Service Fabric = Azureの次世代 PaaS
Resource Manager
⇨宣言的なリソース管理
VM Scale Set
⇨Container サポート
Service Fabric
⇨Open - Windows/Linux, C#/Java サポート
kyrt 14
ONS 2015: Wednesday Keynote - Mark Russinovich https://youtu.be/RffHFIhg5Sc
BUILD 2015: 3-618 The Next Generation of Azure Compute Platform with Mark Russinovich

15. VMs and VM Scale Sets
Azure Public CloudAzure-Consistent Private Cloud
VM Extensions
SCALR, RightScale,
Mesos, Swarm
Service Fabric
(VMs and Containers)
BatchApp Service
Media
Web
Apps
Mobile
Apps
Apprenda, CloudFoundry
Jelastic, Marathon
Infrastructure
IaaS and
IaaS+
General
Compute PaaS
Vertical
compute PaaS
Open Choice at Every Layer
Cluster
Orchestration
参照：https://channel9.msdn.com/Events/Build/2015/3-618

16. Service Fabric
⇨PaaS V2, Reliable Service, Process base
VM Scale Set
⇨Next Gen Worker Role, elastic autoscale で
迅速に同一のVMを作成
IaaS+（Managed IaaS）
⇨VM Extension, Backup, Monitoring
IaaS
⇨Windows, Linux, custom Image

17. A platform for reliable, hyperscale,
microservices-based applications.
kyrt 17

18. Service Fabric Programming Models
Reliable Actors APIReliable Services API
Azure Private Clouds
Applications composed of microservices
High
Availability
Hyper-Scale
Hybrid
Operations
High Density
Rolling
Upgrades
Stateful services
Low Latency
Fast startup &
shutdown
Container
Orchestration &
lifecycle management
Replication &
Failover
Simple
programming
models Load balancing
Self-healing
Data Partitioning
Automated
Rollback
Health
Monitoring
Placement
Constraints
Service Fabric
出典：BUILD 2015 3-618 The Next Generation of Azure Compute Platform with Mark Russinovich

19. Battle-hardened for over 5 years
Azure Core Infrastructure thousands of machines
Azure Document DB billions transactions/week
Intune 800k devices
Skype for Business Hybrid Ops
Event Hubs 20bn events/day
Azure SQL Database 1.4 million databases
Bing Cortana 500m evals/sec
PowerBI
kyrt 19
出典: BUILD 2015 2-640 Microsoft Azure Service Fabric Architecture

20. Cloud時代のアプリケーション開発
Scalability
Availability
Latency
Data Integrity
Portability
kyrt 20
ビジネス価値の創造
Manage Services
迅速な機能提供

21. Divide and rule
Azure そのものが突きつけられた課題
⇨５年ほど前から社内利用
分割して統治せよ
⇨モノリシックな大きなものではなく、分割さ
れた複数のサービスの組み合わせでアプリ
ケーションを作成
kyrt 21

22. microservices
kyrt 22

23. Regional Network Manager Microservices
kyrt 23
ONS 2015: Wednesday Keynote - Mark Russinovich https://youtu.be/RffHFIhg5Sc

24. Types of microservices
 Stateless microservice
⇨ 状態を持たない。保つ場合は外部の datastore に保存する
⇨ N instances に展開出来る
⇨ e.g. web frontends, protocol gateways, Azure Cloud Services etc.
 Stateful microservice
⇨ 厳密に 状態を保持
⇨ N 個の一貫した複製をレプリカとローカルの永続化
⇨ e.g. database, documents, workflow, user profile, shopping cart etc.
kyrt 24

25. PaaS v2 - Quantum Leap
kyrt 25

26. Major subsystems of Service Fabric
kyrt 26
出典：https://azure.microsoft.com/en-us/documentation/articles/service-fabric-architecture/

27. Transport subsystem
Service fabric cluster 内及び cluster と client の間で
point-to- pointのデータ通信に使用
One-way 、Request response の通信パターンをサ
ポート。上位レイヤーでのブロードキャストやマ
ルチキャストの通信を実現する基礎を提供
X509証明書、Windowsのセキュリティで通信を保
護
Service fabric が内部的に利用するものでアプケー
ションから直接使われることは無い
kyrt 27

28. Federation subsystem
 分散システム内で複数のノードを扱うためにシステムの一貫したビューを
提供
 Transport subsystem を使って、ノードをステッチ（繋ぎあわせて）
 他のsubsystemが利用する分散システムのプリミティブな機能を提供 ー 障
害検出、 leader election、 consistent routing
 128ビット token space の Distributed Hash Tables (DTH) を構築、リングトポ
ロジを使用
 リング内の各ノードに、token space のサブセットの所有権を割り当て
 故障検出のために、layerはheart beatingベースのリースと調停を利用
 フェデレーション·サブシステムは、intricate join and departure protocols に
よって、トークンが単一の所有者に帰属することを保証し、これによって
leader election と consistent routing の保証が提供
kyrt 28

29. Cluster: federation
A set of independent
machines; physical or
virtual
Clusters can scale to
1000s of machines
kyrt 29
Node
Node
Node
Node
Node
Node

30. Cluster:System View
kyrt 30
Failover
manager
Cluster
manager
Naming
Image store
System Services

31. Major subsystems of Service Fabric
kyrt 31
出典：https://azure.microsoft.com/en-us/documentation/articles/service-fabric-architecture/

32. Reliability subsystem
 reliability subsystemは、 replicator, failover manager, resource balancer の機構を元に、Service
Fabric の高可用なサービスを提供
 Replicator
⇨ primary service replica の状態の変更が自動的に secondary replica に複製され、 replica set 内の
primary と secondary のレプリカの間の一貫性が保たれることを保証する。Replicator は、replica-set
内の replica 間の quorum management を担当している。
⇨ failover unit が、replicate 操作のリストを取得するには、 reconfiguration agent (RA) が replica-set の
構成 (複製に必要なそれぞれのreplicaの操作)を提供
⇨ Service Fabric では、Fabric Replicator と呼ばれるデフォルトの replicator が提供
 Failover Manager
⇨ クラスターにノードが追加、削除されたときに、存在するノードに負荷が自動的に再配布されるこ
とを保証する。クラスター内のノードに障害が発生した時、クラスターは可用性が失われないよう
に自動的にサービスのレプリカを再構成する
 Resource Balancer
⇨ Resource Balancer は、クラスタ内の failure domain 全体にサービスのレプリカを配置し、すべての
failover units が正常に動作していることを保証します。Resource Balancer はまた、クラスタノード
の下にある共有プール全体で最適で均一な負荷分散を実現する
kyrt 32

33. Demo
kyrt 33

34. Service Fabric Explorer
 Clusterの状況が見
える
 Nodeを再起動する
とPrimaryが変わる
 Stateful は3Node構
成
 LSN見ている
⇨ QueueでLOG配布っ
ぽい

35. Fabric Service API
kyrt 35

36. Service Fabric Programming Models
Reliable Actors APIReliable Services API
Azure Private Clouds
Applications composed of microservices
High
Availability
Hyper-Scale
Hybrid
Operations
High Density Rolling
Upgrades
Stateful services
Low Latency
Fast startup &
shutdown
Container
Orchestration &
lifecycle management
Replication &
Failover
Simple
programming
models
Load balancing
Self-healingData Partitioning
Automated
Rollback
Health
Monitoring
Placement
Constraints
Service Fabric
参照：https://channel9.msdn.com/Events/Build/2015/3-618

37. Service Fabric API
APIは2つ
1. RELIABLE ACTORS APIS
だいぶ自律的
2. RELIABLE SERVICES APIS
やること多いけど、ASP.NETなどを動かすには便
利
kyrt 37

38. Framework の選択
RELIABLE ACTORS APIS RELIABLE SERVICES APIS
問題領域が数多くの独立な状態とロ
ジックで構成
複数のコンポーネントの間のロジック
を自分で制御
single-threaded objects として扱いなが
ら、スケーラビリティと一貫性を保ち
たい
reliable collections (like .NET Dictionary
and Queue) の保存は自分で管理
frameworkがconcurrency と、state の
保証をしてほしい
concurrency の制御と保証は自分でや
る
platform が通信を管理して欲しい 通信やpartitioning schemeの管理、通
信か自分で行う
kyrt 38

39. Stateful って
なにが美味しいの？
kyrt 39
Service Fabric Application Scenarios
https://azure.microsoft.com/en-gb/documentation/articles/service-fabric-application-scenarios/

40. stateless services + external store
kyrt 40

41. stateful services
kyrt 41

42. コードをデータを近い場所に置く
⇨low latency
Immutable Infrastructure
＝ Cloud Service
Distributed computing Infrastructure
＝ Service Fabric
kyrt 42

43. Reliable Collections
Multi-Node
⇨Replicated(HA)
⇨Persistence Option
⇨Asynchronous
⇨Transactional
Reliable Dictionary
Reliable Queue
kyrt 43
Reliable Collections
https://azure.microsoft.com/en-us/documentation/articles/service-fabric-reliable-services-reliable-collections/

44. API
Managed API
⇨https://msdn.microsoft.com/en-
us/library/azure/mt163605.aspx
REST API
⇨https://msdn.microsoft.com/library/azure/dn707
692.aspx
※日本語訳もある
kyrt 44

45. kyrt 45
終

46. 参考資料

47. Service Fabric documentation
http://azure.microsoft.com/en-
us/documentation/services/service-fabric/
BUILD 2015, The Next Generation of Azure Compute
Platform with Mark Russinovich
https://channel9.msdn.com/Events/Build/2015/3-618
Microsoft Azure Service Fabric Architecture
https://channel9.msdn.com/Events/Build/2015/2-640
Deep Dive into Microsoft Azure Service Fabric
Reliable Actors
https://channel9.msdn.com/Events/Build/2015/2-66

48. 付録
kyrt 48

49. Microservices
kyrt 49

50. マイクロサービスとは
 全ての機能を盛り込んだ
モノリシック（一枚岩
の）なアプリケーション
ではなく、分割された複
数のサービスの組み合わ
せでアプリケーションを
作るアーキテクチャ
 James Lewis が書いた
Martin Fowler 氏の Blog
(日本語訳)が有名に

51. Microservices 論点 by James Lewis
1.Componentization via Services
別プロセスで動作するサービス
によってアプリケーションのコ
ンポーネント化
2.Organized around Business
Capabilities
ビジネス機能ごとにサービスを
構築（コンウェイの法則）
3.Products not Projects
プロジェクトではなくプロダク
トにフォース
4.Smart endpoints and dumb pipes
スマートなエンドポイントとダ
ムバイプ
5.Decentralized Governance
分散統治
6.Decentralized Data Management
分散データ管理
7.Infrastructure Automation
インフラ自動化
8.Design for failure
失敗を前提とした設計
9.Evolutionary Design
進化する設計
kyrt 51

52. 超解説
 アプリケーションを 小さなService群の組み合わせで構築しよう
 Serviceは個別にデプロイできるような単位がいい
 Service間はhttp的な軽量プロトコルにしてSmart Endpointの実装にしよう
 Serviceはビジネス機能の粒度にして、チームを構成しよう
 Serviceが異なる言語で記述されたり別のデータストレージ技術を使うはあ
り
 インフラの自動化でMicroservicesの構築、デプロイ、運用の複雑さを減少
 Microservicesは、旧来からあるソフトウェアのコンポーネント化、コンポー
ネントの組み合わせによるアプリケーションの構築という話しの現代版
 SOAは手垢が付き過ぎたので、新しい言葉で行こうよ
kyrt 52

53. Buzzword っぽいので、
一旦忘れよう
orz…
kyrt 53

54. Actor
kyrt 54

55. Actor とは何か？
Carl Hewitt 1973
Isolated components
⇨single-thread
code とstate をencapsulate
Asynchronous communication
kyrt 55

56. Service Fabric に置けるActor
StatefulとStatelessの2種類
ActorProxy経由の簡単な呼び出し
kyrt 56
ActorId actorId = ActorId.NewId();
string applicationName = "fabric:/CalculatorActorApp";
ICalculatorActor calculatorActor = ActorProxy.Create<ICalculatorActor>(actorId, applicationName);
double result = calculatorActor.AddAsync(2, 3).Result;
Garbage Collection
⇨Active Actor table へのadd/remove
⇨Actor lifecycle and Garbage Collection

57. Concurrency
 logical context は、単
一のthread で実行
（STA）
 Actors runtime allows
reentrancy by default
 state の復元、保存は
自動
https://azure.microsoft.com/en
-
gb/documentation/articles/ser
vice-fabric-reliable-actors-
introduction/
kyrt 57

58. 位置を気にせず、
Objectを透過的に操作
kyrt 58

59. 分散Objectの夢再び
kyrt 59