20161216 case study : apple rebuilds siri backend service using apache mesos

1. Case Study : Apple Rebuilds Siri
Backend Service Using Apache Mesos
Macy

2. Apple siri的挑戰
- 數以億計的iphone和ipad的語音查詢
- 每個服務群集都有數千個節點

3. What and Why using Mesos
- What Mesos
- Open Source
- 穩定、好擴充的分佈式資源管理架構
- Why Mesos
- more and more microservice,componets,container,
- node.js,python,java,mysql,mongodb,spark,
- batch process , long running service
- 為了解決多種資源類型(主要考慮CPU和MEM)的系統的公平資源分配問題，以及不同用戶對資
源有不同的需求
- 發展成熟

5. Mesos master的分配演算法 -
Dominant Resource Fairness(DFS)
- Berkeley AMPLab團隊提出DRF，一種針對不同資源類型的max-min fairness。
- 假設我們有10塊pizza,不同人想要不同數量的pizza，如何實現公平分pizza
- Henry(1) Ray(2) Kentpon(3.5) Josee(3.5)
- 如果一個人得到的資源少於平均分配，那他可以選擇不share，反之分到多於額
外的資源，則必須分享出給其他資源缺少的人
- 不能貪心謊報資源
- 如果任務完成，則不能多要額外資源。
- 需求大的用戶要獲得大於或等於需求小的用戶的資源

6. Apple siri backend architectureJ.A.R.V.I.S

7. 使用Mesos會遇到的挑戰
- 需要花時間摸索他的source code, 和許多開發人員一起維護開發文件與定義檔,
不然就是等著別人釋出答案
- framwork涉及許多語言Mesos（C++）、Marathon（Scala）、Mesos-DNS
（Golang）,但有很多framework可以滿足不同需求
- 花時間寫測試此mesos的架構是否通過

8. Action Item
- 整理出後端正在運行的程序
- 整理出鯨魚需要裝載的貨物
- 找一個適合我們的framework搭配Mesos

9. 參考資料
- https://www.infoq.com/news/2015/05/mesos-powers-apple-siri
- http://www.slideshare.net/akirillov/data-processing-platforms-architectures-
with-spark-mesos-akka-cassandra-and-kafka
- https://mesosphere.com/blog/2015/04/23/apple-details-j-a-r-v-i-s-the-mesos-
framework-that-runs-siri/
- http://ithelp.ithome.com.tw/users/20103456/ironman/1063
- http://www.gegugu.com/2016/01/13/542.html