1. U.S.出張 FB
(Strata Conference 2012)
IPROS 勉強会 2012/03/28
株式会社イプロス 山口隼也
@junya100

2. スケジュール
2/28(火)∼3/1(木)：
O'Reilly Strata Conference 2012

3. O'Reilly Strata Conference 2012
オライリーメディアが主催する
Big Dataに関わる企業、エンジニア
のためのカンファレンス
今回の副題は、
「Making Data Work」

4. オライリーが主催するカンファレンス(2012)

5. Strata Conference 2012 出展企業
ざっくり分けると・・・
Hadoop関連、ストレージ関連、BI(解析)関連、ログ収集関連

6. 僕目線で見た
今回のStrataのキーワード
1. Data Scientist
2. ML(Machine Learning)
3. MRable

7. 1. Data Scientist
データサイエンティスト
日本語で訳すと「データ分析家」
今後、10年で最も不足する職業
と言われている

8. 実際にどういうスキルを持った人のことか？
ここ！

9. 背景 - データ量の増加

10. 背景 - Hardwareの進化

11. 背景 - Softwareの進化

12. Analytics
From Traditional To Big Data
BI & Analytics Big Data Analytics
Infrastructure
Traditional Data
Big Data Management
Management
(Hadoop & NoSQL)
(RDMS & EDW)
Smaller;Traditional Bigger;Contemporary;

13. Analytics
Traditional Data Professionals
Data Analysts BI Team
BI & Analytics
Data
Developers DBAs Warehouse
Engineers
Infrastructure
Traditional Data
Management
IT or Ops
(RDMS & EDW)
Smaller;Traditional

14. Big Data Professionals
Data Scientists
Analytics
Data Analysts Business Analysts
Big Data Analytics
Data Developers
Infrastructure
Big Data
Management
IT or Cloud Ops
(Hadoop & NoSQL)
Bigger;Contemporary;

15. Empowering Analytics Teams
Data Scientists
Data Analysts Business Analysts
●Do Effective Groundwork
・Reach out for training and services
・Collaboration is King
・Don t silo the data or the knowledge
●Involve Analytics team from the start
・Empower your data scientists, data and business analysts
with purpose-built strategic tooling
・ Use the cloud for ramping and, if possible, production
・ Don t route everything through IT. This isn t Grandma s BI.

16. 2. ML(Machine Learning)
機械学習

17. 機械学習とは、
コンピュータを用いて、
データ集合に対して解析を行い、
そのデータから有用な規則、ルー
ル等を抽出すること

18. 実際、どのようなところに
使われているのか？

19. ・レコメンド
・様々な分類(スパムフィルタ・・・)
・音声認識
・翻訳
・様々な予測(株価予測)
・もちろん、アドテク

20. 優れた機械学習アルゴリズムの条件
・Must have parameter for dialing complexity up and
down
・fast to train
・doesn't need entire data set in memory at one time
・MRable
・easily implementation
・handles numeric

21. 最近、注目されているアルゴリズム
Glmnet
one of the best algorithms in machine learning today.
background - ordinary least squares regression,
limitations of OLS

22. 3. MRable
Map Reduceableの略
Map Reduceに適用可能な
並列処理が可能であること！

23. Hadoop Next
(YARN - NextGen Hadoop Data Processing Framework)
●New Features
・HDFS NameNode HA
・compatible wire protocols
・Full mavenize
・Testing, "lots" of it
・Benchmarks
・Integration testing - HBase,Ping,Hive,Oozie
●Release
・Beta：2012 Q2
・Production：Mid-to-late 2012 Q2

24. （参考）Expediaの事例
4,000+ technology workers
12,000+ servers
22 indexes, 9 search heads
>4TB per day indexed
splunkを利用している

25. シリコンバレーの
スタートアップ紹介

26. Treasure Data, Inc. の紹介
2011年創業のPalo Altosに本拠地を置く
スタートアップ
主要メンバー：
太田一樹 @kzk_mover CTO
古橋貞之 @frsyuki
井上敬浩 @doryokujin Data Scientist

27. fluentd(ログ収集ツール)の提供、布教活動
を行いつつ、
様々な企業からログデータの
提供、ヴィジュアライズを行っている。
詳しくは、こちら
http://blog.treasure-data.com/

28. Startup Showcase

29. やはり、実際にその場に行き、観て、
人と会い、話をする。
そこで得た刺激や経験が
最大の財産になる。