ビッグデータはどこまで効率化できるか？

1. ビッグデータ分析はどこまで効率率率化できるか株式会社Preferred Infrastructure リサーチャー＆Jubatusリーダー⽐比⼾戸将平 2013/05/27 第3回ビッグデータと統計学研究集会

2. 概要：ビッグデータ分析を⽀支える3本の柱効率率率化のために重要な3つめの柱の話をしますビッグデータ分析ビッグデータ ITインフラ統計学データサイエンテスト？

3. l  ビッグデータ分析の現状 l  何が効率率率化をもたらすか？ l  実例例 l  まとめ Agenda

4. ビッグデータ分析の導⼊入：まだまだこれから l  IBMの2012年年調査 l  24%がまだビッグデータ活⽤用について調査段階 l  47%がビッグデータ活⽤用⽅方法について検討段階 l  わずか6%が実際に導⼊入してビジネス価値を⽣生み出している l  導⼊入の困難さと効率率率化の困難さがやや混同されている IBM Institute of Business Value “Analytics: The real-world use of big data”, 2013

5. Volume Variety Velocity 蓄積分析ビッグデータ分析プロセス 5 Complex Event Processing Hadoop NoSQL バイオテキスト M2M メディア

6. データ分析から深い解析へ 6 分析⾒見見える化集計検索索ルール処理理 SQL DWH BI CEP M/RCQL 深い解析カテゴリ分類レコメンド異異常検知予測機械学習 (Machine Learning)

7. ビッグデータ解析データアナリティクスビグデータビッグデータ分析の現状：ブラックボックス？ 7 ビッグデータ分析データアナリティクス応⽤用利利益最⼤大化コスト最⼩小化需要予測故障予知営業戦略略最適化パーソナライズマーケ最適化

8. ビグデータビッグデータ処理理系と解析ソフトウェアの組合せ 8 データサイエンティストビッグデータ処理理系応⽤用利利益最⼤大化コスト最⼩小化需要予測故障予知営業戦略略最適化パーソナライズマーケ最適化⼤大規模DB 解析ソフトウェア

9. ビッグデータ分析の導⼊入と効率率率化における3つの壁 IT 2 3 l  パターン1：ビジネスに結びつける組織・体制 l  パターン2：データ収集と蓄積の基盤 l  ☆パターン3：解析の⼿手法とスキルと効果測定

10. 壁パターン1：ビジネスに結びつける組織・体制 l  経営陣による戦略略決定、組織横断のチームづくり l  関係部⾨門全てに対する負担要請と利利害調整 l  ビッグデータ分析の効果の公平な分配 IT CAO

11. 壁パターン2：データ収集と蓄積の基盤 l  データが収集されていない、組織内にはるが出て来ない l  蓄積するための統合ITインフラが⽤用意されていない l  部⾨門単位でコストをかけるにはリスクが⾼高すぎる …そこをなんとか… 機密情報だからなー個⼈人情報保護もあるし。そんなデータないよ。え？新しく取れ？（⾯面倒だな…）データサイエンティストマネージャー現場社員

12. 壁パターン3：解析の⼿手法とスキルと効果測定 l  統計学が重要というコンセプトレベルでは皆同意 l  ⼀一⽅方でデータサイエンティストへの過度度の期待 l  「うちのビジネスをよく理理解してくれて〜～」 l  「コミュニケーション能⼒力力とPM⼒力力⾼高くて〜～」 l  「統計も機械学習の最新技術も全部わかってて〜～」 l  「PDCAサイクル回すの⼿手伝ってくれて〜～」あー完璧なデータサイエンティストどっかにいないかな〜～上層部データサイエンティスト ……………………

13. スキルの問題：教育によりある程度度解決する⾒見見込み l  真実：完璧なデータサイエンティストは存在しない Communication Skill Business Understanding Project Management

14. データサイエンティストグループの構築や仕事を依頼する側のリテラシーの話は除外 l  主に導⼊入の困難さの解決につながる話しであるため l  「データサイエンティストのつくり⽅方」 l  「（道具としての）データサイエンティストのつかい⽅方」 ( ) PFI 2013/03/28 Preferred Infrastructure Jubatus Slideshareにて公開中 PFI 2012/09/13 Preferred Infrastructure Jubatus

16. 第3の⽀支え：進化した解析⽤用ソフトウェア今ほとんど触れられることのない部分ビッグデータ分析ビッグデータ ITインフラ統計学データサイエンテスト進化した解析⽤用ソフト

17. 現状使われているソフトウェア群 RDB / NoSQL Hadoop / SQL-like Analytics

18. ○○○出現以前のビッグデータ分析プロセス [データサイエンティスト w/ Hadoop+R+Weka, 2013] DB

19. プログラム⾔言語出現以前のプログラミング [ENIAC, 1946] 出典：wikipedia.org l  急募！配線エンジニア l  設計書通りに壁の⽳穴から⽳穴へ配線を繋ぐだけの簡単なお仕事 l  これからのコンピュータ時代に求められるスキルが⾝身につきます！

20. 解析ソフトウェアの進化：あまり考慮されていない今後もこれからのツールがずっと使われるのか？ l  SPSS: 1975- l  Matlab: 1984- l  Weka: 1993- l  GNU R: 1996- l  元のS⾔言語は 1984- RDB / NoSQL Hadoop / SQL-like Analytics

21. 統計リテラシーの向上と解析ツールの進歩によりデータサイエンティスト不不要のケースが増⼤大

22. 健全なビッグデータ分析を実現するために l  ビッグデータという⾔言葉葉によってデータとミドルウェアだけに注⽬目が集まっている l  そこで解決できない課題を⼈人⼒力力で何とかしてくれるデータサイエンティストの出現と、その理理想像に関する議論論が盛んに⾏行行われている l  組織の意識識変⾰革や経営陣・マネジメント層の統計リテラシー向上も重要だが、その他の変化も⾒見見失ってはいけない解析ソフト⼈人組織データミドルウェア

24. 解析ソフトウェアの進化とは l  何が解析ソフトウェアをどう変えるのか l  メモリの⼤大容量量化→インメモリ処理理のスケーラビリティ向上 l  仮想化技術→⾯面倒なデータ管理理をユーザーから隠蔽 l  ネットワークの⾼高速化→処理理結果を瞬時に伝送可能 l  ブラウザ上GUIの進化→ブラウザからカンタンにに使えるUI l  クラウド→環境構築と性能増減のコストがほぼゼロに l  進化した解析ソフトウェアの特徵 l  インメモリ動作：解析処理理のインタラクティブ性を重視 l  クラウド、SaaS化：データは向こう側に置いて結果だけ得る l  使いやすいUIに特化：ユーザーの敷居を出来る限り下げる l  シンプルな課⾦金金体系：無料料トライアル＋機能ｘ⽉月額料料⾦金金

25. 紹介する実例例 l  インタラクティブなデータ可視化ツール l  QlikView l  Tableau l  表形式データ加⼯工ツール l  Fivetran l  カンタンに使える機械学習ツール l  bigML l  Bazil l  データサイエンティストのお助けツール l  MLbase

26. インタラクティブなデータ可視化(1/2) QlikTech - QliKview (1996-) l  従来のBIツールとの違い：セルフサービス型 l  データをインメモリで保持しビューをその場で変更更可能 l  複数の情報源を透過的に組合せ検索索しながら深堀り・絞込み l  概要ムービー

27. インタラクティブなデータ可視化(2/2) Tableau (2003-) l  VizQLという独⾃自の可視化クエリ⾔言語に基づいたシステム l  Amazon EC2で動作可能、クラウドサービスもβテスト中 l  サンプルデモ

28. 表形式データ加⼯工ツール： Fivetran (2013-) l  完全ブラウザベースで表形式データの処理理を実⾏行行 l  「ExcelとMatlabの間」 l  →独⾃自の処理理クエリを⼊入⼒力力すると結果が次の表になる l  単なる変換から集計、時系列列分析まで機能を拡張中 l  サイト（現在はInvitationのみ）

29. カンタンに使える機械学習ツール(1/2) bigML (2012-) l  “Machine Learning for Everyone” l  決定⽊木アルゴリズムによる学習＆予測フローを固定化 l  パラメータ調整や結果の表⽰示を重視 l  動作デモ

30. 分析担当者テキストログ/履履歴 Webブラウザクラウド予測要因予測評価数値データカンタンに使える機械学習ツール(2/2) Preferred Infrastructure - Bazil (2013-) l  ⾮非構造データにフォーカスした分類ツール l  テキストやログの前処理理機能＋線形分類モデルを学習＆予測 l  予測結果だけでなく有効な特徴量量まで含めて可視化 l  紹介サイト

31. データサイエンティストのお助けツール UC Berkley - MLbase (2013-) l  機械学習タスクの実⾏行行クエリを抽象的に記述 l  アルゴリズムやパラメータを変更更して分散実⾏行行 [Kraska+, CIDR2013]

32. 解析ソフトウェアの変化がもたらすもの：データサイエンティストの負担が減る l  今は⾮非⼒力力でもソフトウェアの⾼高性能化と抽象化が後押し l  不不要になる：⾯面倒なデータ管理理や前処理理の繰り返し l  ⾃自動化される：実験設定を変更更しては再実⾏行行の試⾏行行錯誤 l  敷居が下がる：⼀一般ユーザーがExcelのようにこなせる仕事従来のソフトウェア基盤新しいソフトウェア基盤 BI ・例例：Cognos、BusinessObjects ・DB上でのバッチ処理理・固定のビュー・ドリルダウン・定型的なレポート中⼼心・例例：QlikView、Tableau ・インメモリで⾼高速処理理・⾃自由に変更更可能なビュー・インタラクティブな分析機械学習・例例：R、MATLAB ・任意の解析処理理が実現可能・専⽤用スクリプトの記述が必要・結果の解釈は重視されていない・例例：bigML、Bazil ・解析フローは固定、調整可・スクリプト無し、設定のみ・結果の可視化なども統合

34. まとめ l  ビッグデータ分析を効率率率化するためのソフトウェアが必ずこれからどんどん市場に出てきます l  この解析ソフトウェアの進化は、データインフラの整備、統計リテラシーの向上、組織的ビッグデータ戦略略の浸透、データサイエンティストの育成と並⾏行行して進みます l  重要なスキル、組織のIT戦略略、ソフトウェア、ミドルウェア、ハードウェア、コンピュータアーキテクチャは刷新サイクルがそれぞれ異異なります l  それを⾒見見極めるのが最先端を逃さないために重要です

ビッグデータはどこまで効率化できるか？

Du liest eine Vorschau.

Hier ansehen

ビッグデータはどこまで効率化できるか？

Weitere Verwandte Inhalte

Diashows für Sie (20)

Andere mochten auch (20)

Ähnlich wie ビッグデータはどこまで効率化できるか？ (20)

Weitere von Shohei Hido (11)

Aktuellste (20)