『モバゲーの大規模データマイニング基盤におけるHadoop活用』－Hadoop Conference Japan 2011－ #hcj2011

5. 活動領域ソーシャルメディアのデータマイニング活用 2300万人以上の人々へ各人のつながり・楽しみ・好み個性にあった適切なサービス提供 Social Media Social Graph Fun Like Personality Objective Process Data Mining Machine Learning 各人のつながり、楽しみ、好み、個性にあったより適切なサービス提供DeNA Co.,ltd. ALL rights reserved

9. hamadakoichi 濱田晃一理論物理博士(2004.3取得) 量子統計場の理論 Statistical Field Theory Spontaneously Time-Reversal Symmetry Breaking Anisotropic Massless Dirac Fermions 博士論文： http://hosi.phys.s.u-tokyo.ac.jp/~koichi/PhD-thesis.pdf 9DeNA Co.,ltd. ALL rights reserved

10. hamadakoichi 濱田晃一毎週末３時間ダンスコーチをしています ■過去、東京と京都でもダンス部を創設。コーチをしていました駒場物理ダンス部京都大学基礎物理学研究所ダンス部部長兼コーチ部長兼コーチ現在：毎週末３時間ダンスコーチ Youtube Channel： http://www.youtube.com/hamadakoichi 10DeNA Co.,ltd. ALL rights reserved

11. 数理解析手法の実ビジネスへの適用 2004年博士号取得後数理解析手法を実ビジネス適用の方法論構築主な領域 ◆活動の数理モデル化・解析手法 ◆活動の分析手法・再構築手法 ◆活動の実行制御・実績解析システム … 内容抜粋 “Decoupling Executions in Navigating Manufacturing "Unified graph representation of processes Processes for Shortening Lead Time and Its Implementation for scheduling with flexible resource to an Unmanned Machine Shop”, assignment", 11DeNA Co.,ltd. ALL rights reserved

12. 数理解析手法の実ビジネスへの適用：活動例活動例活動の統一グラフモデルを構築・解析 Unified graphical model of processes and resources 青字：割付モデル属性 [ ] : Optional Node ・priority(優先度) Edge ・duration(予定時間) [・earliest(再早開始日時) ] Process Edge Process [・deadline(納期) ] [・or(条件集約数) ] 前プロセスの終了後に後プロセスがプロセスを表す開始できること表す・attributes（属性） preemptable(中断可否), successive(引継ぎ可否) Uses Edge workload(作業負荷) Processが使用する uses uses uses uses uses uses Assign Region を表す Assign Region Assigns from Edge 同一Resourceを割付け続ける Assign Regionに assigns from assigns from 指定Resourceの子Resource集合の範囲を表す assigns assigns 中から割付けることを示す企業01 [process] has has [startDate(開始日時)] [endDate(終了日時)] Assigns Edge 製品01 組織A StartDateからEndDateまでの間 Resource has Assign RegionにResourceを割付対象要素を表す has has has has has has 割付けることを表す・capacity(容量) ・calender(カレンダー) AAA01 AAB02 … 山田さん田中さん鈴木さん・attributes(属性) Has Edge 東さん Resourceの所有関係を表す 12DeNA Co.,ltd. ALL rights reserved

13. 数理解析手法の実ビジネスへの適用：活動例一品一様の業務プロセスの動的なプロセス制御数理体系を構築全体生産リードタイム中央値を 1/2.7に短縮設計開始～頭だし出荷リードタイム設計開始～頭だし出荷 CT対週集計開始日時の箱ひげ図体系適用 500 適用後設計開始～頭だし出荷CT 400 360.4h(15.0日) 1/2.7 300 200 100 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 141.6h(5.9日) 0 00 00 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: 9: / 20 / 27 / 04 / 11 / 18 / 25 / 01 / 08 / 15 / 22 / 29 / 06 / 13 / 20 / 09 / 09 / 10 / 10 / 10 / 10 / 11 / 11 / 11 / 11 / 11 / 12 / 12 / 12 04 04 04 04 04 04 04 04 04 04 04 04 04 04 20 20 20 20 20 20 20 20 20 20 20 20 20 20 週集計開始日時 13DeNA Co.,ltd. ALL rights reserved

14. 数理解析手法の実ビジネスへの適用：活動例ビジネスとともに学術分野でも貢献変動性から生じる動的な課題・リソースの競合・滞留・納期遅延 … 一品一様な業務プロセスを含む統計解析・制御数理モデル・統計的な有効変数算出・統計数理モデル化－優先順位制御－実行タイミング制御－統計フィードバック－適正リソース量算出・予測数理体系論文（体系の一部） M.Nakao, N. Kobayashi, K.Hamada, T.Totsuka, S.Yamada, “Decoupling Executions in Navigating Manufacturing Processes for Shortening Lead Time and Its Implementation to an Unmanned Machine Shop”,DeNA Co.,ltd. ALL rights reserved Technology Volume 56, Issue 1, Pages 171-174 (2007) CIRP Annals - Manufacturing 14

16. 現在の活動領域ソーシャルメディアのデータマイニング活用 2300万人以上の人々へ各人のつながり・楽しみ・好み個性にあった適切なサービス配信日々20億以上の活動の活用 Social Media Social Graph Fun Like Personality Objective Process Data Mining Machine Learning 各人のつながり、楽しみ、好み、個性にあったより適切なサービス提供 16DeNA Co.,ltd. ALL rights reserved

17. よりよい世界の実現ソーシャル・活動情報の活用によりより適切な情報・サービス配信される世界を実現したい Social Media Social Graph Fun Like Personality Objective Process Data Mining Machine Learning 各人のつながり、楽しみ、好み、個性にあったより適切なサービス提供 17DeNA Co.,ltd. ALL rights reserved

18. よりよい世界の実現ソーシャル・活動情報の活用によりより適切な情報・サービス配信される世界を実現したい世界中の人々が個々人のつながり・楽しみ・好みにあった適切な情報・サービスを自ら探さなくても得ることができる世界 Social Media Social Graph Fun Like Personality Objective Process Data Mining Machine Learning 各人のつながり、楽しみ、好み、個性にあったより適切なサービス提供 18DeNA Co.,ltd. ALL rights reserved

20. モバゲータウンモバゲータウンモバイルソーシャルプラットフォーム【ゲーム】【SNS機能】日記の掲載、サークルの形成・参加、アバター（自分の分身のキャラクター）を使った匿名での自己紹介、その他のコミュニケーション【情報配信機能】【作品投稿】実用性の高い情報を配信小説、音楽、動画などのニュース、天気予報、乗り換え案内など作品の創作・投稿コーナーDeNA Co.,ltd. ALL rights reserved 20

21. １日２０億超の行動情報 2300万人以上 1日20億超の行動情報有効会員数（万人）（PV／日）モバゲー 25億タウン 2300万２０億 2010年4月 15億 GREE モバイル 10億 Mixi モバイル 5億 Yahoo! モバイル 0 2008年 2009年 2010年出典: ※モバゲータウン、Yahoo!モバゲー、当社 (月次推移のご報告), 株式会社ミクシィ（2010年度第1四半期決算説明資料）, スマートフォン（国内）の合計ヤフー株式会社 (2008年1月～2010年6月月次報告),DeNA Co.,ltd. ALL rights reserved グリー株式会社 (2010年度第4四半期決算説明資料) 21

26. 大規模データマイニング基盤データマイニング・機械学習の活用により迅速なサービス洗練を実現しています Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout … MapReduce Perl Morphological Analysis DeNA Social MA Java Business Pre-processing/Indexing Data Schema Planning Lucene Zebra Pig Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status LogDeNA Co.,ltd. ALL rights reserved 26

30. 大規模データマイニング基盤データマイニング・機械学習結果のサービス活用より楽しんでもらえるサービスへ Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views … Business Planning Service Log API Service Log API Log API Service … …DeNA Co.,ltd. ALL rights reserved 30

31. 大規模データマイニング基盤 Hadoop 全行動ログ/サービスデータ投入 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views … Business Planning Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status LogDeNA Co.,ltd. ALL rights reserved 31

32. 大規模データマイニング基盤 Pig 少ない記述量での一次集計/簡易KPI算出 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views … MapReduce Business Data Schema Planning Zebra Pig Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status LogDeNA Co.,ltd. ALL rights reserved 32

33. 大規模データマイニング基盤 Zebra １次集計データのスキーマ管理 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views Data Mining/Machine Learning … MapReduce Business Data Schema Planning Lucene Zebra Pig Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status LogDeNA Co.,ltd. ALL rights reserved 33

34. 大規模データマイニング基盤 MapReduce/Perl/Java 時系列処理・ゲーム分散シミュレーション等 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views … MapReduce Perl Java Business Data Schema Planning Zebra Pig Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status LogDeNA Co.,ltd. ALL rights reserved 34

35. 大規模データマイニング基盤 R 統計解析・データマイニング・機械学習 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views R … MapReduce Perl Java Business Data Schema Planning Zebra Pig Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status LogDeNA Co.,ltd. ALL rights reserved 35

36. 大規模データマイニング基盤 Mahout 大規模データマイニング・機械学習 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views Data Mining/Machine Learning R Mahout … MapReduce Perl Java Business Data Schema Planning Zebra Pig Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status LogDeNA Co.,ltd. ALL rights reserved 36

37. 大規模データマイニング基盤 Data Mining Libraries 各種ソーシャル行動解析用のデータマイニングライブラリ Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout … MapReduce Perl Morphological Analysis DeNA Social MA Java Business Pre-processing/Indexing Data Schema Planning Lucene Zebra Pig Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status LogDeNA Co.,ltd. ALL rights reserved 37

38. 大規模データマイニング基盤データマイニング・機械学習による迅速なサービス洗練を実現しています Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout … MapReduce Perl Morphological Analysis DeNA Social MA Hive Business Pre-processing/Indexing Data Schema Planning Lucene Zebra Pig Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status LogDeNA Co.,ltd. ALL rights reserved 38

43. 大規模データマイニング基盤 Hadoop チューニング環境に合わせた高速化・効率化 ■Hadoop ・ネットワーク・ハードウェア環境に合わせたパラメータチューニング -MapReduce Task数設定、帯域制御、OSパラメータ設定・MapReduce間のTemporary圧縮(LZO使用) ・出力データサイズの最適化・Reducerのデータ取得法の実装の最適化による MapReduce間転送の高速化DeNA Co.,ltd. ALL rights reserved 43

44. 大規模データマイニング基盤 Hadoop チューニング環境に合わせた高速化・効率化 ■Hadoop ・ネットワーク・ハードウェア環境に合わせたパラメータチューニング -MapReduce Task数設定、帯域制御、OSパラメータ設定・MapReduce間のTemporary圧縮(LZO使用) ・出力データサイズの最適化・Reducerのデータ取得法の実装の最適化による MapReduce間転送の高速化DeNA Co.,ltd. ALL rights reserved 44

45. 大規模データマイニング基盤 Pig・Mahout チューニングデータマイニング・機械学習をより行いやすい形へ ■Pig ・環境に合わせた Partitioner 実装の最適化・多段MapReduce間のTemporary圧縮によるIO負荷軽減・小さいファイルの Combine による処理時間短縮・独自UDFの実装による１次集計の簡易化 -汎用：日時処理、文字列処理。ソーシャル用：独自Map ・共通ログ Loader ■Mahout ・各目的に応じた、大規模データマイニング・機械学習の組合せ・一連の手続きのパッケージ化。より使いやすい形へ。DeNA Co.,ltd. ALL rights reserved 45

50. 大規模データマイニング基盤 Pig・Mahout チューニングデータマイニング・機械学習をより行いやすい形へ ■Pig ・環境に合わせた Partitioner 実装の最適化・多段MapReduce間のTemporary圧縮によるIO負荷軽減・小さいファイルの Combine による処理時間短縮・独自UDFの実装による１次集計の簡易化 -汎用：日時処理、文字列処理。ソーシャル用：独自Map ・共通ログ Loader ■Mahout ・各種Mahout用データ変換・各目的に応じた、大規模データマイニング・機械学習の組合せ・一連の手続き実行の実装。 …etcDeNA Co.,ltd. ALL rights reserved 50

58. １日２０億超の行動情報 2300万人以上 1日20億超の行動情報有効会員数（万人）（PV／日）モバゲー 25億タウン 2300万２０億 2010年4月 15億 GREE モバイル 10億 Mixi モバイル 5億 Yahoo! モバイル 0 2008年 2009年 2010年出典: ※モバゲータウン、Yahoo!モバゲー、当社 (月次推移のご報告), 株式会社ミクシィ（2010年度第1四半期決算説明資料）, スマートフォン（国内）の合計ヤフー株式会社 (2008年1月～2010年6月月次報告),DeNA Co.,ltd. ALL rights reserved グリー株式会社 (2010年度第4四半期決算説明資料) 58

67. 楽しさのマイニング楽しさのマイニングユーザー体験へ還元 Data Mining Machine Learning of Fun Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etcDeNA Co.,ltd. ALL rights reserved 67

68. 楽しさのマイニング楽しさのマイニングユーザー体験へ還元 Data Mining Machine Learning of Fun PatternMining Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etcDeNA Co.,ltd. ALL rights reserved 68

69. 楽しさのマイニング楽しさのマイニングユーザー体験へ還元 Data Mining Machine Learning of Fun PatternMining Clustering Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etcDeNA Co.,ltd. ALL rights reserved 69

70. 楽しさのマイニング楽しさのマイニングユーザー体験へ還元 Data Mining Machine Learning of Fun PatternMining Clustering Classification Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etcDeNA Co.,ltd. ALL rights reserved 70

71. 楽しさのマイニング楽しさのマイニングユーザー体験へ還元 Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etcDeNA Co.,ltd. ALL rights reserved 71

72. 楽しさのマイニング楽しさのマイニングユーザー体験へ還元 Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendiation Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etcDeNA Co.,ltd. ALL rights reserved 72

73. 楽しさのマイニング楽しさのマイニングユーザー体験へ還元 Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendiation TimeSeriesAnalysis Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etcDeNA Co.,ltd. ALL rights reserved 73

74. 楽しさのマイニング楽しさのマイニングユーザー体験へ還元 Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendiation TimeSeriesAnalysis StatisticalAnalysis Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etcDeNA Co.,ltd. ALL rights reserved 74

75. 楽しさのマイニング楽しさのマイニングユーザー体験へ還元 Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendiation TimeSeriesAnalysis StatisticalAnalysis NaturalLanguageProcessing ..etc Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etcDeNA Co.,ltd. ALL rights reserved 75

80. データマイニング・機械学習活用例（抜粋） ■楽しさの行動パターン・夢中になるきっかけ ⇒夢中になる体験をしてもらう・楽しんでサービス継続している行動特徴 ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。 ■やめてしまう状況パターン・飽きはじめるきっかけ・不快な状況 ⇒やめるきっかけを発生させないようにする。DeNA Co.,ltd. ALL rights reserved 80

81. データマイニング・機械学習活用例（抜粋） ■楽しさの行動パターン・夢中になるきっかけ ⇒夢中になる体験をしてもらう・楽しんでサービス継続している行動特徴 ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。 ■やめてしまう状況パターン・飽きはじめるきっかけ・不快な状況 ⇒やめるきっかけを発生させないようにする。・飽きはじめたユーザーの予測・判別 ⇒新鮮・斬新な体験を提供する ⇒他の楽しみ方の提供（他サービスへの推薦等）DeNA Co.,ltd. ALL rights reserved 81

82. データマイニング・機械学習活用例（抜粋） ■楽しさの行動パターン・夢中になるきっかけ ⇒夢中になる体験をしてもらう・楽しんでサービス継続している行動特徴 ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。 ■やめてしまう状況パターン・飽きはじめるきっかけ・不快な状況 ⇒やめるきっかけを発生させないようにする。・飽きはじめたユーザーの予測・判別 ⇒新鮮・斬新な体験を提供する ⇒他の楽しみ方の提供（他サービスへの推薦等）DeNA Co.,ltd. ALL rights reserved 82

86. データマイニング・機械学習活用例（抜粋） ■興味のあるゲーム／ユーザーと出会えるプラットフォームへ・ゲームレコメンデーション・ユーザーレコメンデーションソーシャルグラフ解析、機械学習、最適化を組み合わせた推薦 ■健全なプラットフォームへ・不正書き込み判別・年齢詐称の判別 ■ユーザーの声によるサービス洗練・ソーシャルコミュニケーションのテキストマイニングDeNA Co.,ltd. ALL rights reserved 86

87. データマイニング・機械学習活用例（抜粋） ■興味のあるゲーム／ユーザーと出会えるプラットフォームへ・ゲームレコメンデーション・ユーザーレコメンデーションソーシャルグラフ解析、機械学習、最適化を組み合わせた推薦 ■健全なプラットフォームへ・不正書き込み判別・年齢詐称の判別 ■ユーザーの声によるサービス洗練・ソーシャルコミュニケーションのテキストマイニングDeNA Co.,ltd. ALL rights reserved 87

92. 大規模データマイニング基盤統一行動記述 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout … MapReduce Perl Morphological Analysis DeNA Social MA Hive Business Pre-processing/Indexing Data Schema Planning Lucene Zebra Pig Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status LogDeNA Co.,ltd. ALL rights reserved 92

96. 統一行動記述大規模サービスでよく生じる課題大規模サービスでよく生じる課題サービスごとにログフォーマットが異なる形式・何を解析すればいいか分からない・パラメータの値の意味が分からない・類似の解析実装がサービスごとに複数存在するログの場所がばらばら・分散されている置き場・どこにあるか分からず、会席時間よりログを探し・集める時間のほうが長いDeNA Co.,ltd. ALL rights reserved 96

97. 統一行動記述大規模サービスでよく生じる課題大規模サービスでよく生じる課題サービスごとにログフォーマットが異なる形式・何を解析すればいいか分からない・パラメータの値の意味が分からない・類似の解析実装がサービスごとに複数存在するログの場所がばらばら・分散されている置き場・どこにあるか分からず、会席時間よりログを探し・集める時間のほうが長い・データマイニング/機械学習よりもログ収集・基礎集計作業がメイン・データマイニング・機械学習活用まで出来ないDeNA Co.,ltd. ALL rights reserved 97

98. 統一行動記述統一行動ログによる解決大規模サービスでよく生じる課題統一行動記述での解決サービスごとにログフォーマットが異なる形式・何を解析すればいいか分からない・パラメータの値の意味が分からない・類似の解析実装がサービスごとに複数存在するログの場所がばらばら・分散されている置き場・どこにあるか分からず、会席時間よりログを探し・集める時間のほうが長い・データマイニング/機械学習よりもログ収集・基礎集計作業がメイン・データマイニング・機械学習活用まで出来ないDeNA Co.,ltd. ALL rights reserved 98

99. 統一行動記述統一行動ログによる解決大規模サービスでよく生じる課題統一行動記述での解決サービスごとにログフォーマットが異なる統一スキーマ形式・何を解析すればいいか分からない・データマイニング・機械学習実装の・パラメータの値の意味が分からない再利用/サービス横断解析が行える・類似の解析実装がサービスごとに・学習コストの低減複数存在するデータ形式・値の意味を調べる必要がないログの場所がばらばら・分散されている置き場・どこにあるか分からず、会席時間よりログを探し・集める時間のほうが長い・データマイニング/機械学習よりもログ収集・基礎集計作業がメイン・データマイニング・機械学習活用まで出来ないDeNA Co.,ltd. ALL rights reserved 99

100. 統一行動記述統一行動ログによる解決大規模サービスでよく生じる課題統一行動記述での解決サービスごとにログフォーマットが異なる統一スキーマ形式・何を解析すればいいか分からない・データマイニング・機械学習実装の・パラメータの値の意味が分からない再利用/サービス横断解析が行える・類似の解析実装がサービスごとに・学習コストの低減複数存在するデータ形式・値の意味を調べる必要がないログの場所がばらばら・分散されている Hadoopに全てのログがある置き場・どこにあるか分からず、会席時間より・データ探索・収集時間ゼロログを探し・集める時間のほうが長い解析したいデータが全てある・データマイニング/機械学習よりもログ収集・基礎集計作業がメイン・データマイニング・機械学習活用まで出来ないDeNA Co.,ltd. ALL rights reserved 100

101. 統一行動記述統一行動ログによる解決大規模サービスでよく生じる課題統一行動記述での解決サービスごとにログフォーマットが異なる統一スキーマ形式・何を解析すればいいか分からない・データマイニング・機械学習実装の・パラメータの値の意味が分からない再利用/サービス横断解析が行える・類似の解析実装がサービスごとに・学習コストの低減複数存在するデータ形式・値の意味を調べる必要がないログの場所がばらばら・分散されている Hadoopに全てのログがある置き場・どこにあるか分からず、会席時間より・データ探索・収集時間ゼロログを探し・集める時間のほうが長い解析したいデータが全てある・データマイニング/機械学習よりも・大規模データ処理技術ログ収集・基礎集計作業がメイン・データマイニング/機械学習・データマイニング・機械学習活用まで出来ないそれぞれの技術が活用できるDeNA Co.,ltd. ALL rights reserved 101

104. 世界展開：デバイスによらないサービス提供・授受開発一度の開発でiOS/Android 双方へサービス提供が可能海外Smartphone 国内Smartphone プラットフォームプラットフォーム X-border 展開 iOS アプリ Android アプリ X-device 展開 ngCore SDK による開発パートナー様（国内、海外）DeNA Co.,ltd. ALL rights reserved 104

105. 世界展開：デバイスによらないサービス提供・授受ユーザー iOS/Android 双方で同サービスを受けられる海外Smartphone 国内Smartphone プラットフォームプラットフォーム X-border 展開 iOS アプリ Android アプリ X-device 展開 ngCore SDK による開発パートナー様（国内、海外）DeNA Co.,ltd. ALL rights reserved 105

110. 世界中の人々へ蓄積されたデータを有効活用し世界中の人々への適切なサービス提供を実現したい Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout … MapReduce Perl Morphological Analysis DeNA Social MA Java Business Pre-processing/Indexing Data Schema Planning Lucene Zebra Pig Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status LogDeNA Co.,ltd. ALL rights reserved 110

111. 世界中の人々へ蓄積されたデータを有効活用し世界中の人々への適切なサービス提供を実現したい Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendiation TimeSeriesAnalysis StatisticalAnalysis NaturalLanguageProcessing ..etc Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etcDeNA Co.,ltd. ALL rights reserved 111

113. よりよい世界の実現世界中の人々への適切なサービス提供を実現したい一緒に実現する仲間を募集しています大規模ソーシャルメディアのデータマイニング（2100万会員１日20億アクション以上）（※2100万会員モバゲータウンはデータマイニングの宝の山／Tech総研より抜粋）・統計解析／データマイニング／機械学習／自然言語処理・大規模分散処理 113DeNA Co.,ltd. ALL rights reserved

『モバゲーの大規模データマイニング基盤におけるHadoop活用』－Hadoop Conference Japan 2011－ #hcj2011

Koichi Hamada

『モバゲーの大規模データマイニング基盤におけるHadoop活用』－Hadoop Conference Japan 2011－ #hcj2011