データマイニングCROSS 2012 Opening Talk - データマイニングの実サービス・ビジネス適用と展望

4. hamadakoichi 濱田晃一 http://iddy.jp/profile/hamadakoichi 4

5. データマイニング+WEB＠東京 TokyoWebmining を主催しています 5

6. データマイニング+WEB＠東京思い蓄積データを活用し継続的に活動進化できる世界を作りたい

7. データマイニング+WEB＠東京蓄積データを有効活用したい人がそれを実現できるようにしたい

8. データマイニング+WEB＠東京蓄積データを活用した継続的なサービス・活動進化を実現する Google Group： http://groups.google.com/group/webmining-tokyo 8

9. 活動領域 2010年6月 DeNA入社ソーシャルゲームのデータマイニングチーム立上げ 9

10. 活動領域 2010年6月 DeNA入社ソーシャルゲームのデータマイニングチーム立上げ 2011年4月データマイニング部門化ソーシャルプラットフォーム Mobageのデータマイニング実行・ディレクション 10

11. 活動領域ソーシャルメディアのデータマイニング活用 3200万人以上の人々へ各人のつながり・楽しみ・好み個性にあった適切なサービス提供 Social Media Social Graph Fun Like Personality Objective Process Data Mining Machine Learning 各人のつながり、楽しみ、好み、個性にあったより適切なサービス提供 11

12. よりよい世界の実現ソーシャル・活動情報の活用によりより適切な情報・サービス配信される世界を実現したい世界中の人々が個々人のつながり・楽しみ・好みにあった適切な情報・サービスを自ら探さなくても得ることができる世界 Social Media Social Graph Fun Like Personality Objective Process Data Mining Machine Learning 各人のつながり、楽しみ、好み、個性にあったより適切なサービス提供 12

13. AGENDA ◆講師紹介 ◆データマイニングの展開 ◆データマイニング活用 ◆大規模データマイニング基盤技術 ◆実サービス・ビジネス活用例 ◆大規模サービスでよく生じる課題と解決 ◆各業界での展開へ

14. データマイニングの展開 ◆大規模データ：１日２０億超の行動情報 ◆詳細行動情報：楽しさのマイニング ◆迅速なサービス洗練：最短数時間の洗練

16. Mobage Mobage モバイルソーシャルプラットフォーム【ゲーム】【SNS機能】日記の掲載、サークルの形成・参加、アバター（自分の分身のキャラクター）を使った匿名での自己紹介、その他のコミュニケーション【情報配信機能】【作品投稿】実用性の高い情報を配信小説、音楽、動画などのニュース、天気予報、乗り換え案内など作品の創作・投稿コーナー DeNA Co.,ltd. ALL rights reserved 16

17. １日２０億超の行動情報ソーシャルゲーム登場による大規模データの急激な増加 1日20億超の行動情報（PV／日） 25億２０億 2010年4月 15億 GREE モバイル 10億 Mixi モバイル 5億 Yahoo! モバイル 0 2008年 2009年 2010年出典: 当社 (月次推移のご報告), 株式会社ミクシィ（2010年度第1四半期決算説明資料）, ヤフー株式会社 (2008年1月～2010年6月月次報告), グリー株式会社 (2010年度第4四半期決算説明資料) DeNA Co.,ltd. ALL rights reserved 17

34. 楽しさのマイニング楽しさのマイニングユーザー体験へ還元 Data Mining Machine Learning of Fun Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etc DeNA Co.,ltd. ALL rights reserved 34

35. 楽しさのマイニング楽しさのマイニングユーザー体験へ還元 Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendation TimeSeriesAnalysis StatisticalAnalysis NaturalLanguageProcessing ..etc Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etc DeNA Co.,ltd. ALL rights reserved 35

40. データマイニング活用によるサービス洗練データマイニング・機械学習の活用により迅速なサービス洗練を実現しています Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout MapReduce … Morphological Analysis Perl DeNA Social MA Pig Java Business Pre-processing/Indexing Planning Lucene Hive HUE Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log DeNA Co.,ltd. ALL rights reserved 40

44. データマイニング活用によるサービス洗練データマイニング・機械学習結果のサービス活用より楽しんでもらえるサービスへ Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views … Business Planning Service Log API Service Log API Log API Service … … DeNA Co.,ltd. ALL rights reserved 44

45. 大規模データマイニング基盤データマイニング・機械学習の活用により迅速なサービス洗練を実現しています Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout MapReduce … Morphological Analysis Perl DeNA Social MA Pig Java Business Pre-processing/Indexing Planning Lucene Hive HUE Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log DeNA Co.,ltd. ALL rights reserved 45

48. Hadoop Hadoopとは大規模分散処理を行うための基盤・Apache プロジェクト・Java オープンソース・Googleが2004年に発表した論文を実装・主要コンポーネント・分散ファイルシステム: HDFS (Hadoop Distributed File System) ・分散処理フレームワーク: Mapreduce DeNA Co.,ltd. ALL rights reserved 48

50. 分散ファイルシステム：HDFS HDFS (Hadoop Distributed File System) DataNodeを増やすことで大容量化が可能 • NameNode – Meta情報を持つ、ファイル名、レプリケーション数、ファイルの保存場所など • DataNode – 実際のデータを格納するNode。ブロックサイズごとにファイルを分割して１つのファイルを複数のNodeで保存クライアントからは巨大な一つのストレージに DataNode アクセスしているように見える NameNode HDFS クライアント DeNA Co.,ltd. ALL rights reserved 50

52. 分散処理フレームワーク: MapReduce MapがkeyとValueにデータを振り分け、Reduceがkeyごとに集計分散処理を実現する User毎のPageView集計での例 Map userA userD userA userC userB userD key 大量データに対する 3 7 1 2 6 5 value 分散演算 Shuffle & Sort Reduce userA userB userC userD userA userA userD 演算結果の集計 userB userC userD 3 1 6 2 7 5 userA userB userC userD 4 6 2 １２ DeNA Co.,ltd. ALL rights reserved 52

55. 大規模データマイニング基盤データマイニング・機械学習の活用により迅速なサービス洗練を実現しています Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout MapReduce … Morphological Analysis Perl DeNA Social MA Pig Java Business Pre-processing/Indexing Planning Lucene Hive HUE Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log DeNA Co.,ltd. ALL rights reserved 55

59. 大規模データマイニング基盤データマイニング・機械学習結果のサービス活用より楽しんでもらえるサービスへ Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views … Business Planning Service Log API Service Log API Log API Service … … DeNA Co.,ltd. ALL rights reserved 59

60. 大規模データマイニング基盤 Hadoop 全行動ログ/サービスデータ投入 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views … Business Planning Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log DeNA Co.,ltd. ALL rights reserved 60

61. 大規模データマイニング基盤 Pig/Hive 少ない記述量での一次集計/簡易KPI算出 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views … MapReduce Pig Business Data Schema Planning Service Zebra Hive Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log DeNA Co.,ltd. ALL rights reserved 61

62. 大規模データマイニング基盤 HUE GUIベースの解析環境/アクセス管理 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views … MapReduce Pig Business Data Schema Planning Zebra Hive HUE Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log DeNA Co.,ltd. ALL rights reserved 62

63. 大規模データマイニング基盤 MapReduce/Perl/Java 時系列処理・ゲーム分散シミュレーション等 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views MapReduce … Perl Pig Java Business Planning Hive HUE Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log DeNA Co.,ltd. ALL rights reserved 63

64. 大規模データマイニング基盤 R 統計解析・データマイニング・機械学習 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views R MapReduce … Perl Pig Java Business Planning Hive HUE Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log DeNA Co.,ltd. ALL rights reserved 64

65. 大規模データマイニング基盤 Mahout 大規模データマイニング・機械学習 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection KPI Views Data Mining/Machine Learning R Mahout MapReduce … Perl Pig Java Business Planning Hive HUE Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log DeNA Co.,ltd. ALL rights reserved 65

66. 大規模データマイニング基盤 Data Mining Libraries 各種ソーシャル行動解析用のデータマイニングライブラリ Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout MapReduce … Morphological Analysis Perl DeNA Social MA Pig Java Business Pre-processing/Indexing Planning Lucene Hive HUE Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log DeNA Co.,ltd. ALL rights reserved 66

67. 大規模データマイニング基盤データマイニング・機械学習による迅速なサービス洗練を実現しています Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout MapReduce … Morphological Analysis Perl DeNA Social MA Pig Java Business Pre-processing/Indexing Planning Lucene Hive HUE Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log DeNA Co.,ltd. ALL rights reserved 67

71. 活動例（抜粋）楽しさのマイニングユーザー体験へ還元 Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendation TimeSeriesAnalysis StatisticalAnalysis NaturalLanguageProcessing ..etc Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etc DeNA Co.,ltd. ALL rights reserved 71

74. 活動例（抜粋）: Recommendation Recommendation Strategy 推薦戦略 Standard Recommendation Methodologies Memory Based Paradigm Model Based Paradigm (most user decision focused) (most detailed experiments and rationale) > 強調フィルタリング (users that play A play B) > パターンの学習と予測 > ソーシャルグラフ (user neighborhood) > latent semantic analysis (game text similarity) > 強化学習 (user feedback) > artificial neural network > locality sensitive hashing (user profile similarity) Emergent Intelligence Paradigm Hybridized Intelligence Paradigm (fastest adaptation) (most successful globally) > エージェントランダムウォーク(user similarity search) > 手法の組合せによる向上 > 遺伝的アルゴリズム (game preference convergence) >> 友人がいないとき (e.g. new user) >> 利用データが存在しないとき (e.g. new game) >> モデルからメタデータが取得できないとき > 混合手法によるこれらの課題解決 DeNA Co.,ltd. ALL rights reserved

76. 活動例（抜粋）: Recommendation Social Collaborative Filtering ソーシャルグラフを用いたユーザー行動履歴・グラフによる推薦 Social Graph Input User History and Social Graph Collaborative Filtering (Global) RECS (Global Matrix Model for “A likes B”) New user with no history Friend Input User History and Collaborative Filtering (Personal) RECS Neighborhood user (Neighborhood Matrix Model for “A likes B”) Neighborhood User with history Item-Item Matrix of Relationships (Invented by Amazon.com) Friend of Friend Wikipedia Image of a Social Network Relationship between Game A2 and C2 There are thousands of collaborative filtering varieties: + user friend neighborhood… Users who “bought A bought C”, “viewed A viewed C”… + user similarity clustered neighborhood… References (International Research Copyrights) DeNA Co.,ltd. ALL rights reserved

78. 活動例（抜粋）: Recommendation Content Similarity コンテンツ類似度の利用 1 Latent Semantic Analysis via Singular Value Decomposition 2 Cosine Similarity Equation 3 Similarity Game A2 and C2 4 5 6 Game A to B Cosine Similarity Matrix Smoothing Normalization Statistical Z-Score removes Low Game A to B Relationship Matrix Confidence Scores DeNA Co.,ltd. ALL rights reserved

79. 活動例（抜粋）: Recommendation Social Neural Networks ソーシャルグラフを用いたユーザー行動履歴・グラフによる推薦 Social Graph 1 G1 G1 0 1 G2 G2 0 0 G3 G3 0 0 G4 G4 1 0 G5 G5 0 Friend 0 G6 G6 0 user 0 G7 G7 Input User History 0 Neighborhood and Neighborhood 0 G8 G8 0 0 G9 G9 0 HISTORY RECOMMENDATIONS Friend of Friend Wikipedia Image of a Social Network DeNA Co.,ltd. ALL rights reserved

84. 活動例（抜粋）: Recommendation Recommendation より楽しんでもらえるサービス推薦 Standard Recommendation Methodologies Memory Based Paradigm Model Based Paradigm (most user decision focused) (most detailed experiments and rationale) > 強調フィルタリング (users that play A play B) > パターンの学習と予測 > ソーシャルグラフ (user neighborhood) > latent semantic analysis (game text similarity) > 強化学習 (user feedback) > artificial neural network > locality sensitive hashing (user profile similarity) Emergent Intelligence Paradigm Hybridized Intelligence Paradigm (fastest adaptation) (most successful globally) > エージェントランダムウォーク(user similarity search) > 手法の組合せによる向上 > 遺伝的アルゴリズム (game preference convergence) >> 友人がいないとき (e.g. new user) >> 利用データが存在しないとき (e.g. new game) >> モデルからメタデータが取得できないとき > 混合手法によるこれらの課題解決 DeNA Co.,ltd. ALL rights reserved

87. 活動例（抜粋）: Pattern/Clustering/Classification Feature Analysis 楽しさの行動パターン、やめてしまう状況パターン Pattern Mining F1 E1 F2 E1 F3 F4 F5 Clustering Feature Analysis Activity N, … Classification Activity 1 Regression DeNA Co.,ltd. ALL rights reserved

90. 活動例（抜粋） Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン ■楽しさの行動パターン・夢中になるきっかけ ⇒夢中になる体験をしてもらう・楽しんでサービス継続している行動特徴 ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。 ■やめてしまう状況パターン DeNA Co.,ltd. ALL rights reserved 90

91. 活動例（抜粋） Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン ■楽しさの行動パターン・夢中になるきっかけ ⇒夢中になる体験をしてもらう・楽しんでサービス継続している行動特徴 ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。 ■やめてしまう状況パターン・飽きはじめるきっかけ・不快な状況 ⇒やめるきっかけを発生させないようにする。 DeNA Co.,ltd. ALL rights reserved 91

92. 活動例（抜粋） Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン ■楽しさの行動パターン・夢中になるきっかけ ⇒夢中になる体験をしてもらう・楽しんでサービス継続している行動特徴 ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。 ■やめてしまう状況パターン・飽きはじめるきっかけ・不快な状況 ⇒やめるきっかけを発生させないようにする。・飽きはじめたユーザーの予測・判別 ⇒新鮮・斬新な体験を提供する ⇒他の楽しみ方の提供（他サービスへの推薦等） DeNA Co.,ltd. ALL rights reserved 92

93. 活動例（抜粋） Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン ■楽しさの行動パターン・夢中になるきっかけ ⇒夢中になる体験をしてもらう・楽しんでサービス継続している行動特徴 ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。 ■やめてしまう状況パターン・飽きはじめるきっかけ・不快な状況 ⇒やめるきっかけを発生させないようにする。・飽きはじめたユーザーの予測・判別 ⇒新鮮・斬新な体験を提供する ⇒他の楽しみ方の提供（他サービスへの推薦等） DeNA Co.,ltd. ALL rights reserved 93

96. 活動例（抜粋）: Pattern/Clustering/Classification Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン例） Pattern Mining F1 E1 やめてしまう F2 E1 夢中になり始める F3 F4 F5 Clustering Activity N, … 離脱継続 Activity 1 DeNA Co.,ltd. ALL rights reserved

97. 活動例（抜粋）: Pattern/Clustering/Classification Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン例） Pattern Mining F1 E1 やめてしまう F2 E1 夢中になり始める F3 F4 F5 Clustering Feature Analysis Activity N, … 離脱継続 Classification Activity 1 Regression DeNA Co.,ltd. ALL rights reserved

98. 活動例（抜粋）: Pattern/Clustering/Classification Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン例） Pattern Mining F1 E1 やめてしまう F2 E1 夢中になり始める F3 F4 F5 Clustering Feature Analysis Activity N, … 離脱 User Experience Improvement 継続 Classification Activity 1 Regression DeNA Co.,ltd. ALL rights reserved

100. 活動例（抜粋）: Time Series Analysis Anomaly detection 複数時系列から異常な振る舞いを検知する C A 時系列のモデリング複数時系列の異常検知 B 時系列A 時系列A 異常な振る舞い時系列B 時系列C 時系列B 時系列C 異常な振る舞いの時系列を検出例1:トラフィック異常検知例2:CM効果のノイズ除去トラフィックA 地域A CM効果トラフィックB 地域B トラフィックC 調査地域C 異常な振る舞いをしている異常な振る舞いをしている地域をトラフィックの原因を調査する除外して、CMの効果を算出する 100

101. 活動例（抜粋）: Time Series Analysis Anomaly detection 新しいデータと過去時系列モデルの乖離から異常検出異常スコア推移モデル構築異常値 ◇例 : ARIMAモデル異常スコアの算出 ◇例 : 対数損失 t 101

102. 活動例（抜粋）: Time Series Analysis TV Commercial Effects 時系列的な振る舞いの特徴から各KPIへのCMの影響度を算出イベン CM時系列ト新規登録 CM ARPP U ARPU 各KPIの時系列その他継続外部率要因地域 102

103. 活動例（抜粋）楽しさのマイニングユーザー体験へ還元 Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendation TimeSeriesAnalysis StatisticalAnalysis NaturalLanguageProcessing ..etc Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etc 103

104. 活動例（抜粋） Other Applications 他にも各種ユーザー体験向上に役立てています ■健全なプラットフォームへ・不正書き込み判別・年齢詐称の判別 ■ユーザーの声によるサービス洗練・ソーシャルコミュニケーションのテキストマイニング等 104

107. 大規模データマイニング基盤統一行動記述 Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout MapReduce … Morphological Analysis Perl DeNA Social MA Pig Hive Business Pre-processing/Indexing Planning Lucene Hive Pig Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log DeNA Co.,ltd. ALL rights reserved 107

110. 統一行動記述大規模サービスでよく生じる課題大規模サービスでよく生じる課題サービスごとにログフォーマットが異なる形式・何を解析すればいいか分からない・パラメータの値の意味が分からない・類似の解析実装がサービスごとに複数存在するログの場所がばらばら・分散されている置き場・どこにあるか分からず、解析時間よりログを探し・集める時間のほうが長い DeNA Co.,ltd. ALL rights reserved 110

111. 統一行動記述大規模サービスでよく生じる課題大規模サービスでよく生じる課題サービスごとにログフォーマットが異なる形式・何を解析すればいいか分からない・パラメータの値の意味が分からない・類似の解析実装がサービスごとに複数存在するログの場所がばらばら・分散されている置き場・どこにあるか分からず、解析時間よりログを探し・集める時間のほうが長い・データマイニング/機械学習よりもログ収集・基礎集計作業がメイン・データマイニング・機械学習活用まで出来ない DeNA Co.,ltd. ALL rights reserved 111

112. 統一行動記述統一行動ログによる解決大規模サービスでよく生じる課題統一行動記述での解決サービスごとにログフォーマットが異なる形式・何を解析すればいいか分からない・パラメータの値の意味が分からない・類似の解析実装がサービスごとに複数存在するログの場所がばらばら・分散されている置き場・どこにあるか分からず、解析時間よりログを探し・集める時間のほうが長い・データマイニング/機械学習よりもログ収集・基礎集計作業がメイン・データマイニング・機械学習活用まで出来ない DeNA Co.,ltd. ALL rights reserved 112

113. 統一行動記述統一行動ログによる解決大規模サービスでよく生じる課題統一行動記述での解決サービスごとにログフォーマットが異なる統一スキーマ形式・何を解析すればいいか分からない・データマイニング・機械学習実装の・パラメータの値の意味が分からない再利用/サービス横断解析が行える・類似の解析実装がサービスごとに・学習コストの低減複数存在するデータ形式・値の意味を調べる必要がないログの場所がばらばら・分散されている置き場・どこにあるか分からず、解析時間よりログを探し・集める時間のほうが長い・データマイニング/機械学習よりもログ収集・基礎集計作業がメイン・データマイニング・機械学習活用まで出来ない DeNA Co.,ltd. ALL rights reserved 113

114. 統一行動記述統一行動ログによる解決大規模サービスでよく生じる課題統一行動記述での解決サービスごとにログフォーマットが異なる統一スキーマ形式・何を解析すればいいか分からない・データマイニング・機械学習実装の・パラメータの値の意味が分からない再利用/サービス横断解析が行える・類似の解析実装がサービスごとに・学習コストの低減複数存在するデータ形式・値の意味を調べる必要がないログの場所がばらばら・分散されている Hadoopに全てのログがある置き場・どこにあるか分からず、解析時間より・データ探索・収集時間ゼロログを探し・集める時間のほうが長い解析したいデータが全てある・データマイニング/機械学習よりもログ収集・基礎集計作業がメイン・データマイニング・機械学習活用まで出来ない DeNA Co.,ltd. ALL rights reserved 114

115. 統一行動記述統一行動ログによる解決大規模サービスでよく生じる課題統一行動記述での解決サービスごとにログフォーマットが異なる統一スキーマ形式・何を解析すればいいか分からない・データマイニング・機械学習実装の・パラメータの値の意味が分からない再利用/サービス横断解析が行える・類似の解析実装がサービスごとに・学習コストの低減複数存在するデータ形式・値の意味を調べる必要がないログの場所がばらばら・分散されている Hadoopに全てのログがある置き場・どこにあるか分からず、解析時間より・データ探索・収集時間ゼロログを探し・集める時間のほうが長い解析したいデータが全てある・データマイニング/機械学習よりも・大規模データ処理技術ログ収集・基礎集計作業がメイン・データマイニング/機械学習・データマイニング・機械学習活用まで出来ないそれぞれの技術が活用できる DeNA Co.,ltd. ALL rights reserved 115

117. １日２０億超の行動情報ソーシャルゲーム登場による大規模データの急激な増加 1日20億超の行動情報（PV／日） 25億２０億 2010年4月 15億 GREE モバイル 10億 Mixi モバイル 5億 Yahoo! モバイル 0 2008年 2009年 2010年出典: 当社 (月次推移のご報告), 株式会社ミクシィ（2010年度第1四半期決算説明資料）, ヤフー株式会社 (2008年1月～2010年6月月次報告), グリー株式会社 (2010年度第4四半期決算説明資料) DeNA Co.,ltd. ALL rights reserved 117

119. 楽しさのマイニング行動情報の詳細化楽しさのマイニングによるユーザー体験還元 Data Mining Machine Learning of Fun PatternMining Clustering Classification Regression Recommendation TimeSeriesAnalysis StatisticalAnalysis NaturalLanguageProcessing ..etc Social Media Experience Social Graph Detailed Actions Changes of Status Social Communications Personality ..etc DeNA Co.,ltd. ALL rights reserved 119

121. 大規模データマイニング基盤データマイニング・機械学習による迅速なサービス洗練を実現しています Data-mining Machine-Leaning Data Mining Infrastructure Results KPI Inspection DeNA Data Mining Libraries KPI Views Data Mining/Machine Learning R Mahout MapReduce … Morphological Analysis Perl DeNA Social MA Pig Java Business Pre-processing/Indexing Planning Lucene Hive HUE Service Log API Service Log API Hadoop DFS Log API Service Unified Description of … … Action/Status Log DeNA Co.,ltd. ALL rights reserved 121

122. データマイニング活用の場統一行動記述とHadoop基盤によるデータマイニング・機械学習の活用大規模サービスでよく生じる課題解決サービスごとにログフォーマットが異なる統一スキーマ形式・何を解析すればいいか分からない・データマイニング・機械学習実装の・パラメータの値の意味が分からない再利用/サービス横断解析が行える・類似の解析実装がサービスごとに・学習コストの低減複数存在するデータ形式・値の意味を調べる必要がないログの場所がばらばら・分散されている Hadoopに全てのログがある置き場・どこにあるか分からず、解析時間より・データ探索・収集時間ゼロログを探し・集める時間のほうが長い解析したいデータが全てある・データマイニング/機械学習よりも・大規模データ処理技術ログ収集・基礎集計作業がメイン・データマイニング/機械学習・データマイニング・機械学習活用まで出来ないそれぞれの技術が活用できる DeNA Co.,ltd. ALL rights reserved 122

130. 関連資料 “Mobageの大規模データマイニング” - PRMU 2011 Big Data and Cloud, 2011/10/6 http://www.slideshare.net/hamadakoichi/mobage-prmu-2011-mahout-hadoop “モバゲーの大規模データマイニング基盤におけるHadoop活用” - Hadoop Conference Japan 2011, 2011/2/22 http://www.slideshare.net/hamadakoichi/hadoop-hadoop-conference-japan-2011-hcj2011 DeNA Co.,ltd. ALL rights reserved 130

データマイニングCROSS 2012 Opening Talk - データマイニングの実サービス・ビジネス適用と展望

Du liest eine Vorschau.

Hier ansehen

データマイニングCROSS 2012 Opening Talk - データマイニングの実サービス・ビジネス適用と展望

Weitere Verwandte Inhalte

Diashows für Sie (20)

Ähnlich wie データマイニングCROSS 2012 Opening Talk - データマイニングの実サービス・ビジネス適用と展望 (20)

Weitere von Koichi Hamada (20)

Aktuellste (20)