DeNAの大規模データマイニング活用したサービス開発

15. 15 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 9.7倍 ※2: 利用継続数値: Install後のN日後のInstallゲームの来訪ユーザ数等利用継続数値/Impression (※2) 3.8倍 Install/Impression (CTR x CVR) デモグラ区分でMobage全体のCTRxCVRやLTVが高いゲームのリスティングと比較したパーソナルゲームレコメンドの数値増加効果(※1) ※1: 表示位置等、同条件での比較。2014年上期時点

16. 16 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 3.8倍効果規模例 9.7倍興味と合い楽しめるゲームに出会えることによりよりゲームを楽しみ継続してもらえる体験を提供利用継続数値/Impression (※2) ※2: 利用継続数値: Install後のN日後のInstallゲームの来訪ユーザ数等 Install/Impression (CTR x CVR) デモグラ区分でMobage全体のCTRxCVRやLTVが高いゲームのリスティングと比較したパーソナルゲームレコメンドの数値増加効果(※1) ※1: 表示位置等、同条件での比較。2014年上期時点

17. 17 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. パーソナルレコメンデーション例興味にあったゲームに出会い楽しめるレコメンド行動・反応から興味を学習。使えば使うほど推薦内容が洗練されていく自分の興味にあい楽しみ継続利用する確率が高いゲーム・各ユーザごとに、各レコメンドに対する反応から興味を学習（強化学習）自分がはまっているゲーム User Reaction Log Personalized Data for Each User Impression Game Play Install user_id, recdata ・ゲームプレイ特徴、ゲームインストール特徴、インストール後継プレイ特徴、の条件付き確率構造を学習・各ユーザーごとに、プレイ特徴に応じた、各ゲームの継続利用確率を算出分散処理: 機械学習 Click Install プレイ・継続特徴学習、利用継続確率リアクション学習 Play Continuity after install

21. 21 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分散処理: 機械学習パーソナルレコメンデーション例サービス横断で友達を増やし一緒にゲーム・コミュニティを楽しむ機会を創出興味あるゲーム・コミュニティで親しいユーザ一緒に楽しんでいるサービス User Reaction Log Personalized Data for Each User Impression Service Access user_id, recdata ・アクセス特徴、コミュニケーション特徴から、各ユーザごとに、興味・個別サービスでの他ユーザとの親密度、および、ゲーム・プラットフォーム横断でのユーザ間親密度を算出 Friend Request Accept サービス横断のユーザ親密度 Communication ・各ユーザごとに、各レコメンドに対する反応から興味を学習・洗練（強化学習）リアクション学習

28. 28 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 講師 2010年6月 Mobageプラットフォーム全体のデータマイニング・機械学習活用したサービス開発・洗練 2011年4月～・博士 - 量子統計場の理論(理論物理学) ・データマイニング+WEB@東京(TokyoWebmining) 主催。　データマイニングの実活用コミュニティ。登録人数 1300人超。濱田晃一 (@hamadakoichi) ・執筆：Mobageを支える技術 DeNA入社ソーシャルゲームのデータマイニングチーム立上げ Analytics Architect DeNA全サービスのデータマイニング・機械学習活用したサービス開発・洗練 2014年10月～・データマイニング・機械学習、等、各種講師資料も公開しています http://slidesha.re/h6OeXn

29. 29 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 数千万人の人々へ各人のつながり・楽しみ・好み個性にあった適切なサービス配信日々35億以上の活動の活用データマイニング・機械学習活用したサービス開発活動より適切なサービス提供各人のつながり、楽しみ、好み、個性にあった Social Graph Objective Process Fun PersonalityLike Social Media Data Mining Machine Learning

30. 30 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. ソーシャル・活動情報の活用によりより適切な情報・サービス配信される世界を実現したい活動より適切なサービス提供各人のつながり、楽しみ、好み、個性にあった Social Graph Objective Process Fun PersonalityLike Social Media Data Mining Machine Learning

31. 31 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. より適切なサービス提供各人のつながり、楽しみ、好み、個性にあった Social Graph Objective Process Fun PersonalityLike Social Media Data Mining Machine Learning ソーシャル・活動情報の活用によりより適切な情報・サービス配信される世界を実現したい活動世界中の人々が個々人のつながり・楽しみ・好みにあった適切な情報・サービスを自ら探さなくても得ることができる世界

40. 40 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. データマイニング活用によるサービス洗練データマイニング・機械学習の活用により迅速なサービス洗練を実現していますKafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … … … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Unified Description of Action/Status Log Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase Java HUE R Perl Hive MapReduce Pig Online Storage Batch Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica

43. 43 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. データマイニング活用によるサービス洗練データマイニング・機械学習結果のサービス活用より楽しんでもらえるサービスへKafka Messaging … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Data-mining Machine-Leaning Results

44. 44 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. データマイニング活用によるサービス洗練データマイニング・機械学習の活用により迅速なサービス洗練を実現していますKafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … … … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Unified Description of Action/Status Log Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase Java HUE R Perl Hive MapReduce Pig Online Storage Batch Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica

57. 57 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 楽しさのマイニング楽しさのマイニングユーザー体験へ還元 Social Graph Data Mining Machine Learning of Fun Social Media Experience Detailed Actions Social Communications Changes of Status Personality ..etc

58. 58 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 楽しさのマイニング楽しさのマイニングユーザー体験へ還元 Social Graph Data Mining Machine Learning ClusteringPatternMining Classification Regression Recommendation of Fun Social Media Experience TimeSeriesAnalysis StatisticalAnalysis Detailed Actions Social Communications Changes of Status NaturalLanguageProcessing ..etc Personality ..etc

59. 59 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 活動例（抜粋）楽しさのマイニングユーザー体験へ還元 Social Graph Data Mining Machine Learning ClusteringPatternMining Classification Regression Recommendation of Fun Social Media Experience TimeSeriesAnalysis StatisticalAnalysis Detailed Actions Social Communications Changes of Status NaturalLanguageProcessing ..etc Personality ..etc

62. 62 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Recommendation Strategy Memory Based Paradigm (most user decision focused) > 協調フィルタリング (users that play A play B) > ソーシャルグラフ (user neighborhood) > 強化学習 (user feedback) > locality sensitive hashing (user profile similarity) Model Based Paradigm (most detailed experiments and rationale) > パターンの学習と予測　> latent semantic analysis (game text similarity) 　> artificial neural network Emergent Intelligence Paradigm (fastest adaptation) > エージェントランダムウォーク(user similarity search) > 遺伝的アルゴリズム (game preference convergence) Hybridized Intelligence Paradigm (most successful globally) > 手法の組合せによる向上 >> 友人がいないとき (e.g. new user) >> 利用データが存在しないとき (e.g. new game) >> モデルからメタデータが取得できないとき > 混合手法によるこれらの課題解決 Standard Recommendation Methodologies 推薦戦略活動例（抜粋）: Recommendation

64. 64 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social Collaborative Filtering Social Graph Collaborative Filtering (Personal) (Neighborhood Matrix Model for “A likes B”) Input User History and Neighborhood Collaborative Filtering (Global) (Global Matrix Model for “A likes B”) Input User History and Social Graph RECSRECS User with no friend [ex) New User] User with friend Relationship between Game A2 and C2 Item-Item Matrix of Relationships (Invented by Amazon.com) Users who “bought A bought C”, “viewed A viewed C”… There are thousands of collaborative filtering varieties: + user friend neighborhood… + user similarity clustered neighborhood… References (International Research Copyrights) Wikipedia Image of a Social Network user Friend of Friend Friend Neighborhood ソーシャルグラフを用いたユーザー行動履歴・グラフによる推薦活動例（抜粋）: Recommendation

66. 66 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Content Similarity コンテンツ類似度の利用 Similarity Game A2 and C2 Game A to B Cosine Similarity Matrix Smoothing Normalization Game A to B Relationship Matrix Cosine Similarity Equation Latent Semantic Analysis via Singular Value Decomposition Statistical Z-Score removes Low Confidence Scores 1 2 3 4 5 6 活動例（抜粋）: Recommendation

67. 67 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social Neural Networks ソーシャルグラフを用いたユーザー行動履歴・グラフによる推薦 Input User History and Neighborhood Wikipedia Image of a Social Network G1 G2 G3 G4 G5 G6 G7 G8 G9 G1 G2 G3 G4 G5 G6 G7 G8 G9 1 1 0 0 0 0 0 0 0 0 0 0 1 0 0 0 0 0 HISTORY RECOMMENDATIONS Social Graph user Friend of Friend Friend Neighborhood 活動例（抜粋）: Recommendation

72. 72 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Memory Based Paradigm (most user decision focused) > 協調フィルタリング (users that play A play B) > ソーシャルグラフ (user neighborhood) > 強化学習 (user feedback) > locality sensitive hashing (user profile similarity) Model Based Paradigm (most detailed experiments and rationale) > パターンの学習と予測　> latent semantic analysis (game text similarity) 　> artificial neural network Emergent Intelligence Paradigm (fastest adaptation) > エージェントランダムウォーク(user similarity search) > 遺伝的アルゴリズム (game preference convergence) Hybridized Intelligence Paradigm (most successful globally) > 手法の組合せによる向上 >> 友人がいないとき (e.g. new user) >> 利用データが存在しないとき (e.g. new game) >> モデルからメタデータが取得できないとき > 混合手法によるこれらの課題解決 Standard Recommendation Methodologies Recommendation より楽しんでもらえるサービス推薦活動例（抜粋）: Recommendation

75. 75 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Feature Analysis 楽しさの行動パターン、やめてしまう状況パターン Activity 1 Activity N, … Clustering Pattern Mining Feature Analysis F1 F2 E1 E1 F3 F4 F5 Regression Classification 活動例（抜粋）: Pattern/Clustering/Classification

78. 78 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 活動例（抜粋） ■楽しさの行動パターン ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。 ⇒夢中になる体験をしてもらう・夢中になるきっかけ・楽しんでサービス継続している行動特徴 Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン ■やめてしまう状況パターン

79. 79 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 活動例（抜粋） ■楽しさの行動パターン ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。 ■やめてしまう状況パターン ⇒夢中になる体験をしてもらう・夢中になるきっかけ・楽しんでサービス継続している行動特徴・飽きはじめるきっかけ・不快な状況 ⇒やめるきっかけを発生させないようにする。 Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン

80. 80 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 活動例（抜粋） ■楽しさの行動パターン ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。 ■やめてしまう状況パターン ⇒他の楽しみ方の提供（他サービスへの推薦等） ⇒夢中になる体験をしてもらう・夢中になるきっかけ・楽しんでサービス継続している行動特徴・飽きはじめたユーザーの予測・判別 ⇒新鮮・斬新な体験を提供する・飽きはじめるきっかけ・不快な状況 ⇒やめるきっかけを発生させないようにする。 Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン

81. 81 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 活動例（抜粋） ■楽しさの行動パターン ⇒楽しさのパターンを高頻度発生。より楽しいサービス体験。 ⇒楽しさのパターンをサービス初期で体験。楽しさを理解。 ■やめてしまう状況パターン ⇒他の楽しみ方の提供（他サービスへの推薦等） ⇒夢中になる体験をしてもらう・夢中になるきっかけ・楽しんでサービス継続している行動特徴・飽きはじめたユーザーの予測・判別 ⇒新鮮・斬新な体験を提供する・飽きはじめるきっかけ・不快な状況 ⇒やめるきっかけを発生させないようにする。 Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン

83. 83 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン例） Pattern Mining F1 F2 E1 E1 F3 F4 F5 やめてしまう夢中になり始める活動例（抜粋）: Pattern/Clustering/Classification

84. 84 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン例） Activity 1 Activity N, … Clustering Pattern Mining F1 F2 E1 E1 F3 F4 F5 やめてしまう夢中になり始める継続離脱活動例（抜粋）: Pattern/Clustering/Classification

85. 85 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン例） Activity 1 Activity N, … Clustering Pattern Mining Feature Analysis F1 F2 E1 E1 F3 F4 F5 Regression Classification やめてしまう夢中になり始める継続離脱活動例（抜粋）: Pattern/Clustering/Classification

86. 86 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Feature Analysis/Prediction 楽しさの行動パターン、やめてしまう状況パターン Activity 1 Activity N, … Clustering Pattern Mining Feature Analysis F1 F2 E1 E1 F3 F4 F5 Regression Classification やめてしまう夢中になり始める継続離脱例） User Experience Improvement 活動例（抜粋）: Pattern/Clustering/Classification

88. 88 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 活動例（抜粋）: Time Series Analysis 異常な振る舞い複数時系列の異常検知時系列A 時系列B 時系列C ケースA ケースB ケースC 例2:CM効果のノイズ除去異常な振る舞いの時系列を検出異常な振る舞いをしているケースを除外して、CMの効果を算出する CM効果トラフィックA トラフィックB トラフィックC 例1:トラフィック異常検知異常な振る舞いをしているトラフィックの原因を調査する調査 A B C 時系列のモデリング時系列A 時系列B 時系列C Anomaly detection 複数時系列から異常な振る舞いを検知する

93. 93 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 楽しさのマイニング楽しさのマイニングユーザー体験へ還元 Social Graph Data Mining Machine Learning ClusteringPatternMining Classification Regression Recommendation of Fun Social Media Experience TimeSeriesAnalysis StatisticalAnalysis Detailed Actions Social Communications Changes of Status NaturalLanguageProcessing ..etc Personality ..etc

101. 101 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 提供したいのは新たな価値ある体験・サービスデータマイニング・機械学習を活用し体験提供・サービスとしてよいものをつくるデータマイニング・機械学習はあくまで手段だが、新たな価値提供の大きな源泉となる実際にどのくらい価値があるのかは提供してみないとわからないわからないことはやってみる。挑戦する

102. 102 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 提供したいのは新たな価値ある体験・サービスデータマイニング・機械学習を活用し体験提供・サービスとしてよいものをつくるデータマイニング・機械学習はあくまで手段だが、新たな価値提供の大きな源泉となる実際にどのくらい価値があるのかは提供してみないとわからないわからないことはやってみる。挑戦する

106. 106 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. ユーザ体験設計・サービス設計新たな提供体験・価値を考えるどのような新たな体験提供ができるか、どのような価値があるか、考え抜く・効果高い課題設定・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析体験提供 2. ユーザ体験設計 Service Front End 3. サービス設計

107. 107 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. ユーザ体験設計・サービス設計新たな提供体験・価値を考えるどのような新たな体験提供ができるか、どのような価値があるか、考え抜く・効果高い課題設定・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析体験提供 2. ユーザ体験設計 Service Front End 3. サービス設計データマイニング・機械学習は新たな体験提供の大きな源泉となる

108. 108 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. ユーザ体験設計・サービス設計新たな提供体験・価値を考える実際にどのくらい価値があるのかは提供してみないとわからない体験提供・効果高い課題設定・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析 2. ユーザ体験設計 Service Front End 3. サービス設計

109. 109 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. ユーザ体験設計・サービス設計新たな提供体験・価値を考える実際にどのくらい価値があるのかは提供してみないとわからない体験提供わからないことはやってみる。挑戦する・効果高い課題設定・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析 2. ユーザ体験設計 Service Front End 3. サービス設計

110. 110 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 洗練サイクル設計・ログ設計・連携データ設計洗練サイクルを設計するユーザが日々利用しているだけで、体験洗練されていくサイクルを設計する体験提供・効果高い課題設定・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析 Feedback Log Personalized Data For each user Service Front End 2. ユーザ体験設計 4. 洗練サイクル設計 3. サービス設計 6. ログ設計 5. 連携データ設計 Distributed Applications YARN HDFS

111. 111 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 洗練サイクル設計・ログ設計・連携データ設計洗練サイクルを設計するユーザが日々利用しているだけで、体験洗練されていくサイクルを設計する・効果高い課題設定・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析体験提供 Feedback Log Personalized Data For each user Service Front End 2. ユーザ体験設計 4. 洗練サイクル設計 3. サービス設計 6. ログ設計 5. 連携データ設計 Distributed Applications YARN HDFS 学習アルゴリズム、学習に必要なログ、連携データ、等、一連のサイクルをつくる

112. 112 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分散アルゴリズム設計学習方法の分散アルゴリズムを設計する大規模データでもスケールする学習アルゴリズム設計する体験提供 Distributed Applications YARN HDFS ・効果高い課題設定・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析 Feedback Log 6. ログ設計 Personalized Data For each user Service Front End 2. ユーザ体験設計 4. 洗練サイクル設計 5. 連携データ設計 3. サービス設計 7.分散アルゴリズム設計

113. 113 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分散アルゴリズム設計学習方法の分散アルゴリズムを設計する大規模データでもスケールする学習アルゴリズム設計する体験提供学習アルゴリズムを、分散可能なアルゴリズムに再構成する Distributed Applications YARN HDFS ・効果高い課題設定・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析 Feedback Log 6. ログ設計 Personalized Data For each user Service Front End 2. ユーザ体験設計 4. 洗練サイクル設計 5. 連携データ設計 3. サービス設計 7.分散アルゴリズム設計

114. 114 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分散アルゴリズム実装体験提供体験・サービス提供に適した形で実装・チューニングしていくサービスに適した形で分散アルゴリズム実装する Distributed Applications YARN HDFS ・効果高い課題設定・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析 Feedback Log 6. ログ設計 7.分散アルゴリズム設計 Personalized Data For each user Service Front End 2. ユーザ体験設計 4. 洗練サイクル設計 8.分散実装 5. 連携データ設計 3. サービス設計

115. 115 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分散アルゴリズム実装体験提供体験・サービス提供に適した形で実装・チューニングしていくサービスに適した形で分散アルゴリズム実装する Distributed Applications YARN HDFS ・効果高い課題設定・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析 Feedback Log 6. ログ設計 7.分散アルゴリズム設計 Personalized Data For each user Service Front End 2. ユーザ体験設計 4. 洗練サイクル設計 8.分散実装 5. 連携データ設計 3. サービス設計各種アルゴリズムチューニングのトライを多く行いたい。必要なものは自分でつくる

116. 116 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分散アルゴリズム実装体験提供体験・サービス提供に適した形で実装・チューニングしていく結果を分析し、体験・サービス・学習サイクルともに洗練していく Distributed Applications YARN HDFS ・効果高い課題設定・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析 Feedback Log 6. ログ設計 7.分散アルゴリズム設計 Personalized Data For each user Service Front End 2. ユーザ体験設計 4. 洗練サイクル設計 8.分散実装 5. 連携データ設計 3. サービス設計

117. 117 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Distributed Applications YARN HDFS データマイニング・機械学習活用したサービス開発新たな価値ある体験・サービス提供を考え、作り、挑戦し続ける・効果高い課題設定・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析体験提供 Feedback Log 6. ログ設計 7.分散アルゴリズム設計 Personalized Data For each user Service Front End 2. ユーザ体験設計 4. 洗練サイクル設計 8.分散実装 5. 連携データ設計 3. サービス設計

119. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 119 Appli Marketとの差異化 Appli Marketと異なり、ユーザアクティビティまで担うPF アクティビティ・ソーシャルグラフを活用しユーザ体験・価値を最大化する Social （Friend/Communication） Activity × モバ友ゲーム内仲間よく出会う人（同チーム、上位ランカー） impression click Install Appli Market (Google Play/ AppStore) Activity PF+ PFコミュニケーション (ミニメ、あいさつ、チャット、etc) ゲーム内コミュニケーション利用継続プレイ …

121. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. User・Developer・PFに提供する価値 Mobage PF User 興味に合うゲームに出会え親しいユーザと一緒に楽しめる Developer 提供ゲームに興味があり親しいユーザどうしで楽しむ継続利用・コイン消費してくれるユーザの獲得より楽しんでもらえる機会を提供し利用継続・コイン消費してもらえる

122. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 提供 Social Graph Data Mining Machine Learning ClusteringPatternMining Classification Regression Recommendation of Fun Social Experience TimeSeriesAnalysis StatisticalAnalysis Detailed Actions Social Communications Changes of Status NaturalLanguageProcessing ..etc Personality ..etc 活動・ソーシャル情報の活用によりひとりひとりそれぞれの興味・つながりにあったより適切な情報・サービスの提供

123. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 提供 Social Graph Data Mining Machine Learning ClusteringPatternMining Classification Regression Recommendation of Fun Social Experience TimeSeriesAnalysis StatisticalAnalysis Detailed Actions Social Communications Changes of Status NaturalLanguageProcessing ..etc Personality ..etc 活動・ソーシャル情報の活用によりひとりひとりそれぞれの興味・つながりにあったより適切な情報・サービスの提供自ら探さなくてもそれらを得ることができる世界を実現したい

128. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 活動例：パーソナルレコメンデーション各ユーザーに対し興味・サービス横断で親しいユーザを学習・算出サービスを使えば使うほど内容が洗練されていく興味のあるゲームに出会う親しい人と一緒に楽しむ友達を増やし一緒にゲーム・コミュニティを楽しむ（個別の学習、及び、ユーザ状況に応じたアルゴリズム自体の組合せ・選択）

136. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social Game Communication FriendCommunication PF Communication PF Activity Game Activity Game Impression Game Click Game Install User Impression User Click AttentionActivity 提供体験例興味にあったゲームに出会え、親しい仲間と複数ゲームを楽しめる 136 PF Friend Game Friend

137. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social Game Communication FriendCommunication PF Communication PF Activity Game Activity Game Impression Game Click Game Install User Impression User Click AttentionActivity 提供体験例興味にあったゲームに出会え、親しい仲間と複数ゲームを楽しめる興味にあったゲームを楽しめる Interests 興味にあったゲームに出会う機会提供する（興味軸でのゲームとの出会い） 137 PF Friend Game Friend

138. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social Game Communication FriendCommunication PF Communication PF Activity Game Activity Game Impression Game Click Game Install User Impression User Click AttentionActivity 提供体験例興味にあったゲームに出会え、親しい仲間と複数ゲームを楽しめる興味にあったゲームを楽しめる Interests 興味にあったゲームに出会う機会提供する（興味軸でのゲームとの出会い） 138 PF Friend Game Friend

139. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social PF Friend Game Friend Game Communication FriendCommunication PF Communication PF Activity Game Activity Game Impression Game Click Game Install User Impression User Click AttentionActivity 提供体験例興味にあったゲームに出会え、親しい仲間と複数ゲームを楽しめる親しいユーザと一緒に楽しめる興味にあったゲームを楽しめる Interests 興味にあったゲームに出会う機会提供する（興味軸でのゲームとの出会い）親しいユーザが楽しんでいるゲームに出会う機会を提供する（親しいユーザ軸でのゲームとの出会い） 139 Familiarities

140. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social PF Friend Game Friend Game Communication FriendCommunication PF Communication PF Activity Game Activity Game Impression Game Click Game Install User Impression User Click AttentionActivity 提供体験例興味にあったゲームに出会え、親しい仲間と複数ゲームを楽しめる親しいユーザと一緒に楽しめる興味にあったゲームを楽しめる Interests Familiarities 興味にあったゲームに出会う機会提供する（興味軸でのゲームとの出会い）親しいユーザが楽しんでいるゲームに出会う機会を提供する（親しいユーザ軸でのゲームとの出会い） 140

143. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social PF Friend Game Friend Game Communication FriendCommunication PF Communication PF Activity Game Activity Game Impression Game Click Game Install User Impression User Click AttentionActivity 提供体験例興味にあったゲームに出会え、親しい仲間と複数ゲームを楽しめる親しいユーザと一緒に楽しめる興味にあったゲームを楽しめる Interests Familiarities 興味にあったゲームに出会う機会提供する（興味軸でのゲームとの出会い）親しいユーザが楽しんでいるゲームに出会う機会を提供する（親しいユーザ軸でのゲームとの出会い） 143 親しいユーザが増える興味があうユーザと出会い・親しくなれる機会を提供する（友達推薦・コミュニケーション推薦、等）

144. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social PF Friend Game Friend Game Communication FriendCommunication PF Communication PF Activity Game Activity Game Impression Game Click Game Install User Impression User Click AttentionActivity 提供体験例興味にあったゲームに出会え、親しい仲間と複数ゲームを楽しめる親しいユーザと一緒に楽しめる興味にあったゲームを楽しめる Interests Familiarities 興味にあったゲームに出会う機会提供する（興味軸でのゲームとの出会い）親しいユーザが楽しんでいるゲームに出会う機会を提供する（親しいユーザ軸でのゲームとの出会い） 144 親しいユーザが増える興味があうユーザと出会い・親しくなれる機会を提供する（友達推薦・コミュニケーション推薦、等）

145. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social PF Friend Game Friend Game Communication FriendCommunication PF Communication PF Activity Game Activity Game Impression Game Click Game Install User Impression User Click AttentionActivity 提供体験例興味にあったゲームに出会え、親しい仲間と複数ゲームを楽しめる親しいユーザと一緒に楽しめる興味にあったゲームを楽しめる Interests 興味にあったゲームに出会う機会提供する（興味軸でのゲームとの出会い）親しいユーザが楽しんでいるゲームに出会う機会を提供する（親しいユーザ軸でのゲームとの出会い）親しいユーザが増える興味があうユーザと出会い・親しくなれる機会を提供する（友達推薦・コミュニケーション推薦、等） Familiarities

146. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Social PF Friend Game Friend Game Communication FriendCommunication PF Communication PF Activity Game Activity Game Impression Game Click Game Install User Impression User Click AttentionActivity 興味にあったゲームに出会え、親しい仲間と複数ゲームを楽しめる親しいユーザと一緒に楽しめる興味にあったゲームを楽しめる Interests 興味にあったゲームに出会う機会提供する（興味軸でのゲームとの出会い）親しいユーザが楽しんでいるゲームに出会う機会を提供する（親しいユーザ軸でのゲームとの出会い）親しいユーザが増える興味があうユーザと出会い・親しくなれる機会を提供する（友達推薦・コミュニケーション推薦、等） Familiarities 提供体験例

148. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 3.8倍効果規模例 9.7倍興味と合い楽しめるゲームに出会えることによりよりゲームを楽しみ継続してもらえる体験を提供 ※2: 利用継続数値: Install後のN日後のInstallゲームの来訪ユーザ数等 ※1: 表示位置等、同条件での比較。2014年上期実施。 Install/Impression (CTR x CVR) デモグラ区分でMobage全体のCTRxCVRやLTVが高いゲームのリスティングと比較したパーソナルゲームレコメンドの数値増加効果(※1) 148 Install後利用継続/Impression (※2)

149. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分散処理: 機械学習パーソナルレコメンデーション例興味にあったゲームに出会い楽しめるレコメンド行動・反応から興味を学習。使えば使うほど推薦内容が洗練されていく自分の興味にあい楽しみ継続利用する確率が高いゲーム・各ユーザごとに、各レコメンドに対する反応から興味を学習（強化学習）自分がはまっているゲーム User Reaction Log Personalized Data for Each User Impression Game Play Install user_id, recdata ・ゲームプレイ特徴、ゲームインストール特徴、インストール後継プレイ特徴、の条件付き確率構造を学習・各ユーザーごとに、プレイ特徴に応じた、各ゲームの継続利用確率を算出 Click Install プレイ・継続特徴学習、利用継続確率リアクション学習 Play Continuity after install 149

154. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 課題解決・ユーザーがインストールしないゲームを表示し続け、他ゲームでのインストール機会を失っている行動学習リアクション学習課題行動特徴・リアクション特徴の学習による Personal Recommendation ユーザごとにInstall・利用継続確率最大のゲームを理由をつけ推薦する・全員一様のゲーム表示では、枠どうしで奪いあうだけで、全体インストール数は増加していない Personal Recommendation 154 ・ユーザーごとに表示ゲームのリアクション学習(強化学習)。キューザごとにより興味あり、リアクションしやすいゲームを表示・ユーザごとに各行動履歴から、各ゲームの開始・利用継続の確率の確率を算出。 ※各ゲームがなぜ推薦されているかの理由も合わせて表示解決

155. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Bayesian Network 複数の事象の発生確率のネットワーク ⇒ ある事象が起こったとき、発生確率・期待値が最大となる事象を算出できる 155 Aが起こったら、Bが起こる確率：P(B|A) 例：　SG Play⇒SG Install：　　事象A　　　　　　　　事象B 　　・怪盗 Play　　 ⇒ バルキリーズInstall 　　・ラグナ Play　　 ⇒ アヴァロン Install 　 SG Play⇒SG Install & 利用継続：　　・ガンロワ Play　⇒ GCC Install & 利用継続　　・ Play　　⇒ GCC Install & 利用継続 A B C D E F G H I J K … P(E|A) P(F|A) P(H|E) ※入門資料：Personal Recommendation と Bayesian Network http://www.slideshare.net/hamadakoichi/ss-4113135 http://www.slideshare.net/hamadakoichi/ss-4552939・Bayesian Network入門　　　　　：・Personal Recommendation入門：確率ネットワーク： Bayesian Network

156. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 処理概要各ユーザ行動とインストール・利用継続の Bayesian Networkとリアクション強化学習インストール・利用継続期待値が最大化となるゲームを推薦する ①全ユーザのアクション履歴から、　「各アクションとGame Yを Installし利用継続、確率ネットワーク」を算出 ②個々のユーザのアクション imp ③Reaction学習からの興味算出Probability = ProbabilityByAction x ProbabilityByReaction 例：行動特徴からのInstall 確率算出による算出 Probabilityの高い順に表示 user Title Ac/on 12345678 Game A プレイ 30 12345678 Game B プレイ 10 12345678 News Topic X 閲覧 30 user Title Interest 12345678 ガンロワ 0.8 12345678 バハムート 0.2 A B C D E F G H I J Game Install Y … P(E|A) P(F|A) P(H|E)Y1 Y2 156

157. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分散処理: 機械学習パーソナルレコメンデーション例興味にあったゲームに出会い楽しめるレコメンド行動・反応から興味を学習。使えば使うほど推薦内容が洗練されていく自分の興味にあい楽しみ継続利用する確率が高いゲーム・各ユーザごとに、各レコメンドに対する反応から興味を学習（強化学習）自分がはまっているゲーム User Reaction Log Personalized Data for Each User Impression Game Play Install user_id, recdata ・ゲームプレイ特徴、ゲームインストール特徴、インストール後継プレイ特徴、の条件付き確率構造を学習・各ユーザーごとに、プレイ特徴に応じた、各ゲームの継続利用確率を算出 Click Install プレイ・継続特徴学習、利用継続確率リアクション学習 Play Continuity after install 157

160. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分散処理: 機械学習パーソナルレコメンデーション例サービス横断で友達を増やし一緒にゲーム・コミュニティを楽しむ機会を創出興味あるゲーム・コミュニティで親しいユーザ一緒に楽しんでいるサービス User Reaction Log Personalized Data for Each User Service Access user_id, recdata ・アクセス特徴、コミュニケーション特徴から、各ユーザごとに、興味・個別サービスでの他ユーザとの親密度、および、ゲーム・プラットフォーム横断でのユーザ間親密度を算出サービス横断のユーザ親密度 Communication ・各ユーザごとに、各レコメンドに対する反応から興味を学習・洗練（強化学習）リアクション学習 160 Impression Friend Request Accept

162. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. サービス横断での親密度・一緒に楽しめる度合い算出各サービスへの興味、個別親密度の推定サービス横断での親密度統合、一緒に楽しめるサービスの算出 Interest (A,S) familiarity (S;A,B) User A Service S User B Service T User C User D familiarity (S;A,C) ・サービス横断での親密度 162

163. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. サービス横断での親密度・一緒に楽しめる度合い算出各サービスへの興味、個別親密度の推定サービス横断での親密度統合、一緒に楽しめるサービスの算出 Interest (A,S) familiarity (S;A,B) User A Service S User B Service T User C User D familiarity (S;A,C) ・サービス横断での親密度 163

164. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. サービス横断での親密度・一緒に楽しめる度合い算出各サービスへの興味、個別親密度の推定サービス横断での親密度統合、一緒に楽しめるサービスの算出 Interest (A,S) familiarity (S;A,B) User A Service S User B Service T User C User D familiarity (S;A,C) ・サービス横断での親密度 164 ・親しい人と一緒に楽しめる度合い

165. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. サービス横断での親密度・一緒に楽しめる度合い算出各サービスへの興味、個別親密度の推定サービス横断での親密度統合、一緒に楽しめるサービスの算出 Interest (A,S) familiarity (S;A,B) User A Service S Service UUser B Interest (B,U) Service T Service V User C User D Interest (D,U) Interest (D,V) familiarity (S;A,C) ・サービス横断での親密度 165 ・親しい人と一緒に楽しめる度合い

166. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. サービス横断での親密度・一緒に楽しめる度合い算出各サービスへの興味、個別親密度の推定サービス横断での親密度統合、一緒に楽しめるサービスの算出 Interest (A,S) familiarity (S;A,B) User A Service S Service UUser B Interest (B,U) Service T Service V User C User D Interest (D,U) Interest (D,V) familiarity (S;A,C) ・サービス横断での親密度 166 ・親しい人と一緒に楽しめる度合い

169. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Hadoopとは大規模分散処理を行うための基盤 Hadoop ・Apache プロジェクト・Java オープンソース・Googleが2004年に発表した論文を実装・主要コンポーネント　・分散ファイルシステム: HDFS (Hadoop Distributed File System) 　・分散処理フレームワーク: Mapreduce 169

171. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分散ファイルシステム：HDFS HDFS クライアント NameNode DataNode クライアントからは巨大な一つのストレージにアクセスしているように見える •  NameNode –  Meta情報を持つ、ファイル名、レプリケーション数、ファイルの保存場所など •  DataNode –  実際のデータを格納するNode。ブロックサイズごとにファイルを分割して１つのファイルを複数のNodeで保存 HDFS (Hadoop Distributed File System) DataNodeを増やすことで大容量化が可能 171

172. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分散ファイルシステム：HDFS DataNode 1 3 2 1 2 1 1 1 2 2 2 3 3 3 1 1 1 2 2 2 固定長ブロックに分割ファイル同一ブロックが複数のDataNodeに分散配置されることで冗長性が担保される同一ブロックが複数のDataNodeに分散配置される(default 3) 172

173. Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 分散処理フレームワーク: MapReduce MapがkeyとValueにデータを振り分け、Reduceがkeyごとに集計分散処理を実現する Map Shuffle & Sort Reduce userA 3 userD 7 userA 1 userC 2 userB 6 userD 5 User毎のPageView集計での例大量データに対する分散演算演算結果の集計 userA 3 userA 1 userB 6 userC 2 userD 5 userD 7 userA 4 userB 6 userC 2 userD １２ userA userB userC userD key value 173

175. 175 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成大規模データマイニング・機械学習活用したサービス提供を支える基盤構成Kafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … … … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Unified Description of Action/Status Log Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase Java HUE R Perl Hive MapReduce Pig Online Storage Batch Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica

178. 178 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成データマイニング・機械学習結果のサービス活用より楽しんでもらえるサービスへKafka Messaging … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Data-mining Machine-Leaning Results

179. 179 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 Hadoop DFS 全行動ログ/サービスデータ投入 DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Hadoop DFS Redundant, Reliable Storage Data-mining Machine-Leaning Results

180. 180 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 Vertica 個別サービスの高速アドホック集計・KPI定常集計 DeNA Data Mining Libraries … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Hadoop DFS Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica Service Log API Service Log API Service Log API

181. 181 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 Kafka Pub/Sub Messaging. 複数処理系へデータ配信Kafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Hadoop DFS Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica

182. 182 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 Storm ストリーム処理Kafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Storm Streaming Hadoop DFS Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica

183. 183 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 HBase リアルタイム分散ストレージKafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Storm Streaming Hadoop DFS HBase Online Storage Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica

184. 184 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 Elastic Search リアルタイム分散検索Kafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase Online Storage Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica

185. 185 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 Pig/Hive 少ない記述量での中間集計/簡易KPI算出Kafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase Hive Pig Online Storage Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica

186. 186 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 HUE GUIベースの Hadoop解析環境/アクセス管理Kafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase HUEHive Pig Online Storage Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica

187. 187 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 R アドホックな統計解析・データマイニング・機械学習Kafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase HUE R Hive Pig Online Storage Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica

188. 188 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 Perl MapReduce 分散シミュレーションKafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase HUE R Perl Hive MapReduce Pig Online Storage Batch Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica

189. 189 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 Java MapReduce データマイニング・機械学習のサービス実装Kafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase Java HUE R Perl Hive MapReduce Pig Online Storage Batch Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica

190. 190 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成 Data Mining Libraries 各種ソーシャル行動解析用のデータマイニングライブラリKafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase Java HUE R Perl Hive MapReduce Pig Online Storage Batch Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica

191. 191 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成統一行動記述 Kafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Unified Description of Action/Status Log Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase Java HUE R Perl Hive MapReduce Pig Online Storage Batch Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica

195. 195 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 統一行動記述大規模サービスでよく生じる課題大規模サービスでよく生じる課題ログの場所がばらばら・分散されているサービスごとにログフォーマットが異なる・何を解析すればいいか分からない・パラメータの値の意味が分からない・類似の解析実装がサービスごとに　複数存在する形式置き場・どこにあるか分からず、解析時間より　ログを探し・集める時間のほうが長い

196. 196 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 統一行動記述大規模サービスでよく生じる課題大規模サービスでよく生じる課題ログの場所がばらばら・分散されているサービスごとにログフォーマットが異なる・何を解析すればいいか分からない・パラメータの値の意味が分からない・類似の解析実装がサービスごとに　複数存在する形式置き場・データマイニング/機械学習よりも　ログ収集・基礎集計作業がメイン・データマイニング・機械学習活用まで出来ない・どこにあるか分からず、解析時間より　ログを探し・集める時間のほうが長い

197. 197 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 統一行動記述統一行動ログによる解決大規模サービスでよく生じる課題統一行動記述での解決ログの場所がばらばら・分散されているサービスごとにログフォーマットが異なる・何を解析すればいいか分からない・パラメータの値の意味が分からない・類似の解析実装がサービスごとに　複数存在する形式置き場・データマイニング/機械学習よりも　ログ収集・基礎集計作業がメイン・データマイニング・機械学習活用まで出来ない・どこにあるか分からず、解析時間より　ログを探し・集める時間のほうが長い

198. 198 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 統一行動記述統一行動ログによる解決・学習コストの低減　データ形式・値の意味を調べる必要がない大規模サービスでよく生じる課題統一行動記述での解決ログの場所がばらばら・分散されているサービスごとにログフォーマットが異なる・データマイニング・機械学習実装の　　再利用/サービス横断解析が行える統一スキーマ・何を解析すればいいか分からない・パラメータの値の意味が分からない・類似の解析実装がサービスごとに　複数存在する形式置き場・データマイニング/機械学習よりも　ログ収集・基礎集計作業がメイン・データマイニング・機械学習活用まで出来ない・どこにあるか分からず、解析時間より　ログを探し・集める時間のほうが長い

199. 199 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 統一行動記述統一行動ログによる解決・学習コストの低減　データ形式・値の意味を調べる必要がない大規模サービスでよく生じる課題統一行動記述での解決ログの場所がばらばら・分散されているサービスごとにログフォーマットが異なる Hadoopに全てのログがある・データマイニング・機械学習実装の　　再利用/サービス横断解析が行える統一スキーマ・何を解析すればいいか分からない・パラメータの値の意味が分からない・類似の解析実装がサービスごとに　複数存在する・データ探索・収集時間ゼロ　　解析したいデータが全てある形式置き場・データマイニング/機械学習よりも　ログ収集・基礎集計作業がメイン・データマイニング・機械学習活用まで出来ない・どこにあるか分からず、解析時間より　ログを探し・集める時間のほうが長い

200. 200 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 統一行動記述統一行動ログによる解決・学習コストの低減　データ形式・値の意味を調べる必要がない大規模サービスでよく生じる課題統一行動記述での解決ログの場所がばらばら・分散されているサービスごとにログフォーマットが異なる Hadoopに全てのログがある・データマイニング・機械学習実装の　　再利用/サービス横断解析が行える統一スキーマ・何を解析すればいいか分からない・パラメータの値の意味が分からない・類似の解析実装がサービスごとに　複数存在する・どこにあるか分からず、解析時間より　ログを探し・集める時間のほうが長い・データ探索・収集時間ゼロ　　解析したいデータが全てある形式置き場・データマイニング/機械学習よりも　ログ収集・基礎集計作業がメイン・データマイニング・機械学習活用まで出来ない・大規模データ処理技術・データマイニング/機械学習それぞれの技術が活用できる

201. 201 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤構成大規模データマイニング・機械学習の活用基盤技術でも挑戦を行うKafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Unified Description of Action/Status Log Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase Java HUE R Perl Hive MapReduce Pig Online Storage Batch Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica

203. 203 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 楽しさのマイニング数千万人 1日35億超の行動情報楽しさのマイニングによるユーザー体験還元 Social Graph Data Mining Machine Learning ClusteringPatternMining Classification Regression Recommendation of Fun Social Media Experience TimeSeriesAnalysis StatisticalAnalysis Detailed Actions Social Communications Changes of Status NaturalLanguageProcessing ..etc Personality ..etc

205. 205 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. Distributed Applications YARN HDFS 大規模データマイニング活用したサービス開発・効果高い課題設定・高影響要素解明 Activity 1 Activity N, … F1 F2 E1 E1 F3 F4 F5 1. 分析体験提供 Feedback Log 6. ログ設計 7.分散アルゴリズム設計 Personalized Data For each user Service Front End 2. ユーザ体験設計 4. 洗練サイクル設計 8.分散実装 5. 連携データ設計 3. サービス設計データマイニング・機械学習活用し新たな体験提供に挑戦する

206. 206 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 大規模データマイニング基盤 Kafka Messaging DeNA Data Mining Libraries Service Log API Service Log API Service Log API … Data Mining Infrastructure Business Planning KPI Views KPI Inspection Unified Description of Action/Status Log Storm Streaming Elastic Search Similarity/Search Hadoop DFS HBase Java HUE R Perl Hive MapReduce Pig Online Storage Batch Redundant, Reliable Storage Data-mining Machine-Leaning Results Vertica 大規模データ処理の技術挑戦体験提供の質・トライ回数を向上させる

209. 209 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 世界中の人々へソーシャル・活動情報の活用によりより適切な情報・サービス配信される世界を実現したい Social Graph Data Mining Machine Learning ClusteringPatternMining Classification Regression Recommendation of Fun Social Experience Activity TimeSeriesAnalysis StatisticalAnalysis Detailed Actions Social Communications Changes of Status NaturalLanguageProcessing ..etc Personality ..etc

210. 210 Copyright (C) 2014 DeNA Co.,Ltd. All Rights Reserved. 世界中の人々へ Social Graph Data Mining Machine Learning ClusteringPatternMining Classification Regression Recommendation of Fun Social Experience Activity TimeSeriesAnalysis StatisticalAnalysis Detailed Actions Social Communications Changes of Status NaturalLanguageProcessing ..etc Personality ..etc ソーシャル・活動情報の活用によりより適切な情報・サービス配信される世界を実現したい世界中の人々が個々人のつながり・楽しみ・好みにあった適切な情報・サービスを自ら探さなくても得ることができる世界

DeNAの大規模データマイニング活用したサービス開発

Du liest eine Vorschau.

Hier ansehen

DeNAの大規模データマイニング活用したサービス開発

Weitere Verwandte Inhalte

Diashows für Sie (20)

Andere mochten auch (20)

Ähnlich wie DeNAの大規模データマイニング活用したサービス開発 (20)

Weitere von Koichi Hamada (20)

Aktuellste (20)