1. MobageのHadoop活用環境と適用方法 株式会社ディー・エヌ・エー 宵勇樹

2. 自己紹介: 宵勇樹 2006年4月 大手家電メーカ入社 内製ソフトウェアの開発支援部署 GUIテスト自動化ツール、工程管理ツールの設計部署への展開・利用促進 2011年6月 DeNA入社 データマイニング部配属 大規模データ収集基盤を利用した集計・抽出・分析 同基盤の一般部署への展開・利用促進 今日の発表内容

3. 関連発表 『モバゲーの大規模データマイニング基盤におけるHadoop活用』－Hadoop Conference Japan 2011 Mobageの大規模分析基盤とその活用 – CEDEC 2011

4. Agenda Mobageとソーシャルゲーム MobageとHadoop分析基盤利用時の問題 Hadoop分析利用環境:Hue まとめ

5. Mobage(モバゲータウン) モバゲータウン モバイルソーシャルプラットフォーム 【SNS機能】 【ゲーム】 【情報配信機能】 【作品投稿】 実用性の高い情報を配信 ニュース、天気予報、乗り換え案内など 小説、音楽、動画などの 作品の創作・投稿コーナー 5

6. Mobageの大規模分析基盤 KPI Inspection KPI Views Business Planning Hadoop DFS データマイニング・機械学習の活用により 迅速なサービス洗練を実現 Data-mining Machine-Leaning Results Data Mining Infrastructure DeNA Data Mining Libraries Data Mining/Machine Learning R Mahout MapReduce Perl … Morphological Analysis DeNA Social MA Java Pre-processing/Indexing Data Schema Pig Lucene Zebra Service Log API Service Log API Log API Service Unified Description of Action/Status Log … …

7. Mobageの大規模分析の課題 分析ニーズの増大 短期間での回答を要する作業の増加 データマイニングエンジニアだけでは量的に人手不足 業務特化の内容だと業務を覚える必要も 内容によってはクエリを若干変えるだけで可 データマイニングエンジニア以外も Pig, Hive等で大規模分析を可能に

8. ツール・セキュリティ面の課題 担当毎にツールを入れるとJavaのバージョン等を合わせるのに苦労 人によって見たいところ、見ていいところが異なる 例：担当ゲームの売上は見せたいが他のゲームの売上は見せたくない 多くの社員のアクセス制御：手間がかかる 怪盗のデータ ガンダムのデータ Aさん 怪盗ロワイヤル担当 Bさん ガンダムロワイヤル担当

9. Hue HadoopのWebGUIツール Cloudera->Github Hive,Pigの実行、結果ファイルのUp/Down、Hadoopジョブの閲覧、ユーザの作成が可能(一部要プラグイン) DeNAではLDAPにてアカウント管理 独自実装 所属部署とは別にロールでも権限を管理 ->Hive, Pigをアクセス権限付きで実行可能

10. Hueを使った利用想定図 見える化 BI Tool 閲覧者 Data Mining Infra-structure エンジニア Pig, Hive直接実行 Pig, Hive Hue 認証 Pig, Hive 分析者

11. 課題 機能追加:Hue用プラグインを作るのが面倒 理解するのにPython(Django), js, Jframeの知識が必要 Pigのユーザを作る場合、サーバ上のシェルが実行できる必要あり Hiveのグループ管理:namenodeを再起動する必要がある LDAPで対応

12. まとめ 大規模分析基盤をエンジニアだけでなく誰でも使えるように運用 Hue+LDAPを使って誰でも認証つきでPig/Hiveを使えるように Hadoop自体も重要だがHadoopの使い方も重要

13. 終わりに DeNAでは大規模分析基盤を使ってサービスを実現したい仲間を募集しています 大規模分析処理 統計解析/データマイニング/機械学習/自然言語処理 連絡先：yoi.yuki@dena.jp