Diese Präsentation wurde erfolgreich gemeldet.
Wir verwenden Ihre LinkedIn Profilangaben und Informationen zu Ihren Aktivitäten, um Anzeigen zu personalisieren und Ihnen relevantere Inhalte anzuzeigen. Sie können Ihre Anzeigeneinstellungen jederzeit ändern.
ニコニコデータ 
ビューア・改 
@shibacow
芝尾幸一郎 
• 株式会社Aiming所属 
• データ分析を担当 
• ニコニコ動画のランキングサイ 
トを作っている 
• follow me: @shibacow
ニコニコデータ 
ビューア
ニコニコデータセット
• ニコニコ動画の情報を配布 
• 2007-2012の 
• 動画情報800万件 
• タグ情報40000万件 
• コメント情報24億件 
• 無料で公開中
ニコニコデータ 
ビューア
• web上で 
• 手軽に無料で 
• ニコニコデータセットの 
• 分析 
• ができる。
不満 
• 集計が遅い(21分) 
• 土日しか開けられない(お 
金が高い)-土日だけで 
8000円
作り直し中
データセットビューア・改 
• 特徴 
• 集計が早い 
• だいぶ安い
DEMO
早い 
• 23億件の集計 
• 21分 -> 10秒以内 
126倍
MySQLとの比較 
• 数億件だと、MySQLの 
集計は、厳しい。 
• 3億円でオラクル買う世 
界
早いので 
• トライアンドエラーがや 
りやすい 
• 集中が長続きする
安い 
• 土日だけではなく 
• 連日開放 
• 今までで6ドル 
• (従量制だが、だいぶ安い)
なぜ早くて安い?
グーグル製データ分析 
ツール
何故早い 
カラム指向 
ツリー 
アーキテクチャ
本当の所
力技の勝利 
• 3台で集計(21分) 
• 5000台で集計(10秒)
力技なので 
• 中間一致に強い 
• 5000台使ってgrepして 
いる。
データセット 
ビューア・改
改善点 
• 集計が早い 
• いつでも使える 
• 無料
新機能
• お手軽グラフツール 
• 集計結果の保存と拡散 
• smidの自動展開
お願い
協力者募集:主にUI 
詳しくは芝尾 
(@shibacow)まで
お願い2 
ドワンゴさん、 
そろそろデータセット 
更新して
ThankYou 
• @shibacow 
• http://nicodata.info/
ニコニコデータビューアー・改
ニコニコデータビューアー・改
ニコニコデータビューアー・改
ニコニコデータビューアー・改
ニコニコデータビューアー・改
ニコニコデータビューアー・改
Nächste SlideShare
Wird geladen in …5
×

ニコニコデータビューアー・改

3.405 Aufrufe

Veröffentlicht am

ニコニコ学会β第五回データ分析研究会で発表した。
今まで、21分かかった物が、10秒で集計が出来る。

Veröffentlicht in: Umweltschutz
  • Als Erste(r) kommentieren

ニコニコデータビューアー・改

  1. 1. ニコニコデータ ビューア・改 @shibacow
  2. 2. 芝尾幸一郎 • 株式会社Aiming所属 • データ分析を担当 • ニコニコ動画のランキングサイ トを作っている • follow me: @shibacow
  3. 3. ニコニコデータ ビューア
  4. 4. ニコニコデータセット
  5. 5. • ニコニコ動画の情報を配布 • 2007-2012の • 動画情報800万件 • タグ情報40000万件 • コメント情報24億件 • 無料で公開中
  6. 6. ニコニコデータ ビューア
  7. 7. • web上で • 手軽に無料で • ニコニコデータセットの • 分析 • ができる。
  8. 8. 不満 • 集計が遅い(21分) • 土日しか開けられない(お 金が高い)-土日だけで 8000円
  9. 9. 作り直し中
  10. 10. データセットビューア・改 • 特徴 • 集計が早い • だいぶ安い
  11. 11. DEMO
  12. 12. 早い • 23億件の集計 • 21分 -> 10秒以内 126倍
  13. 13. MySQLとの比較 • 数億件だと、MySQLの 集計は、厳しい。 • 3億円でオラクル買う世 界
  14. 14. 早いので • トライアンドエラーがや りやすい • 集中が長続きする
  15. 15. 安い • 土日だけではなく • 連日開放 • 今までで6ドル • (従量制だが、だいぶ安い)
  16. 16. なぜ早くて安い?
  17. 17. グーグル製データ分析 ツール
  18. 18. 何故早い カラム指向 ツリー アーキテクチャ
  19. 19. 本当の所
  20. 20. 力技の勝利 • 3台で集計(21分) • 5000台で集計(10秒)
  21. 21. 力技なので • 中間一致に強い • 5000台使ってgrepして いる。
  22. 22. データセット ビューア・改
  23. 23. 改善点 • 集計が早い • いつでも使える • 無料
  24. 24. 新機能
  25. 25. • お手軽グラフツール • 集計結果の保存と拡散 • smidの自動展開
  26. 26. お願い
  27. 27. 協力者募集:主にUI 詳しくは芝尾 (@shibacow)まで
  28. 28. お願い2 ドワンゴさん、 そろそろデータセット 更新して
  29. 29. ThankYou • @shibacow • http://nicodata.info/

×