Suche senden
Hochladen
ニコニコ動画データセット分析環境作ってみたその後
•
2 gefällt mir
•
2,486 views
(shibao)芝尾 (kouichiro)幸一郎
Folgen
ニコニコ動画データセットの分析環境を作ってみた。 第3回ニコニコ学会データ分析研究会LT発表
Weniger lesen
Mehr lesen
Unterhaltung & Humor
Melden
Teilen
Melden
Teilen
1 von 27
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
ニコニコ動画のコメント解析
ニコニコ動画のコメント解析
Keisuke Ogaki
Re dashで作るニコニコデータセット分析環境
Re dashで作るニコニコデータセット分析環境
(shibao)芝尾 (kouichiro)幸一郎
ニコニコデータビューアー・改
ニコニコデータビューアー・改
(shibao)芝尾 (kouichiro)幸一郎
Ml15min発表資料(提出用)
Ml15min発表資料(提出用)
WEBFARMER. ltd.
tokyo_webmining_no51
tokyo_webmining_no51
Shu (shoe116)
可視化法学(ニコニコ学会データ研究会第9回)
可視化法学(ニコニコ学会データ研究会第9回)
(shibao)芝尾 (kouichiro)幸一郎
ニコニコデータセット 分析環境作ってみた-ニコニコデータデータ分析研究会
ニコニコデータセット 分析環境作ってみた-ニコニコデータデータ分析研究会
(shibao)芝尾 (kouichiro)幸一郎
第二回データサイエンティスト木曜勉強会20141016
第二回データサイエンティスト木曜勉強会20141016
Koichiro Kondo
Empfohlen
ニコニコ動画のコメント解析
ニコニコ動画のコメント解析
Keisuke Ogaki
Re dashで作るニコニコデータセット分析環境
Re dashで作るニコニコデータセット分析環境
(shibao)芝尾 (kouichiro)幸一郎
ニコニコデータビューアー・改
ニコニコデータビューアー・改
(shibao)芝尾 (kouichiro)幸一郎
Ml15min発表資料(提出用)
Ml15min発表資料(提出用)
WEBFARMER. ltd.
tokyo_webmining_no51
tokyo_webmining_no51
Shu (shoe116)
可視化法学(ニコニコ学会データ研究会第9回)
可視化法学(ニコニコ学会データ研究会第9回)
(shibao)芝尾 (kouichiro)幸一郎
ニコニコデータセット 分析環境作ってみた-ニコニコデータデータ分析研究会
ニコニコデータセット 分析環境作ってみた-ニコニコデータデータ分析研究会
(shibao)芝尾 (kouichiro)幸一郎
第二回データサイエンティスト木曜勉強会20141016
第二回データサイエンティスト木曜勉強会20141016
Koichiro Kondo
可視化法学 smips登壇
可視化法学 smips登壇
(shibao)芝尾 (kouichiro)幸一郎
可視化法学(Found it project#9)
可視化法学(Found it project#9)
(shibao)芝尾 (kouichiro)幸一郎
20130727niconico
20130727niconico
Med_KU
ニコニコ動画のタグに関する話(仮)_データ研究会20131110
ニコニコ動画のタグに関する話(仮)_データ研究会20131110
nobi000
Iot2bio2 20160521
Iot2bio2 20160521
Takao Ikoma
実践で学ぶネットワーク分析
実践で学ぶネットワーク分析
Mitsunori Sato
ライブラリ作成のすゝめ - 事例から見る個人OSS開発の効能
ライブラリ作成のすゝめ - 事例から見る個人OSS開発の効能
Yoshifumi Kawai
TensorFlowで遊びながら学んだ、はじめてのLED点滅
TensorFlowで遊びながら学んだ、はじめてのLED点滅
Takeshi Mikami
biglobedojo7
biglobedojo7
BIGLOBE Tech Talk
データドリブンな動画コンテンツ制作の裏側
データドリブンな動画コンテンツ制作の裏側
TatsuyaAkasaka
デジタルゲームにおける学習の応用
デジタルゲームにおける学習の応用
Youichiro Miyake
IoTのカンファレンスに参加したらなぜかバイオにはまった話
IoTのカンファレンスに参加したらなぜかバイオにはまった話
Takao Ikoma
GTMF 2015: 株式会社アトミテック
GTMF 2015: 株式会社アトミテック
Game Tools & Middleware Forum
ありらいおんさんのデータ本の作り方
ありらいおんさんのデータ本の作り方
myrmecoleon
位置データもPythonで!!!
位置データもPythonで!!!
hide ogawa
20210824 Pico Session at CEDEC2021 (新)
20210824 Pico Session at CEDEC2021 (新)
Miyu Nishikawa
趣味的視点のIoT概論 - An IOT introduction from the point of my private interesting vi...
趣味的視点のIoT概論 - An IOT introduction from the point of my private interesting vi...
Hiroki Etoh
NUI and Kinect
NUI and Kinect
Keiji Kamebuchi
BLEラジコン基板でIoTしてみた
BLEラジコン基板でIoTしてみた
Bizan Nishimura
オープンデータに ”動画マッピング” する地域イベントを開催しませんか?
オープンデータに ”動画マッピング” する地域イベントを開催しませんか?
Sayoko Shimoyama
DXとはなにか?
DXとはなにか?
(shibao)芝尾 (kouichiro)幸一郎
可視化法学(studycode編)
可視化法学(studycode編)
(shibao)芝尾 (kouichiro)幸一郎
Weitere ähnliche Inhalte
Ähnlich wie ニコニコ動画データセット分析環境作ってみたその後
可視化法学 smips登壇
可視化法学 smips登壇
(shibao)芝尾 (kouichiro)幸一郎
可視化法学(Found it project#9)
可視化法学(Found it project#9)
(shibao)芝尾 (kouichiro)幸一郎
20130727niconico
20130727niconico
Med_KU
ニコニコ動画のタグに関する話(仮)_データ研究会20131110
ニコニコ動画のタグに関する話(仮)_データ研究会20131110
nobi000
Iot2bio2 20160521
Iot2bio2 20160521
Takao Ikoma
実践で学ぶネットワーク分析
実践で学ぶネットワーク分析
Mitsunori Sato
ライブラリ作成のすゝめ - 事例から見る個人OSS開発の効能
ライブラリ作成のすゝめ - 事例から見る個人OSS開発の効能
Yoshifumi Kawai
TensorFlowで遊びながら学んだ、はじめてのLED点滅
TensorFlowで遊びながら学んだ、はじめてのLED点滅
Takeshi Mikami
biglobedojo7
biglobedojo7
BIGLOBE Tech Talk
データドリブンな動画コンテンツ制作の裏側
データドリブンな動画コンテンツ制作の裏側
TatsuyaAkasaka
デジタルゲームにおける学習の応用
デジタルゲームにおける学習の応用
Youichiro Miyake
IoTのカンファレンスに参加したらなぜかバイオにはまった話
IoTのカンファレンスに参加したらなぜかバイオにはまった話
Takao Ikoma
GTMF 2015: 株式会社アトミテック
GTMF 2015: 株式会社アトミテック
Game Tools & Middleware Forum
ありらいおんさんのデータ本の作り方
ありらいおんさんのデータ本の作り方
myrmecoleon
位置データもPythonで!!!
位置データもPythonで!!!
hide ogawa
20210824 Pico Session at CEDEC2021 (新)
20210824 Pico Session at CEDEC2021 (新)
Miyu Nishikawa
趣味的視点のIoT概論 - An IOT introduction from the point of my private interesting vi...
趣味的視点のIoT概論 - An IOT introduction from the point of my private interesting vi...
Hiroki Etoh
NUI and Kinect
NUI and Kinect
Keiji Kamebuchi
BLEラジコン基板でIoTしてみた
BLEラジコン基板でIoTしてみた
Bizan Nishimura
オープンデータに ”動画マッピング” する地域イベントを開催しませんか?
オープンデータに ”動画マッピング” する地域イベントを開催しませんか?
Sayoko Shimoyama
Ähnlich wie ニコニコ動画データセット分析環境作ってみたその後
(20)
可視化法学 smips登壇
可視化法学 smips登壇
可視化法学(Found it project#9)
可視化法学(Found it project#9)
20130727niconico
20130727niconico
ニコニコ動画のタグに関する話(仮)_データ研究会20131110
ニコニコ動画のタグに関する話(仮)_データ研究会20131110
Iot2bio2 20160521
Iot2bio2 20160521
実践で学ぶネットワーク分析
実践で学ぶネットワーク分析
ライブラリ作成のすゝめ - 事例から見る個人OSS開発の効能
ライブラリ作成のすゝめ - 事例から見る個人OSS開発の効能
TensorFlowで遊びながら学んだ、はじめてのLED点滅
TensorFlowで遊びながら学んだ、はじめてのLED点滅
biglobedojo7
biglobedojo7
データドリブンな動画コンテンツ制作の裏側
データドリブンな動画コンテンツ制作の裏側
デジタルゲームにおける学習の応用
デジタルゲームにおける学習の応用
IoTのカンファレンスに参加したらなぜかバイオにはまった話
IoTのカンファレンスに参加したらなぜかバイオにはまった話
GTMF 2015: 株式会社アトミテック
GTMF 2015: 株式会社アトミテック
ありらいおんさんのデータ本の作り方
ありらいおんさんのデータ本の作り方
位置データもPythonで!!!
位置データもPythonで!!!
20210824 Pico Session at CEDEC2021 (新)
20210824 Pico Session at CEDEC2021 (新)
趣味的視点のIoT概論 - An IOT introduction from the point of my private interesting vi...
趣味的視点のIoT概論 - An IOT introduction from the point of my private interesting vi...
NUI and Kinect
NUI and Kinect
BLEラジコン基板でIoTしてみた
BLEラジコン基板でIoTしてみた
オープンデータに ”動画マッピング” する地域イベントを開催しませんか?
オープンデータに ”動画マッピング” する地域イベントを開催しませんか?
Mehr von (shibao)芝尾 (kouichiro)幸一郎
DXとはなにか?
DXとはなにか?
(shibao)芝尾 (kouichiro)幸一郎
可視化法学(studycode編)
可視化法学(studycode編)
(shibao)芝尾 (kouichiro)幸一郎
可視化法学(Linked Open Data Challenge 2016)授賞式プレゼン
可視化法学(Linked Open Data Challenge 2016)授賞式プレゼン
(shibao)芝尾 (kouichiro)幸一郎
可視化法学c91紹介リーフレット
可視化法学c91紹介リーフレット
(shibao)芝尾 (kouichiro)幸一郎
可視化法学ポスター超会議2016 チラシ
可視化法学ポスター超会議2016 チラシ
(shibao)芝尾 (kouichiro)幸一郎
可視化法学-大和超券ステージ
可視化法学-大和超券ステージ
(shibao)芝尾 (kouichiro)幸一郎
Bq sushi(BigQuery lessons learned)
Bq sushi(BigQuery lessons learned)
(shibao)芝尾 (kouichiro)幸一郎
可視化法学
可視化法学
(shibao)芝尾 (kouichiro)幸一郎
BigQueryで集計するシステムを作って分かったKPI集計ツール作成
BigQueryで集計するシステムを作って分かったKPI集計ツール作成
(shibao)芝尾 (kouichiro)幸一郎
AimingでGoogle Cloud Platformの利用について
AimingでGoogle Cloud Platformの利用について
(shibao)芝尾 (kouichiro)幸一郎
世界のiPhoneアプリランキング比較してみた
世界のiPhoneアプリランキング比較してみた
(shibao)芝尾 (kouichiro)幸一郎
第一回ニコニコデータ分析研究会発表資料-世界のYoutube
第一回ニコニコデータ分析研究会発表資料-世界のYoutube
(shibao)芝尾 (kouichiro)幸一郎
ニコニコ学会β発表資料
ニコニコ学会β発表資料
(shibao)芝尾 (kouichiro)幸一郎
Seeing is Believing
Seeing is Believing
(shibao)芝尾 (kouichiro)幸一郎
Introduction Pycon2010
Introduction Pycon2010
(shibao)芝尾 (kouichiro)幸一郎
Mehr von (shibao)芝尾 (kouichiro)幸一郎
(15)
DXとはなにか?
DXとはなにか?
可視化法学(studycode編)
可視化法学(studycode編)
可視化法学(Linked Open Data Challenge 2016)授賞式プレゼン
可視化法学(Linked Open Data Challenge 2016)授賞式プレゼン
可視化法学c91紹介リーフレット
可視化法学c91紹介リーフレット
可視化法学ポスター超会議2016 チラシ
可視化法学ポスター超会議2016 チラシ
可視化法学-大和超券ステージ
可視化法学-大和超券ステージ
Bq sushi(BigQuery lessons learned)
Bq sushi(BigQuery lessons learned)
可視化法学
可視化法学
BigQueryで集計するシステムを作って分かったKPI集計ツール作成
BigQueryで集計するシステムを作って分かったKPI集計ツール作成
AimingでGoogle Cloud Platformの利用について
AimingでGoogle Cloud Platformの利用について
世界のiPhoneアプリランキング比較してみた
世界のiPhoneアプリランキング比較してみた
第一回ニコニコデータ分析研究会発表資料-世界のYoutube
第一回ニコニコデータ分析研究会発表資料-世界のYoutube
ニコニコ学会β発表資料
ニコニコ学会β発表資料
Seeing is Believing
Seeing is Believing
Introduction Pycon2010
Introduction Pycon2010
ニコニコ動画データセット分析環境作ってみたその後
1.
ニコニコデータ分析環境 芝尾幸一郎 @shibacow
2.
自己紹介 芝尾幸一郎 @shibacow ゲーム会社でデータ分析しています
3.
こんなことをしてます ニコニコ動画のランキングサイト作ってます http://nico-ran.jp/
4.
こんなのを書きました CGMは儲からない VOCALO CRITIQUE vol 6 2012/10
5.
こんなことを書きました 88888の多い動画 は!? ニコニコ動画の データを分析してみよ う ななか+INSIDE vol 3 2013/08
6.
こんなことをやりました 世界のYoutube ニコニコ学会データ分析 研究会発表 (2013/01,2013/07)
7.
こんなことをやりました ニコニコ動画データ分析 ワークショップ @Cygames 2013/10
8.
ニコニコ動画データ分析環境
9.
ニコニコ動画データ公開 ニコニコ動画データ公開 2013/05 動画 800万 タグ 4000万 コメント24億 適度に巨大で、面白い データ
10.
問題点 投げっぱ
11.
初心者困惑 好きに分析しろと言ったが どうやって?
12.
環境構築 データ整形 データ分析 S3 HadoopFS Jsonデータ Hive取り込 取り出し み 初心者には荷が重い
13.
閃いた 「構築」ではな 皆がやりたいのは分析環境 「分析」そのもの く Webで
14.
15.
データ解析環境(Web) データ解析をWebで手軽に http://nicodata.info/ (土日だけ開けてます)
16.
内部構造 Web Shib by tagomoris Hive Hadoop (AmazonEMR) Nodejs Amazon EC2
17.
やってみた
18.
88888の発生 8888はいつくらいから使われ始めたか? 88888を含むコメントを抽出し、コメント投稿月で集 約後カウントせよ。 SELECT substr(from_unixtime(`date`),1,7) as ymd,count(*)
FROM nicodata.comment_data_sampling100 WHERE `comment_string` LIKE "%88888888%" GROUP BY substr(from_unixtime(`date`),1,7)
19.
88888の流行
20.
8888カテゴリごとの伝播 888888は、2011年以降使われるようになった。 カテゴリ単位ではどうか? select substr(from_unixtime(cdate),1,7),cat,count(*) from comment_density_with_cat
where comment_string like "%8888888%" group by substr(from_unixtime(cdate),1,7),cat;
21.
歌ってみた ボカロ ゲーム エンターテ イメント
22.
8888カテゴリ伝播 最初はエンタメから後盛り上がらず。 2011年に再燃 ゲーム、歌ってみた、ボカロの順 歌ってみた、踊ってみた等、やって見たに拍手。 意外と政治に、888が多い(東方、アニメより上) アニメ、東方にあまり888はつかない。 8888はニコ動の文化として定着 若者言葉の伝播
23.
作ってみて分かった事
24.
作ってみて分かった事 SQLの共有は便利 ほかの人のSQLを参考にする
25.
再度 土日立ち上げてます。 http://nicodata.info/ お金が掛かるので、若干CPUのグレードを落としまし た。
26.
終わりに
27.
お手伝いさん募集。@shibacowまで
Jetzt herunterladen