Suche senden
Hochladen
機械学習ライブラリ「Spark MLlib」で作る アニメレコメンドシステム
•
Als PPTX, PDF herunterladen
•
17 gefällt mir
•
11,208 views
Junichi Noda
Folgen
オープンソースカンファレンス2016 Tokyo/Springのライトニングトークの内容です
Weniger lesen
Mehr lesen
Daten & Analysen
Melden
Teilen
Melden
Teilen
1 von 19
Jetzt herunterladen
Empfohlen
秋葉原IT戦略研究所のご紹介(2016/05/04)
秋葉原IT戦略研究所のご紹介(2016/05/04)
Junichi Noda
日本のアニメ産業を爆速させるアニメAPIの開発と活用事例 (ニコニコ超会議2016 大和証券ステージ)
日本のアニメ産業を爆速させるアニメAPIの開発と活用事例 (ニコニコ超会議2016 大和証券ステージ)
Junichi Noda
ShangriLa Anime APIを利用してアニメ関連のビッグデータ解析を最速で行う
ShangriLa Anime APIを利用してアニメ関連のビッグデータ解析を最速で行う
Junichi Noda
秋葉原IT戦略研究所のご紹介
秋葉原IT戦略研究所のご紹介
Junichi Noda
機械学習ライブラリ「Spark MLlib」で作る アニメレコメンドシステムver 1.1
機械学習ライブラリ「Spark MLlib」で作る アニメレコメンドシステムver 1.1
Junichi Noda
Mobility Technologiesのデータ分析基盤・データ利活用事例のご紹介
Mobility Technologiesのデータ分析基盤・データ利活用事例のご紹介
Chigusa Junichiro
Rustに触れて私のPythonはどう変わったか
Rustに触れて私のPythonはどう変わったか
ShunsukeNakamura17
[DynamoDB][AmazonES]メディア向けデータストアサービスをリリースして直面したツラミ ~X-Tech後日談~
[DynamoDB][AmazonES]メディア向けデータストアサービスをリリースして直面したツラミ ~X-Tech後日談~
Yasuhiro Murata
Empfohlen
秋葉原IT戦略研究所のご紹介(2016/05/04)
秋葉原IT戦略研究所のご紹介(2016/05/04)
Junichi Noda
日本のアニメ産業を爆速させるアニメAPIの開発と活用事例 (ニコニコ超会議2016 大和証券ステージ)
日本のアニメ産業を爆速させるアニメAPIの開発と活用事例 (ニコニコ超会議2016 大和証券ステージ)
Junichi Noda
ShangriLa Anime APIを利用してアニメ関連のビッグデータ解析を最速で行う
ShangriLa Anime APIを利用してアニメ関連のビッグデータ解析を最速で行う
Junichi Noda
秋葉原IT戦略研究所のご紹介
秋葉原IT戦略研究所のご紹介
Junichi Noda
機械学習ライブラリ「Spark MLlib」で作る アニメレコメンドシステムver 1.1
機械学習ライブラリ「Spark MLlib」で作る アニメレコメンドシステムver 1.1
Junichi Noda
Mobility Technologiesのデータ分析基盤・データ利活用事例のご紹介
Mobility Technologiesのデータ分析基盤・データ利活用事例のご紹介
Chigusa Junichiro
Rustに触れて私のPythonはどう変わったか
Rustに触れて私のPythonはどう変わったか
ShunsukeNakamura17
[DynamoDB][AmazonES]メディア向けデータストアサービスをリリースして直面したツラミ ~X-Tech後日談~
[DynamoDB][AmazonES]メディア向けデータストアサービスをリリースして直面したツラミ ~X-Tech後日談~
Yasuhiro Murata
秋葉原IT戦略研究所のREAL~コミュニティ立ち上げから半年間の成果~
秋葉原IT戦略研究所のREAL~コミュニティ立ち上げから半年間の成果~
Junichi Noda
kintone で AIによる画像解析の活用を試してみた
kintone で AIによる画像解析の活用を試してみた
Cybozucommunity
東大大学院 戦略ソフトウェア特論2021「ロボットで世界を計算可能にする」海野裕也
東大大学院 戦略ソフトウェア特論2021「ロボットで世界を計算可能にする」海野裕也
Preferred Networks
人工知能勉強会人工知能(AI)業界まとめ(個人中小企業向け)非エンジニアでも参加できるAIビジネス tsubasa
人工知能勉強会人工知能(AI)業界まとめ(個人中小企業向け)非エンジニアでも参加できるAIビジネス tsubasa
翼 宮崎
MLOps Yearning ~ 実運用システムを構築する前にデータサイエンティストが考えておきたいこと
MLOps Yearning ~ 実運用システムを構築する前にデータサイエンティストが考えておきたいこと
Rakuten Group, Inc.
AIとロボットが変える人の未来
AIとロボットが変える人の未来
良治 富田
ロボットにできること あなたにしかできないこと - 近藤豊(IEEE Engineering Spotlight講演資料)
ロボットにできること あなたにしかできないこと - 近藤豊(IEEE Engineering Spotlight講演資料)
Preferred Networks
Unagipy pysuruga202010
Unagipy pysuruga202010
hide ogawa
IT勉強会を支えるコミュニケーション
IT勉強会を支えるコミュニケーション
Koji Shiraishi
Salon Bot 〜ヘアサロンLINEアシスタントの対話を Repl-AIを使ってプロトタイピング〜
Salon Bot 〜ヘアサロンLINEアシスタントの対話を Repl-AIを使ってプロトタイピング〜
Koji Shiraishi
Tokyo H2O.ai Meetup#2 by Iida
Tokyo H2O.ai Meetup#2 by Iida
Hidenori Fujioka
機械学習を活用するための、3本の柱~教育型の機械学習ツールの必要性~
機械学習を活用するための、3本の柱~教育型の機械学習ツールの必要性~
Takahiro Kubo
今後10年の機械学習ビジネスの可能性
今後10年の機械学習ビジネスの可能性
tomohiro furukawa
Tokyo保育園マップ(β版)を公開しました。
Tokyo保育園マップ(β版)を公開しました。
mamix1116
2016年度コーポレートフェローシップ活動報告(伊東さん)
2016年度コーポレートフェローシップ活動報告(伊東さん)
Code for Japan
Domain Generalization via Model-Agnostic Learning of Semantic Features
Domain Generalization via Model-Agnostic Learning of Semantic Features
Yamato OKAMOTO
さくらじまハウス2020
さくらじまハウス2020
ShimpeiIwamaru
Sano hmm 20150512
Sano hmm 20150512
Masakazu Sano
ジャパンドローンセミナー
ジャパンドローンセミナー
Masayuki Isobe
Sparkでレコメンドエンジンを作ってみた
Sparkでレコメンドエンジンを作ってみた
fujita_s
今日から使える! みんなのクラスタリング超入門
今日から使える! みんなのクラスタリング超入門
toilet_lunch
ロジスティック回帰の考え方・使い方 - TokyoR #33
ロジスティック回帰の考え方・使い方 - TokyoR #33
horihorio
Weitere ähnliche Inhalte
Was ist angesagt?
秋葉原IT戦略研究所のREAL~コミュニティ立ち上げから半年間の成果~
秋葉原IT戦略研究所のREAL~コミュニティ立ち上げから半年間の成果~
Junichi Noda
kintone で AIによる画像解析の活用を試してみた
kintone で AIによる画像解析の活用を試してみた
Cybozucommunity
東大大学院 戦略ソフトウェア特論2021「ロボットで世界を計算可能にする」海野裕也
東大大学院 戦略ソフトウェア特論2021「ロボットで世界を計算可能にする」海野裕也
Preferred Networks
人工知能勉強会人工知能(AI)業界まとめ(個人中小企業向け)非エンジニアでも参加できるAIビジネス tsubasa
人工知能勉強会人工知能(AI)業界まとめ(個人中小企業向け)非エンジニアでも参加できるAIビジネス tsubasa
翼 宮崎
MLOps Yearning ~ 実運用システムを構築する前にデータサイエンティストが考えておきたいこと
MLOps Yearning ~ 実運用システムを構築する前にデータサイエンティストが考えておきたいこと
Rakuten Group, Inc.
AIとロボットが変える人の未来
AIとロボットが変える人の未来
良治 富田
ロボットにできること あなたにしかできないこと - 近藤豊(IEEE Engineering Spotlight講演資料)
ロボットにできること あなたにしかできないこと - 近藤豊(IEEE Engineering Spotlight講演資料)
Preferred Networks
Unagipy pysuruga202010
Unagipy pysuruga202010
hide ogawa
IT勉強会を支えるコミュニケーション
IT勉強会を支えるコミュニケーション
Koji Shiraishi
Salon Bot 〜ヘアサロンLINEアシスタントの対話を Repl-AIを使ってプロトタイピング〜
Salon Bot 〜ヘアサロンLINEアシスタントの対話を Repl-AIを使ってプロトタイピング〜
Koji Shiraishi
Tokyo H2O.ai Meetup#2 by Iida
Tokyo H2O.ai Meetup#2 by Iida
Hidenori Fujioka
機械学習を活用するための、3本の柱~教育型の機械学習ツールの必要性~
機械学習を活用するための、3本の柱~教育型の機械学習ツールの必要性~
Takahiro Kubo
今後10年の機械学習ビジネスの可能性
今後10年の機械学習ビジネスの可能性
tomohiro furukawa
Tokyo保育園マップ(β版)を公開しました。
Tokyo保育園マップ(β版)を公開しました。
mamix1116
2016年度コーポレートフェローシップ活動報告(伊東さん)
2016年度コーポレートフェローシップ活動報告(伊東さん)
Code for Japan
Domain Generalization via Model-Agnostic Learning of Semantic Features
Domain Generalization via Model-Agnostic Learning of Semantic Features
Yamato OKAMOTO
さくらじまハウス2020
さくらじまハウス2020
ShimpeiIwamaru
Sano hmm 20150512
Sano hmm 20150512
Masakazu Sano
ジャパンドローンセミナー
ジャパンドローンセミナー
Masayuki Isobe
Was ist angesagt?
(19)
秋葉原IT戦略研究所のREAL~コミュニティ立ち上げから半年間の成果~
秋葉原IT戦略研究所のREAL~コミュニティ立ち上げから半年間の成果~
kintone で AIによる画像解析の活用を試してみた
kintone で AIによる画像解析の活用を試してみた
東大大学院 戦略ソフトウェア特論2021「ロボットで世界を計算可能にする」海野裕也
東大大学院 戦略ソフトウェア特論2021「ロボットで世界を計算可能にする」海野裕也
人工知能勉強会人工知能(AI)業界まとめ(個人中小企業向け)非エンジニアでも参加できるAIビジネス tsubasa
人工知能勉強会人工知能(AI)業界まとめ(個人中小企業向け)非エンジニアでも参加できるAIビジネス tsubasa
MLOps Yearning ~ 実運用システムを構築する前にデータサイエンティストが考えておきたいこと
MLOps Yearning ~ 実運用システムを構築する前にデータサイエンティストが考えておきたいこと
AIとロボットが変える人の未来
AIとロボットが変える人の未来
ロボットにできること あなたにしかできないこと - 近藤豊(IEEE Engineering Spotlight講演資料)
ロボットにできること あなたにしかできないこと - 近藤豊(IEEE Engineering Spotlight講演資料)
Unagipy pysuruga202010
Unagipy pysuruga202010
IT勉強会を支えるコミュニケーション
IT勉強会を支えるコミュニケーション
Salon Bot 〜ヘアサロンLINEアシスタントの対話を Repl-AIを使ってプロトタイピング〜
Salon Bot 〜ヘアサロンLINEアシスタントの対話を Repl-AIを使ってプロトタイピング〜
Tokyo H2O.ai Meetup#2 by Iida
Tokyo H2O.ai Meetup#2 by Iida
機械学習を活用するための、3本の柱~教育型の機械学習ツールの必要性~
機械学習を活用するための、3本の柱~教育型の機械学習ツールの必要性~
今後10年の機械学習ビジネスの可能性
今後10年の機械学習ビジネスの可能性
Tokyo保育園マップ(β版)を公開しました。
Tokyo保育園マップ(β版)を公開しました。
2016年度コーポレートフェローシップ活動報告(伊東さん)
2016年度コーポレートフェローシップ活動報告(伊東さん)
Domain Generalization via Model-Agnostic Learning of Semantic Features
Domain Generalization via Model-Agnostic Learning of Semantic Features
さくらじまハウス2020
さくらじまハウス2020
Sano hmm 20150512
Sano hmm 20150512
ジャパンドローンセミナー
ジャパンドローンセミナー
Andere mochten auch
Sparkでレコメンドエンジンを作ってみた
Sparkでレコメンドエンジンを作ってみた
fujita_s
今日から使える! みんなのクラスタリング超入門
今日から使える! みんなのクラスタリング超入門
toilet_lunch
ロジスティック回帰の考え方・使い方 - TokyoR #33
ロジスティック回帰の考え方・使い方 - TokyoR #33
horihorio
SVMについて
SVMについて
mknh1122
機械学習チュートリアル@Jubatus Casual Talks
機械学習チュートリアル@Jubatus Casual Talks
Yuya Unno
Amazonでのレコメンド生成における深層学習とAWS利用について
Amazonでのレコメンド生成における深層学習とAWS利用について
Amazon Web Services Japan
バンディットアルゴリズム入門と実践
バンディットアルゴリズム入門と実践
智之 村上
決定木学習
決定木学習
Mitsuo Shimohata
機会学習ハッカソン:ランダムフォレスト
機会学習ハッカソン:ランダムフォレスト
Teppei Baba
一般向けのDeep Learning
一般向けのDeep Learning
Preferred Networks
トピックモデルを用いた 潜在ファッション嗜好の推定
トピックモデルを用いた 潜在ファッション嗜好の推定
Takashi Kaneda
パターン認識 第10章 決定木
パターン認識 第10章 決定木
Miyoshi Yuya
はじめてでもわかるベイズ分類器 -基礎からMahout実装まで-
はじめてでもわかるベイズ分類器 -基礎からMahout実装まで-
Naoki Yanai
「はじめてでもわかる RandomForest 入門-集団学習による分類・予測 -」 -第7回データマイニング+WEB勉強会@東京
「はじめてでもわかる RandomForest 入門-集団学習による分類・予測 -」 -第7回データマイニング+WEB勉強会@東京
Koichi Hamada
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Tatsuya Tojima
Simple perceptron by TJO
Simple perceptron by TJO
Takashi J OZAKI
30分でわかる『R』によるデータ分析|データアーティスト
30分でわかる『R』によるデータ分析|データアーティスト
Satoru Yamamoto
Newman アルゴリズムによるソーシャルグラフのクラスタリング
Newman アルゴリズムによるソーシャルグラフのクラスタリング
Atsushi KOMIYA
ベイズ推定とDeep Learningを使用したレコメンドエンジン開発
ベイズ推定とDeep Learningを使用したレコメンドエンジン開発
LINE Corporation
機械学習によるデータ分析まわりのお話
機械学習によるデータ分析まわりのお話
Ryota Kamoshida
Andere mochten auch
(20)
Sparkでレコメンドエンジンを作ってみた
Sparkでレコメンドエンジンを作ってみた
今日から使える! みんなのクラスタリング超入門
今日から使える! みんなのクラスタリング超入門
ロジスティック回帰の考え方・使い方 - TokyoR #33
ロジスティック回帰の考え方・使い方 - TokyoR #33
SVMについて
SVMについて
機械学習チュートリアル@Jubatus Casual Talks
機械学習チュートリアル@Jubatus Casual Talks
Amazonでのレコメンド生成における深層学習とAWS利用について
Amazonでのレコメンド生成における深層学習とAWS利用について
バンディットアルゴリズム入門と実践
バンディットアルゴリズム入門と実践
決定木学習
決定木学習
機会学習ハッカソン:ランダムフォレスト
機会学習ハッカソン:ランダムフォレスト
一般向けのDeep Learning
一般向けのDeep Learning
トピックモデルを用いた 潜在ファッション嗜好の推定
トピックモデルを用いた 潜在ファッション嗜好の推定
パターン認識 第10章 決定木
パターン認識 第10章 決定木
はじめてでもわかるベイズ分類器 -基礎からMahout実装まで-
はじめてでもわかるベイズ分類器 -基礎からMahout実装まで-
「はじめてでもわかる RandomForest 入門-集団学習による分類・予測 -」 -第7回データマイニング+WEB勉強会@東京
「はじめてでもわかる RandomForest 入門-集団学習による分類・予測 -」 -第7回データマイニング+WEB勉強会@東京
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Tokyo.R 41 サポートベクターマシンで眼鏡っ娘分類システム構築
Simple perceptron by TJO
Simple perceptron by TJO
30分でわかる『R』によるデータ分析|データアーティスト
30分でわかる『R』によるデータ分析|データアーティスト
Newman アルゴリズムによるソーシャルグラフのクラスタリング
Newman アルゴリズムによるソーシャルグラフのクラスタリング
ベイズ推定とDeep Learningを使用したレコメンドエンジン開発
ベイズ推定とDeep Learningを使用したレコメンドエンジン開発
機械学習によるデータ分析まわりのお話
機械学習によるデータ分析まわりのお話
Ähnlich wie 機械学習ライブラリ「Spark MLlib」で作る アニメレコメンドシステム
Innovation with IoT 2018: 世界のIoT動向とIoTのもたらす未来@MS
Innovation with IoT 2018: 世界のIoT動向とIoTのもたらす未来@MS
Atsuhito Kondo
デー活@Osakaについて
デー活@Osakaについて
Takehiro Kohashi
実世界の人工知能@DeNA TechCon 2017
実世界の人工知能@DeNA TechCon 2017
Preferred Networks
How canwecollaboratew ithaiandbi-nttdata-tokai2019-0724-kubo
How canwecollaboratew ithaiandbi-nttdata-tokai2019-0724-kubo
Tomohiro Iwahashi
不足するAI人材に対する「パソナテックの人材育成ソリューション」
不足するAI人材に対する「パソナテックの人材育成ソリューション」
Natsutani Minoru
[db analytics showcase Sapporo 2018] A11 増え続けるビッグデータをもっと手軽に、もっと速く ~究極の位置データ分析...
[db analytics showcase Sapporo 2018] A11 増え続けるビッグデータをもっと手軽に、もっと速く ~究極の位置データ分析...
Insight Technology, Inc.
中国のAI産業状況、スタートアップ情報リサーチ
中国のAI産業状況、スタートアップ情報リサーチ
YangnuoLiu
誰もが AI を使う時代、作る時代
誰もが AI を使う時代、作る時代
Yoshitaka Seo
中小企業による人工知能の活用~既存事業のアップグレードとイノベーション~
中小企業による人工知能の活用~既存事業のアップグレードとイノベーション~
Kentaro Imai
AIのリスクを一緒におさらいしましょう(推し技術:生成AI)Let's review the risks of AI together
AIのリスクを一緒におさらいしましょう(推し技術:生成AI)Let's review the risks of AI together
Chuki ちゅき
デジタル時代の競争戦略を支える次世代データプラットフォーム
デジタル時代の競争戦略を支える次世代データプラットフォーム
Natsumi Yotsumoto
ソフトウェアとAIの進化が示唆するもの Final Final revised Final
ソフトウェアとAIの進化が示唆するもの Final Final revised Final
Roy Sugimura, Ph.D
「今後現場で求められるAIエンジニア像とは?」株式会社ホットリンク 榊 剛史
「今後現場で求められるAIエンジニア像とは?」株式会社ホットリンク 榊 剛史
Leading Edge Co.,Ltd.
可視化法学(Found it project#9)
可視化法学(Found it project#9)
(shibao)芝尾 (kouichiro)幸一郎
エヌビディアのディープラーニング戦略
エヌビディアのディープラーニング戦略
NVIDIA Japan
AI_IoTを活用する企業のあり方
AI_IoTを活用する企業のあり方
Osaka University
エッジヘビーコンピューティングと機械学習
エッジヘビーコンピューティングと機械学習
Preferred Networks
ポストAiを見据えた日本企業の経営戦略 加藤整 20171020_v1.2
ポストAiを見据えた日本企業の経営戦略 加藤整 20171020_v1.2
Sei Kato (加藤 整)
20190606_ml_and_buisiness
20190606_ml_and_buisiness
Yoichi Tokita
デジタル時代の企業変革 2018
デジタル時代の企業変革 2018
Ikuo Misao
Ähnlich wie 機械学習ライブラリ「Spark MLlib」で作る アニメレコメンドシステム
(20)
Innovation with IoT 2018: 世界のIoT動向とIoTのもたらす未来@MS
Innovation with IoT 2018: 世界のIoT動向とIoTのもたらす未来@MS
デー活@Osakaについて
デー活@Osakaについて
実世界の人工知能@DeNA TechCon 2017
実世界の人工知能@DeNA TechCon 2017
How canwecollaboratew ithaiandbi-nttdata-tokai2019-0724-kubo
How canwecollaboratew ithaiandbi-nttdata-tokai2019-0724-kubo
不足するAI人材に対する「パソナテックの人材育成ソリューション」
不足するAI人材に対する「パソナテックの人材育成ソリューション」
[db analytics showcase Sapporo 2018] A11 増え続けるビッグデータをもっと手軽に、もっと速く ~究極の位置データ分析...
[db analytics showcase Sapporo 2018] A11 増え続けるビッグデータをもっと手軽に、もっと速く ~究極の位置データ分析...
中国のAI産業状況、スタートアップ情報リサーチ
中国のAI産業状況、スタートアップ情報リサーチ
誰もが AI を使う時代、作る時代
誰もが AI を使う時代、作る時代
中小企業による人工知能の活用~既存事業のアップグレードとイノベーション~
中小企業による人工知能の活用~既存事業のアップグレードとイノベーション~
AIのリスクを一緒におさらいしましょう(推し技術:生成AI)Let's review the risks of AI together
AIのリスクを一緒におさらいしましょう(推し技術:生成AI)Let's review the risks of AI together
デジタル時代の競争戦略を支える次世代データプラットフォーム
デジタル時代の競争戦略を支える次世代データプラットフォーム
ソフトウェアとAIの進化が示唆するもの Final Final revised Final
ソフトウェアとAIの進化が示唆するもの Final Final revised Final
「今後現場で求められるAIエンジニア像とは?」株式会社ホットリンク 榊 剛史
「今後現場で求められるAIエンジニア像とは?」株式会社ホットリンク 榊 剛史
可視化法学(Found it project#9)
可視化法学(Found it project#9)
エヌビディアのディープラーニング戦略
エヌビディアのディープラーニング戦略
AI_IoTを活用する企業のあり方
AI_IoTを活用する企業のあり方
エッジヘビーコンピューティングと機械学習
エッジヘビーコンピューティングと機械学習
ポストAiを見据えた日本企業の経営戦略 加藤整 20171020_v1.2
ポストAiを見据えた日本企業の経営戦略 加藤整 20171020_v1.2
20190606_ml_and_buisiness
20190606_ml_and_buisiness
デジタル時代の企業変革 2018
デジタル時代の企業変革 2018
Mehr von Junichi Noda
とらのあなエンジニア採用イベント 2017年2月9日
とらのあなエンジニア採用イベント 2017年2月9日
Junichi Noda
[Anitech] ITでアニメを考える、「ShangriLa Meetup5」
[Anitech] ITでアニメを考える、「ShangriLa Meetup5」
Junichi Noda
アニメ聖地デザインパターン
アニメ聖地デザインパターン
Junichi Noda
アニメ聖地巡礼についてのアイデアソンテンプレート
アニメ聖地巡礼についてのアイデアソンテンプレート
Junichi Noda
アイデアスケッチ テンプレート
アイデアスケッチ テンプレート
Junichi Noda
ITを使った今時の聖地巡礼ユーザー分析 in 沼津
ITを使った今時の聖地巡礼ユーザー分析 in 沼津
Junichi Noda
ラブライブ!サンシャイン!!入門書 (A4 縦向き)
ラブライブ!サンシャイン!!入門書 (A4 縦向き)
Junichi Noda
法規制後でも個人で楽しむドローン入門 2016・秋
法規制後でも個人で楽しむドローン入門 2016・秋
Junichi Noda
ラブライブ✕沼津 アニメタイアップについて
ラブライブ✕沼津 アニメタイアップについて
Junichi Noda
Word2Vec Neologdで作るアニメ人工知能
Word2Vec Neologdで作るアニメ人工知能
Junichi Noda
せいまち〜聖地探訪に出会いを求めるのは間違っているだろうか〜
せいまち〜聖地探訪に出会いを求めるのは間違っているだろうか〜
Junichi Noda
Apache Sparkを利用した「つぶやきビッグデータ」クローンとリコメンドシステムの構築
Apache Sparkを利用した「つぶやきビッグデータ」クローンとリコメンドシステムの構築
Junichi Noda
Spark Streamingで作る、つぶやきビッグデータのクローン(Hadoop Spark Conference Japan 2016版)
Spark Streamingで作る、つぶやきビッグデータのクローン(Hadoop Spark Conference Japan 2016版)
Junichi Noda
GEEK ACADEMY REAL Vol.2. 「最先端のデータ解析/Apache Sparkを利用したレコメンドエンジン開発」
GEEK ACADEMY REAL Vol.2. 「最先端のデータ解析/Apache Sparkを利用したレコメンドエンジン開発」
Junichi Noda
アカリクVol7 「アドテク」gmoアドパートナーズ株式会社
アカリクVol7 「アドテク」gmoアドパートナーズ株式会社
Junichi Noda
Spark Streamingで作る、つぶやきビッグデータのクローン (2015-11.10版)
Spark Streamingで作る、つぶやきビッグデータのクローン (2015-11.10版)
Junichi Noda
2015 10 24_spark_osc15tk
2015 10 24_spark_osc15tk
Junichi Noda
最新!2015年 クラウドAI プラットフォーム比較 AzureML & AmazonML
最新!2015年 クラウドAI プラットフォーム比較 AzureML & AmazonML
Junichi Noda
Apache sparkでつぶやきビッグデータ クローンをつくってみた
Apache sparkでつぶやきビッグデータ クローンをつくってみた
Junichi Noda
Spark streamingを使用したtwitter解析によるレコメンドサービス例
Spark streamingを使用したtwitter解析によるレコメンドサービス例
Junichi Noda
Mehr von Junichi Noda
(20)
とらのあなエンジニア採用イベント 2017年2月9日
とらのあなエンジニア採用イベント 2017年2月9日
[Anitech] ITでアニメを考える、「ShangriLa Meetup5」
[Anitech] ITでアニメを考える、「ShangriLa Meetup5」
アニメ聖地デザインパターン
アニメ聖地デザインパターン
アニメ聖地巡礼についてのアイデアソンテンプレート
アニメ聖地巡礼についてのアイデアソンテンプレート
アイデアスケッチ テンプレート
アイデアスケッチ テンプレート
ITを使った今時の聖地巡礼ユーザー分析 in 沼津
ITを使った今時の聖地巡礼ユーザー分析 in 沼津
ラブライブ!サンシャイン!!入門書 (A4 縦向き)
ラブライブ!サンシャイン!!入門書 (A4 縦向き)
法規制後でも個人で楽しむドローン入門 2016・秋
法規制後でも個人で楽しむドローン入門 2016・秋
ラブライブ✕沼津 アニメタイアップについて
ラブライブ✕沼津 アニメタイアップについて
Word2Vec Neologdで作るアニメ人工知能
Word2Vec Neologdで作るアニメ人工知能
せいまち〜聖地探訪に出会いを求めるのは間違っているだろうか〜
せいまち〜聖地探訪に出会いを求めるのは間違っているだろうか〜
Apache Sparkを利用した「つぶやきビッグデータ」クローンとリコメンドシステムの構築
Apache Sparkを利用した「つぶやきビッグデータ」クローンとリコメンドシステムの構築
Spark Streamingで作る、つぶやきビッグデータのクローン(Hadoop Spark Conference Japan 2016版)
Spark Streamingで作る、つぶやきビッグデータのクローン(Hadoop Spark Conference Japan 2016版)
GEEK ACADEMY REAL Vol.2. 「最先端のデータ解析/Apache Sparkを利用したレコメンドエンジン開発」
GEEK ACADEMY REAL Vol.2. 「最先端のデータ解析/Apache Sparkを利用したレコメンドエンジン開発」
アカリクVol7 「アドテク」gmoアドパートナーズ株式会社
アカリクVol7 「アドテク」gmoアドパートナーズ株式会社
Spark Streamingで作る、つぶやきビッグデータのクローン (2015-11.10版)
Spark Streamingで作る、つぶやきビッグデータのクローン (2015-11.10版)
2015 10 24_spark_osc15tk
2015 10 24_spark_osc15tk
最新!2015年 クラウドAI プラットフォーム比較 AzureML & AmazonML
最新!2015年 クラウドAI プラットフォーム比較 AzureML & AmazonML
Apache sparkでつぶやきビッグデータ クローンをつくってみた
Apache sparkでつぶやきビッグデータ クローンをつくってみた
Spark streamingを使用したtwitter解析によるレコメンドサービス例
Spark streamingを使用したtwitter解析によるレコメンドサービス例
機械学習ライブラリ「Spark MLlib」で作る アニメレコメンドシステム
1.
秋葉原IT戦略研究所 野田純一
2.
秋葉原IT戦略研究所のご紹介 形態 アニメに関するデータ解析が主体の 同人サークル 兼 ITコミュニティ メンバー 現在11名 活動 オープンソースカンファレンス出展、コミケC89出展、デブサミ等のイベ ントで発表 合計7回
3.
自己紹介 所属 GMOインターネット 業務分野 ビッグデータ、機械学習 アドテク
4.
コミュニティコンセプト オタク業界のIT化促進 ビッグデータからアニメに関するトピックを解析する際に必要と なる今期アニメ作品のマスターが取得できるAPIの開発。今まで の手作業を自動化。 オタク産業のIT化は黒船企業に勝ちたい 「僕(日本人)が一番アニメをうまく扱えるんだ!!」 IT界のトレンド技術のアニメへの適用 ビッグデータ、機械学習、AIを使った解析
5.
目的:これのアニメ版が作りたい
6.
作ったシステム http://tv-anime.biz/
7.
ご注文は何のアニメですか?
8.
今回のシステム「tippy」
9.
Anime APIの必要性について Wikipediaやまとめサイトから今期のアニメのタイトル名 、タイトル略称、ハッシュタグなどを取得 今期の人気アニメを解析、統計、レポート出力 5時間
10.
Anime APIの必要性について Anime API
で今期のアニメのタイトル名、タイト ル略称、ハッシュタグなどを取得 今期の人気アニメを解析、統計、レポート出力 10秒
11.
• HadoopのMapReduceとは別アプローチ(DAG)での並列分 散集計処理を行う • インメモリー処理 •
Hadoopエコシステムの一部として扱われるがHadoopと直 接的な関係はない • APIを利用できる言語はScala, Java, Python Sparkについて
12.
• 機械学習用のSparkライブラリ • 協調フィルタリングやAssociation
Ruleなどが簡単に使える ようになっている。 • Sparkクラスタを構築し実行することでビッグデータに対し て機械学習演算を処理できるようになる。 Spark MLlibについて
13.
•TwitterのStreamingAPIで今期アニメ作品43作品に 関するワードを拾ってくる。 •とりあえずCSVに記録 •1ヶ月半で4G、1500万レコード程度 status.getId() status.getUser().getScreenName() status.getText() status.getSource() status.getRetweetCount() status.getFavoriteCount() status.getCreatedAt() 記録した要素 Twitterからデータを収集
14.
UserName Tweet tanaka おそ松さん面白い mika
ガンダム面白い tanaka おそ松最高 daken ガンダム面白い mika ラブライブ見る UserID Product Rate 1 1 2 2 2 1 2 3 1 3 2 1 • 協調フィルタリングに読み込ませるため右表のフォーマットに BigQueryで加工する。(AmazonMLもAzureMLなどもこの形式) • SparkMLlibがUserIDがIntでないといけないという制限があるため TwitterIDは内部的にシーケンスな番号を付ける。 データの加工
15.
80万Twitterユーザー x 43
(2015年冬期アニメ作品数) 3440万レコードが推薦データとしてMySQLに格納 されている MLlibで処理した結果 UserID ProductID Rate 354796 242 1.8322849817902473 354796 243 -2.5666437672644378 354796 244 0.385125554296764 354796 245 0.9550722901486512
16.
実演
17.
実演 補足
18.
検証結果 • とらのあなは「うたわれるもの」を作っているアクアプラスと業務 提携しているので発言数が多くなっている。▶それなりの正しい推薦 であることが確認できた。
19.
IT系同人誌売ってます
Jetzt herunterladen