SmartVideoRanking: 視聴者の時刻同期コメントに基づく動画ランキングシステム
•
0 gefällt mir•647 views
WebDB Forum 2015
Empfohlen
Weitere ähnliche Inhalte
Mehr von Kosetsu Tsukuda
Mehr von Kosetsu Tsukuda (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (9)
SmartVideoRanking: 視聴者の時刻同期コメントに基づく動画ランキングシステム
- 1. 佃 洸摂 濱崎 雅弘 後藤 真孝 産業技術総合研究所 SmartVideoRanking: 視聴者の時刻同期コメントに基づく 動画ランキングシステム
- 4. 4動画検索の現状 １. 検索クエリを入力 ２. 検索結果を並び替え – 再生数の多い順 – 関連度の高い順 – 投稿日時の新しい順 – に含まれる語 タイトル タグ 初音ミク 検索 再生数の多い順 【初音ミク】みくみくにして あげる♪【してやんよ】 初音ミクがオリジナル曲を 歌ってくれたよ「メルト」 『初音ミク』千本桜『オリ ジナル曲PV』 【オリジナル曲PV】マトリョ シカ【初音ミク・GUMI】
- 8. 8視聴者の反応の取得 sm1340413 ニコニコ動画 Twitter + テレビ番組 #ametalk 視聴者が動画に投稿した時刻同期コメントを利用 動画の再生時刻に同期したコメント 視聴者の反応に基づくニコニコ動画の検索を実現
- 9. 9対象とする動画カテゴリ｜VOCALOIDオリジナル曲＋派生動画 オリジナル曲 歌ってみた 踊ってみた 演奏してみた PV･描いてみた MMD ニコニコ動画には が存在 13万以上のオリジナル曲 58万以上の派生動画 sm17483164 sm16309076 sm25558705sm16739331sm18407945 sm15630734
- 11. 11問題解決のためのアプローチ 動画の内容を反映したコメントを抽出（問題１の解決） コメントによる多様な動画の検索を実現（問題２の解決） 癒される かわいい イントロ いいなあ PVかっけえ
- 12. デモ
- 13. 手法
- 14. 14フローチャート ２. 関連動画取得 ３. 関連コメント取得 １. クエリ入力 ４. コメント前処理 かわいい かわぃぃいいい！ かわぃいいい！！！ かわい ５. 特徴量計算 ６. 有用度推定
- 15. 15フローチャート ２. 関連動画取得 ３. 関連コメント取得 １. クエリ入力 ４. コメント前処理 かわいい かわぃぃいいい！ かわぃいいい！！！ かわい ５. 特徴量計算 ６. 有用度推定
- 16. 16関連動画取得 動画データセット – 提供元 ：NII（http://www.nii.ac.jp/dsc/idr/nico/nico.html） – カテゴリ：VOCALOIDオリジナル曲＋派生動画 – 動画数 ：11,180件 関連動画 – クエリをタグに持つ動画 歌ってみた 踊ってみた 演奏してみた PV・描いてみた MMD 動画DB 検索初音ミク … 2,035件
- 17. 17フローチャート ２. 関連動画取得 ３. 関連コメント取得 １. クエリ入力 ４. コメント前処理 かわいい かわぃぃいいい！ かわぃいいい！！！ かわい ５. 特徴量計算 ６. 有用度推定
- 18. 18関連コメント取得 コメントデータセット – 提供元：NII（http://www.nii.ac.jp/dsc/idr/nico/nico.html） – 対象 ：各動画の投稿日時の新しい1,000コメント – コメント数：11,180動画×1,000コメント＝1,118万件 関連コメント – ３件以上の関連動画に10回以上投稿されたコメント … コメントDB サビ最高 泣ける かっけー 笑顔が良い かわいい ＧＪ 9,565件 … …
- 19. 19フローチャート ２. 関連動画取得 ３. 関連コメント取得 １. クエリ入力 ４. コメント前処理 かわいい かわぃぃいいい！ かわぃいいい！！！ かわい ５. 特徴量計算 ６. 有用度推定
- 22. 22フローチャート ２. 関連動画取得 ３. 関連コメント取得 １. クエリ入力 ４. コメント前処理 かわいい かわぃぃいいい！ かわぃいいい！！！ かわい ５. 特徴量計算 ６. 有用度推定
- 23. 23コメントの特徴 かわい（かわいい）に対して14カテゴリの特徴を使用 1. クエリ関連度 2. クエリ類似度 3. 文字数 4. 出現頻度 5. 元コメントの種類数 6. 形容詞の有無 7. 形容動詞の有無 8. 投稿時刻のエントロピー 9. サビ区間の出現確率 10. 類似コメント種類数 11. 類似コメ＋出現頻度 12. 類似コメ＋エントロピー 13. 類似コメ＋サビ出現確率 14. 文字バイグラム 𝑃 𝑞, 𝑐 ∙ log 𝑃 𝑞, 𝑐 𝑃 𝑞 𝑃 𝑐 かわい かわぃい かわいいいい！ かわぃいい！！！ かわいい ○ かわいい ✕ かわい かわいすぎる かわゆす かわええ かわいい かわ＋わい かわいい ４1 − 𝐷𝐿 𝑞, 𝑐𝑡 𝐿 𝑚𝑎𝑥 𝑞, 𝑐𝑡 12 5 33 9 928 19 11 86 23 2591 𝒕 𝒕
- 24. 24形容詞・形容動詞の有無 コメント中の の有無は楽曲の印象推定に有用 形容詞 形容動詞 [Yamamoto 2013] 仮定： を含むコメントの有用度は高い 形容詞 形容動詞 かわいい かっけえ 動きがすごい 泣ける ○ ○ ✕ ✕ 爽やかー 声綺麗 泣ける ○ ○ ✕ ✕ さっすがー MeCab MeCab 形容詞 形容動詞
- 25. 25類似コメント＋出現頻度・文字バイグラム 仮定：動画内で類似コメントの出現頻度が高いコメントは有用 仮定：あるクエリにとって有用なコメントは他のクエリでも有用 先頭二文字が一致 正規化編集距離が0.4以下 かわいい 類似コメント かわいすぎ かわいいな かわゆす 出現頻度 86 231119 計: 2,591 かわい バイグラム かわ わい ベクトル 0 1 1 0 ⋮ 0 最高 かわ わい 歌詞 ＧＪ 18,544次元 類似コメント＋出現頻度 文字バイグラム
- 26. 26フローチャート ２. 関連動画取得 ３. 関連コメント取得 １. クエリ入力 ４. コメント前処理 かわいい かわぃぃいいい！ かわぃいいい！！！ かわい ５. 特徴量計算 ６. 有用度推定
- 27. 27クエリに対するコメントの有用度推定 SVM 線形回帰 訓練データ クエリ: 初音ミク コメント 泣ける 歌詞すごい なにこれ 聞き入る 推定結果 順位 コメント スコア １ 聞き入る 2.14 ２ 歌詞すごい 1.98 ３ 鳥肌やばい 1.81 200 また来た 0.06 … …SVM線形回帰を用いてコメントの有用度を推定
- 28. 評価実験 28
- 29. 29Research Question 1 コメントの有用度の推定はどの程度の精度で可能か コメントの有用度の推定にはどの特徴が有効か 正解データ 順位 コメント スコア １ 歌詞すごい 2.0 ２ 良い声 1.8 ３ 聞き入る 1.8 200 なにこれ 0 … 推定結果 順位 コメント スコア １ 聞き入る 2.14 ２ 歌詞すごい 1.98 ３ 鳥肌やばい 1.81 200 また来た 0.06 … 相関は？ 誤差は？
- 30. 30クエリ・評価用コメント クエリ – データセット内の出現頻度が高い50個のタグ 評価用コメント – 各クエリから200件のコメントをサンプリングして使用 – 評価に使用するコメントは全部で50クエリ×200件＝１万件 歌ってみた 初音ミク 涙腺崩壊 音楽 踊ってみた 鏡音リン 謎の中毒性 メルト 演奏してみた 巡音ルカ 神調教 VOCAROCK 合唱シリーズ GUMI もっと評価されるべき そらる
- 31. 31コメントの有用度の正解データ作成 「初音ミク」に関する動画で「かわいい」と 言われている動画を検索したいですか？Q 0. 検索したくない 1. それなりに検索したい 2. 検索したい クエリ ：初音ミク コメント：かわいい に対するアンケート １ ２ ２ １ ２ 平均 1.6 ５名の評価者の平均値＝コメントの有用度の正解値 コメント１万件分のアンケートに回答
- 32. 32評価方法 Leave-one-out交差検証 逐次特徴選択 SVM 線形回帰 49クエリの 訓練データ クエリ: 初音ミク コメント 泣ける 歌詞すごい なにこれ 聞き入る 正解データ 順位 コメント スコア １ 歌詞すごい 2.0 ２ 良い声 1.8 ３ 聞き入る 1.8 200 なにこれ 0 スピアマンの順位相関係数 ケンドールのタウ 平均二乗平方根誤差（RMSE） … … 推定結果 順位 コメント スコア １ 聞き入る 2.14 ２ 歌詞すごい 1.98 ３ 鳥肌やばい 1.81 200 また来た 0.06 … – 50クエリのRMSEの平均値が最小になる特徴を順番に選択 ステップ１ 特徴 RMSE A 0.2 B 0.1 C 0.4 ステップ２ 特徴 RMSE B+A 0.13 B+C 0.27 ステップ３ 特徴 RMSE B+A+C 0.19 Bを選択 Aを選択
- 33. 33逐次特徴選択による有用度推定精度の推移 ステップ 選択された素性 スピアマン ケンドール RMSE 1 文字バイグラム 0.7454 0.6003 0.2779 2 文字数 0.7526 0.6075 0.2744 3 形容詞の有無 0.7540 0.6086 0.2737 4 類似コメ＋出現頻度 0.7546 0.6092 0.2737 5 形容動詞の有無 0.7547 0.6092 0.2736 6 クエリ類似度 0.7552 0.6094 0.2735 7 類似コメ＋エントロピー 0.7555 0.6102 0.2735 14 類似コメント種類数 0.7561 0.6109 0.2735 … コメントの有用度推定において文字バイグラムは非常に有効 RMSEが最小になった際のスピアマンの相関係数は0.7552
- 34. 34クエリごとのスピアマンの相関係数 0 0.2 0.4 0.6 0.8 1 1 3 5 7 9 11 13 15 17 19 21 23 25 27 29 31 33 35 37 39 41 43 45 47 49 合唱シリーズ 踊ってみた クエリID 大部分のクエリで相関係数0.6以上の精度で有用度推定を達成 「踊ってみた」と「合唱シリーズ」の２クエリでは低い精度 – 特定のユーザに向けたコメントの有用度を高く推定（例：まぁむかわいい） – 改善案：Web上のユーザ名リストを用いてユーザ名の有無を素性として使用
- 35. 35Research Question 2 コメントに基づく動画のランキング結果と 従来尺度に基づく動画のランキング結果はどの程度異なるか クエリ: 初音ミク コメント: かわいい クエリ: 初音ミク 尺度: 再生数の多い順 重複件数は？ 【初音ミク】なでなで【オリ ジナル】 初音ミクのえれくとりっく・ えんじぇぅで手書きアニメ メルトPV描いてみた【フル ver】 【初音ミク】バスルームガー デン【オリジナル曲】 １ ２ ３ 30 【初音ミク】みくみくにして あげる♪【してやんよ】 初音ミクがオリジナル曲を 歌ってくれたよ「メルト」 『初音ミク』千本桜『オリ ジナル曲PV』 【オリジナル曲PV】マトリョ シカ【初音ミク・GUMI】 １ ２ ３ 30 … …
- 36. 36コメントに基づく動画のランキング クエリ ：初音ミク コメント：かわいい に対する動画のランキング 「初音ミク」に関する動画を 「かわいい」とその類似コメントの投稿数が多い順にランキング クエリ: 初音ミク コメント: かわいい 類似コメント かわいすぎ かわいいな かわゆい 検索初音ミク かわいい 【初音ミク】なでなで【オリ ジナル】 初音ミクのえれくとりっく・ えんじぇぅで手書きアニメ メルトPV描いてみた【フル ver】 【初音ミク】バスルームガー デン【オリジナル曲】 １ ２ ３ 30 …
- 37. 37評価方法 従来尺度：再生数・マイリスト数・コメント数の多い順 使用コメント：各クエリの有用度上位10コメント 上位５件・10件・20件・30件の重複件数検証 クエリ: 初音ミク コメント: かわいい クエリ: 初音ミク 尺度: 再生数の多い順 【初音ミク】みくみくにして あげる♪【してやんよ】 初音ミクがオリジナル曲を 歌ってくれたよ「メルト」 『初音ミク』千本桜『オリ ジナル曲PV』 【オリジナル曲PV】マトリョ シカ【初音ミク・GUMI】 １ ２ ３ 30 … 【初音ミク】なでなで【オリ ジナル】 初音ミクのえれくとりっく・ えんじぇぅで手書きアニメ メルトPV描いてみた【フル ver】 【初音ミク】バスルームガー デン【オリジナル曲】 １ ２ ３ 30 …
- 38. 38従来のランキング尺度に基づく検索結果との重複度 上位30件を閲覧しても従来のランキングとの重複は３件未満 視聴者の反応に基づいて動画のランキングを生成することで 従来は発見しづらかった動画の検索の支援が可能に ランキング尺度 上位５件 上位10件 上位20件 上位30件 再生数 0.0470 0.330 1.22 2.92 マイリスト数 0.0838 0.335 1.32 2.96 コメント数 0.0327 0.249 1.03 2.49 （重複件数）
- 40. 40インタフェース
- 43. デモ