SlideShare ist ein Scribd-Unternehmen logo
1 von 36
Downloaden Sie, um offline zu lesen
Kiite Cafe: 同じ楽曲を同じ瞬間に楽しんで「好き」が伝わる音楽発掘カフェ
産業技術総合研究所 佃 洸摂 石田 啓介 濱崎 雅弘 後藤 真孝
第132回音楽情報科学研究会 (2021. 9. 17)
背景 2
一人で音楽を聴く場合とは異なり他の人と一緒に音楽を聴くことで得られる価値
他者との社会的繋がり 自分の好きな楽曲を聴いてもらえる
ライブコンサートへの参加
[Sedgman, 2015][Brown+, 2017]
他者に会って好きな楽曲を紹介
[Bassoli+, 2004][Hakansson+, 2007]
課題 3
様々な社会情勢
地理的な遠さ
テレビ・ラジオ・Web配信 SNS
すごく
いい曲です!
86
本当に聴いて好きになって
くれてるのかな…?
他の人はどんな
反応をしているんだろう…?
音楽を楽しんでいる様子が
互いに見えるように同じ場所に集まる
必要あり
紹介した楽曲に反応した人が
確かにその楽曲を聴いたと分かる
必要あり
などが原因で他の人と一緒に同じ楽曲を聴けず
そうした価値を享受できないという状況は珍しくない
他の人と一緒に音楽を聴くことの代替手段にはなりづらい
提案:https://cafe.kiite.jp 4
物理的には異なる場所にいる人々がオンラインで集まって
同じ楽曲を同じ瞬間に楽しめる音楽発掘カフェ「Kiite Cafe」を提案
 2019年8月30日にKiiteを一般公開(https://kiite.jp)
 35万曲以上の歌声合成楽曲から好みの楽曲に出会える
 プレイリスト作成・お気に入り登録・楽曲推薦
音楽発掘サービス「Kiite」の新機能として提供
アーキテクチャ1 アーキテクチャ2
体験・効果1 体験・効果2 体験・効果3
実験1 実験2 実験3
Kiite Cafeが持つアーキテクチャ
アーキテクチャ1 アーキテクチャ2
体験・効果1 体験・効果2 体験・効果3
実験1 実験2 実験3
楽曲に対する「好き」という反応を可視化
癒やされる
アーキテクチャ1:楽曲に対する「好き」という反応を可視化 8
 楽曲に対する「好き」という気持ちを伝えるために4種類の反応を可視化
 ユーザ同士が同じ楽曲を聴きながらリアルタイムにコミュニケーションを取れる
癒やされる
お気に入り登録 コメント
エフェクト付きハート 最大90秒間表示
回転
再生中の楽曲が終わるまで
移動
任意の位置に移動可能
ユーザが創意工夫しながら各機能を使えるようにコメント・回転・移動
をどのように使うかはKiite Cafe側では意図的にアナウンスせず
アーキテクチャ1 アーキテクチャ2
体験・効果1 体験・効果2 体験・効果3
実験1 実験2 実験3
楽曲に対する「好き」という反応を可視化 ユーザの好みの楽曲から再生楽曲を選択
癒やされる
アーキテクチャ2:ユーザの好みの楽曲から再生楽曲を選択 10
 Kiite Cafeに滞在しているいずれかのユーザの好みの楽曲が再生される
 再生中の楽曲が終わるまでに次の再生楽曲の選択処理を自動的に実行
 第一段階:Kiite Cafeに滞在中のユーザを選択
 第二段階:ユーザの「お気に入り+プレイリスト」から再生楽曲を選択
第一段階
ユーザ選択
…
Kiite Cafe
第二段階
楽曲選択
お気に入り+プレイリスト
再生
 各段階で選択されるユーザと楽曲にバイアスが生じないアルゴリズムを使用
 Kiite Cafeで再生される楽曲の多様性の確保
 自分の好みの楽曲が選択されないことへの不満の排除
 Kiite Cafeの楽曲選択アルゴリズムは一例であり
ユーザと楽曲の選択の公平性が満たされていれば他のアルゴリズムも使用可
イチ推しリスト 11
プレイリスト C
プレイリスト A
プレイリスト B
プレイリスト D
 ユーザは自身の作成したプレイリストの一つを「イチ推しリスト」に設定可
 楽曲選択の第二段階ではイチ推しリストの楽曲を優先的に選択
イチ推しリストを設定することで他のユーザに聴いてほしい楽曲を表明できる
アーキテクチャがもたらすユーザ体験とその効果
アーキテクチャ1 アーキテクチャ2
体験・効果1 体験・効果2 体験・効果3
実験1 実験2 実験3
楽曲に対する「好き」という反応を可視化 ユーザの好みの楽曲から再生楽曲を選択
癒やされる
「好き」を伝える動機付け
体験・効果1:「好き」を伝える動機付け 14
「自分がこの楽曲を好きだ」という思いを可視化して共有できることでa
再生中の楽曲に対して「好き」を明示的に伝えるよう動機付けられる
体
験
滞在ユーザ数が多くなるほど「好き」を伝える意義が大きくなり
より積極的に「好き」を伝えるようになる
効
果
私がこの曲を好きなことを
みんなに伝えたい!
癒やされる
再生中
アーキテクチャ1 アーキテクチャ2
体験・効果1 体験・効果2 体験・効果3
実験1 実験2 実験3
楽曲に対する「好き」という反応を可視化 ユーザの好みの楽曲から再生楽曲を選択
癒やされる
「好き」を伝える動機付け 多様な楽曲を好きになる
Pop
Rock
Jazz
体験・効果2:多様な楽曲を好きになる 16
様々なユーザの好みの楽曲から再生する楽曲が選択されるため
日頃の好みとは異なる多様な楽曲を聴く機会が得られる
体
験
ユーザが一人で聴いて好きになる楽曲よりも
Kiite Cafeで聴いて好きになる楽曲の方が多様性が高くなる
効
果
普段はPopが好きでよく聴くけど
Kiite CafeでRockやJazzも聴いて好きになれた!
Pop
かっこいい!
Rock Jazz
アーキテクチャ1 アーキテクチャ2
体験・効果1 体験・効果2 体験・効果3
実験1 実験2 実験3
楽曲に対する「好き」という反応を可視化 ユーザの好みの楽曲から再生楽曲を選択
癒やされる
「好き」を伝える動機付け 多様な楽曲を好きになる
Pop
Rock
Jazz
キューレータとして貢献
体験・効果3:キュレータとしての貢献 18
自分の好きな楽曲が選ばれることでどのユーザでもキュレータとして
貢献でき自分の好きな楽曲を他のユーザが好きになる瞬間を見られる
体
験
キュレータとしての貢献が大きくなるほど自分の好みの楽曲が
再度選ばれることが楽しみになりKiite Cafeの滞在時間が長くなる
効
果
自分の好きな曲を
たくさんのユーザが好きになってくれた!
𝑡𝑡
次に自分の好みの楽曲が選ばれる
自分の好みの楽曲が選ばれた
アーキテクチャ1 アーキテクチャ2
体験・効果1 体験・効果2 体験・効果3
実験1 実験2 実験3
楽曲に対する「好き」という反応を可視化 ユーザの好みの楽曲から再生楽曲を選択
癒やされる
「好き」を伝える動機付け 多様な楽曲を好きになる
Pop
Rock
Jazz
キューレータとして貢献
ユーザ体験がもたらす効果の検証
データセット 21
 Kiite Cafe正式一般公開
 ユーザ利用ログ対象期間
 ユニークユーザ数
 各機能の使用回数
2020年 8月 5日
2020年 8月 5日~2021年 1月 14日
1,760名
癒やされる
29,127回 9,826回 59,983回 45,353回
アーキテクチャ1 アーキテクチャ2
体験・効果1 体験・効果2 体験・効果3
実験1 実験2 実験3
楽曲に対する「好き」という反応を可視化 ユーザの好みの楽曲から再生楽曲を選択
癒やされる
「好き」を伝える動機付け 多様な楽曲を好きになる
Pop
Rock
Jazz
キューレータとして貢献
反応率
ユーザ数
ユーザ数 増 → 反応率 増
実験1:RQ・設定 23
Kiite Cafeに滞在しているユーザ数の増加に伴い
ユーザはより頻繁に楽曲への反応を発信するようになるか
滞在ユーザ数が多くなるほど「好き」を伝える意義が大きくなり
より積極的に「好き」を伝えるようになる
効
果
R
Q
反応:回転
楽曲再生時のユーザの何%が回転?
ユーザ数 平均反応率
1~5名 8.47%
6~10名 16.1%
11~15名 17.6%
16名以上 20.6%
ユーザ数
1-5 6-10 11-15 16-
平均反応率
実験1:結果 24
平均反応率(正規化済み)
いずれの反応でもKiite Cafeに滞在しているユーザ数の増加に伴い
反応を発信するユーザの割合は単調に増加
回
答
コメント・回転・移動の使われ方 25
 3つのいずれの機能も楽曲へのポジティブな感情を表現 =「好き」を伝える
 ユーザ数が増えるにつれてライブコンサートに参加しているかのように振る舞う
 ユーザによって生み出されてユーザの間に自然に広がりKiite Cafeの文化となった
コメント 回転 移動
・盛り上がりや興奮の感情
を回転で表現
・「この曲は回れる」
という新たな表現が誕生
・楽曲開始15秒以内の
投稿コメントが多い傾向
・好きな楽曲が再生された
ことに対する喜びを表現
うおおおお
キター!
・ダンスを踊るように
アイコンを移動し続ける
・ライブコンサートでの
「最前」への移動を再現
アーキテクチャ1 アーキテクチャ2
体験・効果1 体験・効果2 体験・効果3
実験1 実験2 実験3
楽曲に対する「好き」という反応を可視化 ユーザの好みの楽曲から再生楽曲を選択
癒やされる
「好き」を伝える動機付け 多様な楽曲を好きになる
Pop
Rock
Jazz
キューレータとして貢献
ユーザ数
ユーザ数 増 → 反応率 増 Kiite Cafe利用 後 → 多様性 増
利用前 利用後
楽曲
多様性 小 大
反応率
実験2:概要 27
Kiite Cafeの利用前に比べて利用後の方が
ユーザはより多様な楽曲に対して反応を発信するか
ユーザが一人で聴いて好きになる楽曲よりも
Kiite Cafeで聴いて好きになる楽曲の方が多様性が高くなる
効
果
R
Q
利用後の方が反応を示した楽曲の多様性は高く
ユーザの日頃の音楽的好みとは異なる楽曲を好きになる場として機能
回
答
反応 利用前多様性 利用後多様性 P値
お気に入り登録 10.493 10.960 1.99 × 10−6
コメント 10.384 10.920 4.40 × 10−3
回転 10.502 10.918 5.80 × 10−6
移動 10.559 11.050 8.21 × 10−9
楽曲の多様性=音響特徴量間のユークリッド距離の平均値
アーキテクチャ1 アーキテクチャ2
体験・効果1 体験・効果2 体験・効果3
実験1 実験2 実験3
楽曲に対する「好き」という反応を可視化 ユーザの好みの楽曲から再生楽曲を選択
癒やされる
「好き」を伝える動機付け 多様な楽曲を好きになる
Pop
Rock
Jazz
キューレータとして貢献
ユーザ数
ユーザ数 増 → 反応率 増 Kiite Cafe利用 後 → 多様性 増
利用前 利用後
楽曲
多様性 小 大
貢献度 増 → 滞在時間 増
キュレータ貢献度
滞在時間
反応率
実験3:概要 29
ユーザの好みの楽曲が再生された際に反応を発信するユーザの
割合が高くなるほどそのユーザのKiite Cafeの滞在時間は長くなるか
キュレータとしての貢献が大きくなるほど自分の好みの楽曲が
再度選ばれることが楽しみになりKiite Cafeの滞在時間が長くなる
効
果
R
Q
お気に入り登録・回転・移動では反応を発信したユーザの割合が増える
と滞在時間も増加(割合だけでなくユーザの絶対数も影響)
回
答
お気に入り登録 コメント 回転 移動
横軸:反応を発信したユーザの割合 縦軸:正規化された滞在時間
楽曲に対する「好き」という反応を可視化 ユーザの好みの楽曲から再生楽曲を選択
癒やされる
「好き」を伝える動機付け 多様な楽曲を好きになる キューレータとして貢献
アーキテクチャ1 アーキテクチャ2
体験・効果1 体験・効果2 体験・効果3
実験1 実験2 実験3
Pop
Rock
Jazz
ユーザ数
ユーザ数 増 → 反応率 増 貢献度 増 → 滞在時間 増
Kiite Cafe利用 後 → 多様性 増
キュレータ貢献度
滞在時間
利用前 利用後
楽曲
多様性 小 大
反応率
再利用可能な知見
知見1 32
アーキテクチャ1 アーキテクチャ2
楽曲に対する「好き」という反応を可視化 ユーザの好みの楽曲から再生楽曲を選択
癒やされる
ユーザが同じ楽曲を同じ瞬間に聴くためのWebサービスやアプリケーションを
研究者や企業が開発するうえで有用な指針となる
 実験結果:提案アーキテクチャがユーザの音楽聴取行動の活性化に有効
 いずれのアーキテクチャもKiite Cafe以外にも適用できる汎用性がある
知見2 33
https://twipla.jp/events/472240
VOCALOID関連のイベントとのコラボレーションを含む
複数のオンラインイベントでKiite Cafeを活用
 人々が物理的に集まるのが困難な状況でオンラインイベントの新しいあり方を提示
 地理的な遠さが原因でイベント参加しづらい人などにとっても有意義な開催方法
 2020年 8月 19日
 VOCALOID楽曲の有名クリエータが作成した
プレイリストを再生
 クリエータ自身もKiite Cafeユーザとして参加
 140名のユーザが参加
 2021年 2月 11日
 「タメサレルミライ」とのコラボレーション
 ユーザ投票で冬や雪にまつわるプレイリスト作成
 77名のユーザが参加
知見3 34
ユーザが楽曲を好きになる瞬間を可視化することの価値を明らかにした
SNS Kiite Cafe
すごく
いい曲です!
86
本当に聴いて好きになって
くれてるのかな…?
最高!
確かに聴いたうえで
好きになってくれてる!
楽曲を好きになったユーザが確かにその楽曲を聴いている点
もその価値の実現に本質的な役割を果たしている
まとめ
Kosetsu Tsukuda, Keisuke Ishida, Masahiro Hamasaki, Masataka Goto
Kiite Cafe: A Web Service for Getting Together Virtually to Listen to Music
ISMIR 2021
貢献・今後の予定 36
2アーキテクチャを備えたKiite Cafeを開発・公開
同じ楽曲を同じ瞬間に楽しめる「好き」が伝わる音楽発掘カフェ
1一緒に同一楽曲を聴くための2つのアーキテクチャ提案
楽曲に対する「好き」という反応を可視化・ユーザの好みの楽曲から再生楽曲を選択
3Kiite Cafeのもたらす体験・効果を定量的に検証
「好き」を伝える動機付け・多様な楽曲を好きになる・キューレータとして貢献
今後の
予定
 より長期のユーザ行動ログを用いた分析・検証
 様々な機能に特化した複数の「支店」の提供
https://cafe.kiite.jp

Weitere ähnliche Inhalte

Mehr von Kosetsu Tsukuda

Lyric Jumper:アーティストごとの歌詞トピックの傾向に基づき様々な歌詞に出会える歌詞探索サービス
Lyric Jumper:アーティストごとの歌詞トピックの傾向に基づき様々な歌詞に出会える歌詞探索サービス Lyric Jumper:アーティストごとの歌詞トピックの傾向に基づき様々な歌詞に出会える歌詞探索サービス
Lyric Jumper:アーティストごとの歌詞トピックの傾向に基づき様々な歌詞に出会える歌詞探索サービス
Kosetsu Tsukuda
 
Lyric Jumper:アーティストごとの歌詞トピックの傾向に基づく歌詞探索サービス
Lyric Jumper:アーティストごとの歌詞トピックの傾向に基づく歌詞探索サービスLyric Jumper:アーティストごとの歌詞トピックの傾向に基づく歌詞探索サービス
Lyric Jumper:アーティストごとの歌詞トピックの傾向に基づく歌詞探索サービス
Kosetsu Tsukuda
 
SmartVideoRanking: 視聴者の時刻同期コメントに基づく動画ランキングシステム
SmartVideoRanking: 視聴者の時刻同期コメントに基づく動画ランキングシステムSmartVideoRanking: 視聴者の時刻同期コメントに基づく動画ランキングシステム
SmartVideoRanking: 視聴者の時刻同期コメントに基づく動画ランキングシステム
Kosetsu Tsukuda
 

Mehr von Kosetsu Tsukuda (20)

Toward an Understanding of Lyrics-viewing Behavior While Listening to Music o...
Toward an Understanding of Lyrics-viewing Behavior While Listening to Music o...Toward an Understanding of Lyrics-viewing Behavior While Listening to Music o...
Toward an Understanding of Lyrics-viewing Behavior While Listening to Music o...
 
人はなぜ・どのように歌詞を閲覧するのか:スマートフォンでの楽曲聴取時の歌詞閲覧行動分析(第17回WI2研究会)
人はなぜ・どのように歌詞を閲覧するのか:スマートフォンでの楽曲聴取時の歌詞閲覧行動分析(第17回WI2研究会)人はなぜ・どのように歌詞を閲覧するのか:スマートフォンでの楽曲聴取時の歌詞閲覧行動分析(第17回WI2研究会)
人はなぜ・どのように歌詞を閲覧するのか:スマートフォンでの楽曲聴取時の歌詞閲覧行動分析(第17回WI2研究会)
 
Explainable Recommendation for Repeat Consumption (RecSys 2020)
Explainable Recommendation for Repeat Consumption (RecSys 2020)Explainable Recommendation for Repeat Consumption (RecSys 2020)
Explainable Recommendation for Repeat Consumption (RecSys 2020)
 
繰り返し消費されるコンテンツを対象とした推薦理由の提示(IFAT142・登壇発表)
繰り返し消費されるコンテンツを対象とした推薦理由の提示(IFAT142・登壇発表)繰り返し消費されるコンテンツを対象とした推薦理由の提示(IFAT142・登壇発表)
繰り返し消費されるコンテンツを対象とした推薦理由の提示(IFAT142・登壇発表)
 
Explainable Recommendation for Repeat Consumption(RecSys2020論文読み会)
Explainable Recommendation for Repeat Consumption(RecSys2020論文読み会)Explainable Recommendation for Repeat Consumption(RecSys2020論文読み会)
Explainable Recommendation for Repeat Consumption(RecSys2020論文読み会)
 
Explainable Recommendation for Repeat Consumption (RecSys 2020)
Explainable Recommendation for Repeat Consumption (RecSys 2020)Explainable Recommendation for Repeat Consumption (RecSys 2020)
Explainable Recommendation for Repeat Consumption (RecSys 2020)
 
Query/Task Satisfaction and Grid-based Evaluation Metrics Under Different Ima...
Query/Task Satisfaction and Grid-based Evaluation Metrics Under Different Ima...Query/Task Satisfaction and Grid-based Evaluation Metrics Under Different Ima...
Query/Task Satisfaction and Grid-based Evaluation Metrics Under Different Ima...
 
The Web Conference 2020 国際会議報告(ACM SIGMOD 日本支部第73回支部大会・依頼講演)
The Web Conference 2020 国際会議報告(ACM SIGMOD 日本支部第73回支部大会・依頼講演)The Web Conference 2020 国際会議報告(ACM SIGMOD 日本支部第73回支部大会・依頼講演)
The Web Conference 2020 国際会議報告(ACM SIGMOD 日本支部第73回支部大会・依頼講演)
 
DualDiv: Diversifying Items and Explanation Styles in Explainable Hybrid Reco...
DualDiv: Diversifying Items and Explanation Styles in Explainable Hybrid Reco...DualDiv: Diversifying Items and Explanation Styles in Explainable Hybrid Reco...
DualDiv: Diversifying Items and Explanation Styles in Explainable Hybrid Reco...
 
ABCPRec:何を創作したかという情報がコンテンツの消費時に反映されるユーザ生成コンテンツ推薦手法(WebDB Forum 2019・登壇発表)
ABCPRec:何を創作したかという情報がコンテンツの消費時に反映されるユーザ生成コンテンツ推薦手法(WebDB Forum 2019・登壇発表)ABCPRec:何を創作したかという情報がコンテンツの消費時に反映されるユーザ生成コンテンツ推薦手法(WebDB Forum 2019・登壇発表)
ABCPRec:何を創作したかという情報がコンテンツの消費時に反映されるユーザ生成コンテンツ推薦手法(WebDB Forum 2019・登壇発表)
 
DualDiv: Diversifying Items and Explanation Styles in Explainable Hybrid Reco...
DualDiv: Diversifying Items and Explanation Styles in Explainable Hybrid Reco...DualDiv: Diversifying Items and Explanation Styles in Explainable Hybrid Reco...
DualDiv: Diversifying Items and Explanation Styles in Explainable Hybrid Reco...
 
ABCPRec:ユーザの消費者としての役割と創作者としての役割の適応的対応付けによるユーザ生成コンテンツ推薦(第14回WI2研究会)
ABCPRec:ユーザの消費者としての役割と創作者としての役割の適応的対応付けによるユーザ生成コンテンツ推薦(第14回WI2研究会)ABCPRec:ユーザの消費者としての役割と創作者としての役割の適応的対応付けによるユーザ生成コンテンツ推薦(第14回WI2研究会)
ABCPRec:ユーザの消費者としての役割と創作者としての役割の適応的対応付けによるユーザ生成コンテンツ推薦(第14回WI2研究会)
 
ABCPRec: Adaptively Bridging Consumer and Producer Roles for User-Generated C...
ABCPRec: Adaptively Bridging Consumer and Producer Roles for User-Generated C...ABCPRec: Adaptively Bridging Consumer and Producer Roles for User-Generated C...
ABCPRec: Adaptively Bridging Consumer and Producer Roles for User-Generated C...
 
Lyric Jumper: A Lyrics-Based Music Exploratory Web Service by Modeling Lyrics...
Lyric Jumper: A Lyrics-Based Music Exploratory Web Service by Modeling Lyrics...Lyric Jumper: A Lyrics-Based Music Exploratory Web Service by Modeling Lyrics...
Lyric Jumper: A Lyrics-Based Music Exploratory Web Service by Modeling Lyrics...
 
Listener Anonymizer: Camouflaging Play Logs to Preserve User’s Demographic An...
Listener Anonymizer: Camouflaging Play Logs to Preserve User’s Demographic An...Listener Anonymizer: Camouflaging Play Logs to Preserve User’s Demographic An...
Listener Anonymizer: Camouflaging Play Logs to Preserve User’s Demographic An...
 
Listener Anonymizer: Camouflaging Play Logs to Preserve User’s Demographic An...
Listener Anonymizer: Camouflaging Play Logs to Preserve User’s Demographic An...Listener Anonymizer: Camouflaging Play Logs to Preserve User’s Demographic An...
Listener Anonymizer: Camouflaging Play Logs to Preserve User’s Demographic An...
 
Lyric Jumper:アーティストごとの歌詞トピックの傾向に基づき様々な歌詞に出会える歌詞探索サービス
Lyric Jumper:アーティストごとの歌詞トピックの傾向に基づき様々な歌詞に出会える歌詞探索サービス Lyric Jumper:アーティストごとの歌詞トピックの傾向に基づき様々な歌詞に出会える歌詞探索サービス
Lyric Jumper:アーティストごとの歌詞トピックの傾向に基づき様々な歌詞に出会える歌詞探索サービス
 
Lyric Jumper:アーティストごとの歌詞トピックの傾向に基づく歌詞探索サービス
Lyric Jumper:アーティストごとの歌詞トピックの傾向に基づく歌詞探索サービスLyric Jumper:アーティストごとの歌詞トピックの傾向に基づく歌詞探索サービス
Lyric Jumper:アーティストごとの歌詞トピックの傾向に基づく歌詞探索サービス
 
Taste or Addiction?: Using Play Logs to Infer Song Selection Motivation
Taste or Addiction?: Using Play Logs to Infer Song Selection MotivationTaste or Addiction?: Using Play Logs to Infer Song Selection Motivation
Taste or Addiction?: Using Play Logs to Infer Song Selection Motivation
 
SmartVideoRanking: 視聴者の時刻同期コメントに基づく動画ランキングシステム
SmartVideoRanking: 視聴者の時刻同期コメントに基づく動画ランキングシステムSmartVideoRanking: 視聴者の時刻同期コメントに基づく動画ランキングシステム
SmartVideoRanking: 視聴者の時刻同期コメントに基づく動画ランキングシステム
 

Kiite Cafe: 同じ楽曲を同じ瞬間に楽しんで「好き」が伝わる音楽発掘カフェ(SIGMUS132・登壇発表)