kanehira m
- 3. 3
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討-
背景|ビジュアルノベル自動生成の課題と先行研究
自動選択
自動生成
絵
画像
阿辺川[1]
松本[2]
動画
阿辺川[1]
梶山[3]
音
効果音
松本[2]
BGM
本研究
石塚[4][5][6]
中村[7]
3
[1]:阿辺川武and 間下亜紀子, “文章中のコンテクストに適合した関連動画の検索” 情報処理学会研究報告., 2013.
[2]:松本圭祐, 伊藤雄一, 村上礼繁, 北村喜文, and 岸野文郎, “テキストの内容理解促進を補助するための動的なマルチメディアコンテンツ生成に
関する検討(セッション6)” 情報処理学会研究報告., 2006.
[3]:梶山大介and 榎津秀次, “11-4 物語テキストへの動画挿絵自動添付” 映像情報メディア学会冬季大会講演予稿集, 2011.
[4]:石塚賢吉and 鬼沢武久, “物語のシーンの印象に基づいたテーマ音楽の変奏曲の生成,” ファジィシステムシンポジウム講演論文集, 2006.
[5]:石塚賢吉, 加藤茂, and 鬼沢武久, “複数の絵から生成される物語のシーンの印象に基づいた音楽の変奏,” 日本知能情報ファジィ学会誌, 2007.
[6]:石塚賢吉and 鬼沢武久, “物語のシーンの印象に基づいた声楽曲生成システムの試作,” ファジィシステムシンポジウム講演論文集, 2010.
[7]:中村順一, “自然言語処理と音楽情報処理の融合に向けて,” 情報処理学会研究報告,1997.
物語へのBGM自動選択
絵
•背景画像
音
•BGM
•効果音
その他
•背景色
•フォントetc.
電子書籍
ビジュアルノベル
- 6. 6
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討-
アプローチ|X :シーンの連想色決定法
シーン
特徴単語集合
画像集合
特徴単語
連想色集合
シーン連想色
王子さま、ダンス・パーティ、お金持ち、ゆうめいな人、きれい、ひときわ、おおよろこび、ドレス、ペチコート、かざろう、なやみ、めんどう、 アイロンがけ、フリル、おめかし、フランス、ふちかざり、赤い、ビロード、お気に入り、ゴールド、花つき、ケープ、ダイヤモンド、むねかざ り、あたまかざり、ド・ラ・ポシェ、おじょうさん、ブラシ、つけぼくろ、きかざったり、食べません、うれしかった、すらりと、かがみ
シーン3の特徴単語35個TF-IDF法を参考に手動
画像検索byBing Search API最大50個
ケープ・・・
画像から特徴単語の連想色を決定
シンデレラシーン3「ダンス・パーティに心躍るふたりの姉」
平均RGBベクトル
あるとき、王子さまがダンス・パーティをひらくことになりました。お金もちの人や、ゆうめいな人など、いろんな人がまねかれました。シ ンデレラのいえの、ふたりの姉も、服がきれいでひときわ目立っていたので、もちろん声がかかりました。ふたりはおおよろこびで、さっ そくドレスはどれにしようとか、ペチコートはどんなのにしようとか、あたまに何をかざろうとか、あれこれなやみはじめました。けれども、 シンデレラにしてみれば、めんどうなことがひとつふえただけでした。というのも、姉たちのはだぎをアイロンがけしなくちゃ・・・・・・
きれい
・・・
フランス
・・・
なやみ
・・・
王子さま
ダンス・
パーティー
お金持ち
ゆうめい
な人
きれいひときわ
おお
よろこび
ドレス
ペチコート
かざろう
なやみ
めんどう
アイロン
がけ
フリル
おめかし
フランス
ふちかざり
赤い
シーンの連想色を決定
平均RGBベクトル
シーン3
- 8. 8
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討-
アプローチ|Z:シーンに適するBGMの決定法
BGM連想色集合
BGM1
BGM2
BGM3
BGM4
BGM5
BGM6
BGM7
BGM8
BGM9
BGM10
BGM11
BGM12
BGM13
BGM14
BGM15
BGM16
BGM17
BGM18
BGM19
BGM20
BGM21
BGM22
BGM23
BGM24
BGM25
BGM26
BGM27
BGM28
BGM29
BGM30
BGM31
BGM32
BGM33
BGM34
BGM35
BGM36
BGM37
BGM38
BGM39
BGM40
BGM41
BGM42
BGM43
シーン1
シーン2
シーン3
シーン4
シーン5
シーン6
シーン7
シーン8
シーン9
シーン10
シーン連想色集合
BGM連想色
BGM連想色
シーン連想色
距離
シーン
BGM
BGM連想色
距離の決め方
ユークリッド距離
シーンに適するBGMの決め方
距離の最も近いBGM
- 9. 9
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討-
結果|出力結果
BGM連想色集合
BGM1
BGM2
BGM3
BGM4
BGM5
BGM6
BGM7
BGM8
BGM9
BGM10
BGM11
BGM12
BGM13
BGM14
BGM15
BGM16
BGM17
BGM18
BGM19
BGM20
BGM21
BGM22
BGM23
BGM24
BGM25
BGM26
BGM27
BGM28
BGM29
BGM30
BGM31
BGM32
BGM33
BGM34
BGM35
BGM36
BGM37
BGM38
BGM39
BGM40
BGM41
BGM42
BGM43
シーン1
シーン2
シーン3
シーン4
シーン5
シーン6
シーン7
シーン8
シーン9
シーン10
シーン連想色集合
シーン1
シーン2
シーン4
シーン6
BGM2
BGM3
BGM4
BGM5
BGM9
BGM10
BGM11
BGM13
BGM14
BGM16
BGM17
BGM2
BGM6
BGM7
BGM19
BGM24
BGM26
BGM27
BGM28
BGM29
BGM30
BGM31
BGM1
BGM28
BGM32
BGM43
BGM4
BGM18
BGM22
・・・
・・・
・・・
正解データ
- 10. 10
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討-
結果|出力結果
平均RGBベクトル
チャンスレベル
正答率
50%
21.4%
シーン番号
正解BGM数
正解BGM番号
出力BGM番号
1
13
2, 3, 4, 5, 9, 10, 11, 13, 14, 16, 17, 19, 22
11, 35, 2, 13, 17
3
13
2, 3, 4, 7, 9, 11, 12, 13, 14, 16, 17, 20, 22
11, 2, 13, 35, 17
5
12
2, 3, 4, 7, 9, 11, 12, 13, 14, 17, 19, 22
11, 2, 13, 17, 35
7
16
2, 3, 4, 5, 6, 7, 9, 10, 11, 12, 13, 14, 16, 17, 19, 22
12, 22, 18, 4, 21
2
16
1, 6, 7, 19, 24, 26, 27, 28, 29, 30, 31, 32, 35, 41, 42, 43
11, 35, 2, 13, 17
9
7
3, 10, 11, 12, 16, 18, 23,
11, 2, 13, 17, 35
4
5
1, 28, 30, 32, 43
11, 2, 13, 35, 17
6
3
4, 16, 22
11, 2, 13, 17, 35
8
3
4, 16, 22
11, 35, 2, 13, 17
10
4
12, 16, 22, 23
11, 2, 13, 17, 35
※赤い番号が正解BGM番号
- 11. 11
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討-
結果|出力BGMとBGM付与が成功したシーン
BGM番号
タグ
2
楽しい
温かい
穏やか
可愛い
コメディー
ファンタジー
11
明るい
楽しい
穏やか
可愛い
コメディー
13
明るい
楽しい
温かい
穏やか
可愛い
コメディー
17
明るい
楽しい
可愛い
コメディー
懐かしい
35
慎ましい
冷たい
悲しい
シリアス
出力BGMのタグ
適するBGMを付与出来たシーンの特徴単語
1
3
5
7
むかし
王子さま
赤い
ようせい
ガラスのくつ
ダンス・パーティ
ひとりの男のひと
ダンス・パーティ
ビロード
ステッキ
かわいらしい
おれい
えらそう
お金持ち
お気に入り
大きくて
すてきな
おそい
お高くとまっている
ゆうめいな人
ゴールド
りっぱな
おめかし
おかえり
気まぐれ
きれい
花つき
ばしゃ
よろこび
あくび
そっくり
ひときわ
ケープ
金色
わきあがってくる
きれいな
おもいやり
おおよろこび
ダイヤモンド
きらきら
ダンス・パーティ
おひめさま
お母さんゆずり
ドレス
むねかざり
かがやく
みたことないくらい
やさしい
ペチコート
あたまかざり
きれいな
びじん
せかいでいちばん
かざろう
ド・ラ・ポシェ
金
れいぎただしくて
うつくしい
なやみ
おじょうさん
銀
おひめさま
めんどう
ブラシ
かざりたてた
王子さま
アイロンがけ
つけぼくろ
ぎょしゃ
どきどき
フリル
食べません
みるみるうちに
ほほえみ
おめかし
うれしかった
ほうせき
うらやましい
フランス
すらりと
ちりばめた
ねむい
ふちかざり
かがみ
ドレス
- 12. 12
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討-
まとめ| 成果と結論
成果
シーンにBGMを自動付与するために、連想色を用いた新たな手法を提案
結論
•正答率50%
•華やかで明るいシーンに対して適するBGMが付与出来た
シーン番号
出力BGM番号
1
11, 35, 2, 13, 17
3
11, 2, 13, 35, 17
5
11, 2, 13, 17, 35
7
12, 22, 18, 4, 21
- 14. 14
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討-
結果|タグの連想色と特徴単語の連想色
BGM番号
タグ
2
楽しい
温かい
穏やか
可愛い
コメディー
ファンタジー
11
明るい
楽しい
穏やか
可愛い
コメディー
13
明るい
楽しい
温かい
穏やか
可愛い
コメディー
17
明るい
楽しい
可愛い
コメディー
懐かしい
35
慎ましい
冷たい
悲しい
シリアス
出力BGMのタグ
1
3
5
7
むかし
王子さま
赤い
ようせい
ガラスのくつ
ダンス・パーティ
ひとりの男のひと
ダンス・パーティ
ビロード
ステッキ
かわいらしい
おれい
えらそう
お金持ち
お気に入り
大きくて
すてきな
おそい
お高くとまっている
ゆうめいな人
ゴールド
りっぱな
おめかし
おかえり
気まぐれ
きれい
花つき
ばしゃ
よろこび
あくび
そっくり
ひときわ
ケープ
金色
わきあがってくる
きれいな
おもいやり
おおよろこび
ダイヤモンド
きらきら
ダンス・パーティ
おひめさま
お母さんゆずり
ドレス
むねかざり
かがやく
みたことないくらい
やさしい
ペチコート
あたまかざり
きれいな
びじん
せかいでいちばん
かざろう
ド・ラ・ポシェ
金
れいぎただしくて
うつくしい
なやみ
おじょうさん
銀
おひめさま
めんどう
ブラシ
かざりたてた
王子さま
アイロンがけ
つけぼくろ
ぎょしゃ
どきどき
フリル
食べません
みるみるうちに
ほほえみ
おめかし
うれしかった
ほうせき
うらやましい
フランス
すらりと
ちりばめた
ねむい
ふちかざり
かがみ
ドレス
適するBGMを付与出来たシーンの特徴単語
- 15. 15
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討-
結果|正解データと不正解データの距離
1
2
3
4
5
6
7
8
9
10
ID
距離
ID
距離
ID
距離
ID
距離
ID
距離
ID
距離
ID
距離
ID
距離
ID
距離
ID
距離
11
0.164702
11
0.076354
11
0.291461
11
0.145934
11
0.12998
11
0.125319
12
0.036177
11
0.138403
11
0.199046
11
0.067239
35
0.190806
35
0.095714
2
0.312538
2
0.166855
2
0.145934
2
0.13492
22
0.047545
35
0.16068
2
0.217607
2
0.085191
2
0.192976
2
0.117479
13
0.314814
13
0.170383
13
0.14836
13
0.135799
18
0.058739
2
0.171774
13
0.219783
13
0.090606
13
0.198447
13
0.128136
35
0.320247
35
0.178899
17
0.164702
17
0.153484
4
0.06266
13
0.179231
35
0.231643
17
0.103479
17
0.210944
17
0.132248
17
0.331205
17
0.18543
35
0.166855
35
0.165423
21
0.065446
17
0.188611
17
0.23622
35
0.10798
3
0.233434
3
0.149955
3
0.355797
3
0.209529
3
0.189555
3
0.179231
5
0.077129
3
0.209529
3
0.261101
3
0.127204
43
0.264046
43
0.170033
43
0.392978
10
0.249211
10
0.229579
10
0.22274
8
0.079409
43
0.231643
10
0.302675
10
0.169332
10
0.272691
22
0.183171
10
0.395242
22
0.25253
22
0.234197
22
0.225395
3
0.080155
22
0.246329
22
0.305024
22
0.170732
22
0.273127
10
0.191428
22
0.398838
43
0.25743
43
0.247774
43
0.247293
43
0.088614
10
0.25253
43
0.308708
43
0.190806
12
0.29652
12
0.204063
12
0.423155
12
0.277663
12
0.260188
12
0.25135
14
0.089283
12
0.267627
12
0.329765
12
0.19664
18
0.299315
18
0.204063
18
0.428741
37
0.283809
37
0.266736
37
0.263143
35
0.096334
18
0.268514
37
0.33884
37
0.205805
37
0.302675
37
0.216236
37
0.429157
18
0.28652
9
0.269178
9
0.263821
17
0.101153
37
0.280435
18
0.339366
9
0.207819
9
0.307936
9
0.221938
9
0.433433
9
0.28735
18
0.272691
18
0.268293
9
0.102903
9
0.285689
9
0.341812
18
0.210662
21
0.318384
21
0.22274
21
0.447347
5
0.302478
5
0.28652
5
0.281493
10
0.102903
21
0.286313
5
0.356632
5
0.22354
5
0.318757
5
0.225923
5
0.447612
21
0.305998
14
0.288795
14
0.281705
25
0.102903
5
0.291257
21
0.357964
14
0.225923
14
0.327048
14
0.237476
14
0.453554
14
0.306968
21
0.292276
21
0.286935
37
0.105754
14
0.301888
14
0.360778
21
0.230355
4
0.333888
4
0.239968
4
0.461356
4
0.31651
4
0.299712
4
0.291257
6
0.109621
4
0.303852
4
0.368608
4
0.23622
8
0.336727
8
0.241451
8
0.465975
8
0.323205
8
0.308708
8
0.303264
2
0.11595
8
0.305803
8
0.375958
8
0.246088
23
0.345791
23
0.257199
23
0.47307
23
0.327593
23
0.310629
23
0.306387
11
0.117479
23
0.322099
23
0.382546
23
0.248972
6
0.363243
6
0.26984
25
0.487195
25
0.341115
25
0.321544
25
0.310245
23
0.121951
6
0.335133
25
0.392372
25
0.258813
25
0.363243
25
0.27378
6
0.492296
6
0.347336
6
0.331384
6
0.325954
13
0.124844
25
0.336196
6
0.401366
6
0.268293
16
0.434804
16
0.340766
16
0.56478
16
0.423295
16
0.409727
20
0.40373
20
0.169683
16
0.405201
16
0.477202
16
0.34785
20
0.442533
20
0.347165
20
0.570753
20
0.42763
20
0.411899
16
0.40652
7
0.178899
20
0.410597
20
0.479316
20
0.348704
7
0.450395
7
0.354792
7
0.578517
7
0.436579
7
0.421465
7
0.413485
15
0.18543
7
0.417636
7
0.487805
7
0.358628
19
0.454209
19
0.360613
19
0.584145
19
0.441861
19
0.427769
15
0.419767
16
0.186709
1
0.424839
1
0.495668
19
0.365691
1
0.457602
1
0.36193
1
0.585975
1
0.444278
15
0.429019
1
0.421888
1
0.187662
19
0.425398
19
0.496148
15
0.365854
39
0.4589
39
0.363243
39
0.5878
15
0.445214
1
0.429435
19
0.424418
39
0.192049
39
0.426516
15
0.496268
1
0.366666
15
0.46084
15
0.365691
15
0.588306
39
0.446148
39
0.431645
39
0.424979
19
0.205226
15
0.428603
39
0.498063
39
0.36893
28
0.48006
28
0.384408
28
0.608975
28
0.46814
28
0.454078
28
0.447745
28
0.215132
28
0.447347
28
0.519919
28
0.391613
32
0.488414
32
0.392978
32
0.617319
32
0.474201
32
0.45877
32
0.45145
32
0.218425
32
0.456821
32
0.526513
32
0.395543
26
0.541112
26
0.445481
26
0.67
26
0.527867
26
0.512892
26
0.505649
26
0.271817
26
0.508816
26
0.579852
26
0.449866
29
0.560551
29
0.466103
29
0.687355
29
0.542977
29
0.525495
29
0.514975
29
0.283809
29
0.529218
29
0.594041
29
0.462129
40
0.565833
40
0.470169
40
0.694416
40
0.552319
40
0.537139
40
0.52933
40
0.29491
40
0.533249
40
0.603973
40
0.474075
42
0.599127
42
0.504117
42
0.726895
42
0.582718
42
0.565833
42
0.55629
42
0.323757
42
0.567617
42
0.634334
42
0.502344
33
0.607116
33
0.51173
33
0.735438
33
0.591935
33
0.575734
33
0.566988
33
0.333353
33
0.575217
33
0.643736
33
0.512311
36
0.636861
36
0.541881
36
0.764548
36
0.620299
36
0.603283
36
0.59354
36
0.361272
36
0.60535
36
0.671862
36
0.539791
41
0.636861
41
0.541881
41
0.764548
41
0.620299
41
0.603283
41
0.59354
41
0.361272
41
0.60535
41
0.671862
41
0.539791
24
0.648065
24
0.552427
24
0.776667
24
0.63424
24
0.618763
30
0.609756
30
0.376116
24
0.615582
24
0.685969
24
0.555541
30
0.650904
30
0.555541
30
0.778886
30
0.635458
30
0.619051
31
0.609756
31
0.376116
30
0.618763
30
0.686922
30
0.555648
31
0.650904
31
0.555541
31
0.778886
31
0.635458
31
0.619051
24
0.610634
24
0.376274
31
0.618763
31
0.686922
31
0.555648
38
0.662589
38
0.566883
38
0.790786
38
0.64944
38
0.634334
38
0.626027
38
0.391157
38
0.629344
38
0.700556
38
0.571378
34
0.674601
34
0.579647
34
0.802213
34
0.657904
34
0.640772
34
0.630854
34
0.398838
34
0.643089
34
0.709417
34
0.577282
27
0.719409
27
0.624219
27
0.847012
27
0.703268
27
0.686402
27
0.67645
27
0.443608
27
0.687355
27
0.754522
27
0.622979
- 18. 18
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討-
結果|シーン2とシーン4のタグ
2
4
けっこん式
おいやって
ついに
本性
わら
たのしい
かわいらしくて
きらきら
おしろ
人がよい
きれいな
かなしくなって
みじめ
大きな
なきくずれて
ひどく
がまん
ないている
じゃま
いそがしい
いえなくなって
洗わせ
いいなり
なみだ
ふかせ
どうにもなりません
ことばが出てこない
めいっぱい
もえがら
ようせい
そうじ
灰だらけ
まほうつかい
せまくて
きたなく
ダンス・パーティ
くらい
りりしかった
ためいき
やねうらべや
- 19. 19
ビジュアルノベル自動生成に関する基礎研究-連想色によるBGM付与の検討-
結果|対象BGMのタグ
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
寂しい
楽しい
明るい
楽しい
明るい
楽しい
不思議
明るい
明るい
楽しい
明るい
楽しい
明るい
明るい
懐かしい
冷たい
温かい
楽しい
不思議
穏やか
優しい
慎ましい
楽しい
楽しい
温かい
楽しい
温かい
楽しい
楽しい
不思議
暗い
穏やか
温かい
可愛い
優しい
不思議
ファンタジー
穏やか
優しい
穏やか
穏やか
穏やか
温かい
温かい
寂しい
悲しい
可愛い
穏やか
恐ろしい
不思議
ファンタジー
怪しい
懐かしい
懐かしい
優しい
可愛い
不思議
穏やか
穏やか
怪しい
絶望
ファンタジー
可愛い
ファンタジー
可愛い
コメディー
虚無
不思議
可愛い
可愛い
コメディー
ファンタジー
可愛い
優しい
シリアス
虚無
コメディー
ファンタジー
怪しい
コメディー
怪しい
慎ましい
コメディー
懐かしい
虚無
不思議
可愛い
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
穏やか
明るい
楽しい
穏やか
懐かしい
不思議
明るい
明るい
不思議
楽しい
冷たい
暗い
穏やか
冷たい
冷たい
優しい
楽しい
不思議
優しい
不思議
慎ましい
楽しい
温かい
冷たい
温かい
暗い
恐ろしい
寂しい
暗い
暗い
慎ましい
懐かしい
騒々しい
不思議
渋い
冷たい
温かい
穏やか
暗い
渋い
恐ろしい
悪意
冷たい
怒り
恐ろしい
切ない
可愛い
渋い
慎ましい
寂しい
ファンタジー
穏やか
優しい
恐ろしい
怪しい
悪意
シリアス
暗い
恐ろしい
シリアス
ファンタジー
コメディー
切ない
シリアス
ファンタジー
希望
怪しい
怪しい
虚無
悲しい
シリアス
コメディー
絶望
怪しい
31
32
33
34
35
36
37
38
39
40
41
42
43
渋い
穏やか
冷たい
懐かしい
慎ましい
暗い
明るい
不思議
楽しい
冷たい
暗い
暗い
穏やか
冷たい
慎ましい
暗い
暗い
冷たい
恐ろしい
楽しい
寂しい
サイバー
暗い
恐ろしい
悲しい
慎ましい
暗い
暗い
恐ろしい
コメディー
悲しい
ファンタジー
温かい
冷たい
コメディー
ファンタジー
ファンタジー
恐ろしい
切ない
恐ろしい
悲しい
悪意
怪しい
シリアス
絶望
穏やか
暗い
怪しい
怪しい
絶望
ファンタジー
冷たい
シリアス
絶望
シリアス
シリアス
優しい
サイバー
シリアス
シリアス
悪意
悲しい
シリアス
希望
シリアス
シリアス
シリアス
虚無