ゆるキャラグランプリに出場したキャラクターの画像から得票数を推定する試みの一環として、ディープラーニングによるタグの抽出を行いました。 方法はSaito and Matsui (2015) が提案したillustration2vecを用いています。 ゆるキャラでの結果を見て、さらにゲームのキャラクターでも試してみました。

1. illustration2vecによるタグ抽出
石山 賢也

2. 自己紹介
● 石山 賢也（いしやま かつや）
GitHub: Katsuya-Ishiyama
Qiita: @kishiyama
● ソーシャルアプリ・ゲームを企画・開発・運営する会社にて
データサイエンティスト
● 最近の興味
- 画像データの人気度を定量化する
- 統計学
- 機械学習
2

3. 目的
• illustration2vecでゆるキャラの画像の特徴量をタグとして抽出
したい。
→VGGはそのまま適用すると学習が進まないので方針変更
→抽出したタグを説明変数にして投票数の予想を試みる
3

4. illustration2vecの紹介
4

5. illustration2vecとは？
Saito and Matsui (2015) が提案した画像をベクトル表現に変換
する方法。
illustration2vecの目的
1. 画像を解析して意味を抽出し、ベクトル表現に変換する。
※ベクトルの要素は対応するタグが付く確率になる。
2. 画像の意味に近い画像を検索できるようにする。
illustration2vecでできるようになること
大量のイラストに対して画像を検索できるようになる
5

6. illustration2vecが扱う問題
1. イラストに対する画像認識の難しさ
同じキャラクターでも異なるイラストレーターが描けば、目
の大きさや顔の輪郭、線の太さが違うため。
2. 既存の画像認識アルゴリズムがイラストに対応していない
主に画像認識アルゴリズムはImageNetの認識精度をベンチ
マークとしているため、イラストに適用しても精度がでない。
6

7. Illustration2vecを使ってできること(1/2)
（例1）類似画像の検索
下はillustration2vecで抽出したタグとHamming距離による最近傍探索で類似度を計算し、上
位3つを抽出した結果。
似たようなイラストを抽出することができている。
Saito and Matsui(2015)より転載
検索元画像
（これに似た画像を検索したい）
検索結果
7

8. Illustration2vecを使ってできること(2/2)
Saito and Matsui(2015)より転載
（例2）画像の意味による画像変換
Query1とQuery2までのHamming距離が最短になる画像を抽出する。
キーワード検索ではできない2画像の中間的な画像を検索できる。
デフォルメされたイラスト
から、より写実的なものへ
と変換されている
戦闘機から戦闘機の市街地戦闘、
市街地へ変化している
8

9. Illustration2vecの適用事例
http://make.girls.moeより
MakeGirlsMoe: 自分の好みのアニメキャラを生成させることができるWebサイト
ユーザーが設定した条件に該当するタグを持つ画像を抽出して学習データにし、GANでイラスト
生成させている。
大量の画像にタグを付けるのにillustration2vecが使われている。
9

10. illustration2vecのアーキテクチャ
Saito and Matsui(2015)より転載
• 右の表に示されているように、VGGがベース。
• VGGでは16層または19層のレイヤーがあるが、ここ
では11層までになっている。
• 著者らはLin, M. and Chen, Q. and Yan, S.(2013) の
Network In Networkを混ぜているとしている箇所は、
全結合層が畳み込み層に変わっているところ。
• 論文では、sigmoidレイヤー前のaverage-pooling層
はNetwork In Networkで使われているglobal-
average-poolingを使ったような記述がみられる。
しかし、実際に著者のGitHubに挙がっているcaffe
のprototxtを確認すると、カーネルサイズ7の
average-poolingが使われている。
• 画像認識でよく利用されるSoftmaxではなく、
Sigmoidが使われているところが肝心。
ベンチマーク 提案手法
10

11. Sigmoidを選択する理由
Softmax Sigmoid
想定されている状況 K個の状態の中で1つ
が選択される
2つの状態の中でどち
らか一方が選択される
ラベルの例 𝑦𝑖 = (0, 0, 1, 0, 0, 0) 𝑦𝑖 = 0 or 𝑦𝑖 = 1
画像のタグについては、複数のタグが同時に付く場合があり得る。
そのため、K個のタグそれぞれについて0 or 1を考えてSigmoidを選択
する。
SoftmaxとSigmoidは共に確率を計算するもの。
しかし、想定されている状況は下記の通りに異なる。
11

12. Illustration2vecの学習データ
Illustration2vecでは学習データを下記の要領で作成している。
1. Danbooru、Safebooru等の画像リンク集から1,287,596枚の
画像とメタデータを収集する。
2. メタデータを4つのカテゴリーに分類する。
general : 一般的な属性（例 “smile”, “weapon”）
copyright : 著作権名（例 “vocaloid”）
character : キャラクター名（例 “hatsune miku”）
rating : Xレーティング（”safe”, “questionable”, “explicit”）
3. general, copyright, characterから最も使われている512のタ
グを抽出する。
4. 3で抽出したタグとratingを連結させて1,539のタグをラベル
とする。
データを取得したサイトの例
12

13. ゆるキャラのタグを抽出する
13

14. ゆるキャラのタグ抽出の設定
• 論文著者のGitHubからソースコードと学習済みモデルを入手
• 利用できるフレームワークはCaffeとChainerがあるが、今回は
Chainerを選択
• OS Ubuntu 16.0.4 LTS
• GPU GeForce 1080
• python 3.5
• chainer 3.4.0
chainerを使う場合はソースコードの一部を書き換える必要がある。
詳しくは、https://github.com/rezoo/illustration2vec/issues/6 または、
https://github.com/rezoo/illustration2vec/pull/14を参照
14

15. タグを抽出した画像 抽出できたタグ
ゆるキャラのタグ抽出結果 (1/2)
{
"character": {
"pikachu": 0.42099183797836304},
"general": {
"simple background": 0.42039552330970764,
"no humans": 0.6959069967269897,
"solo": 0.39028239250183105},
"rating": {
"explicit": 0.00048542022705078125,
"questionable": 0.004336744546890259,
"safe": 0.993208110332489},
"copyright": {
"pokemon": 0.3581866919994354}
}
character キャラクター名
general 一般的な属性
rating Xレーティング
copyright 著作権名
15

16. タグを抽出した画像 抽出できたタグ
ゆるキャラのタグ抽出結果 (2/2)
{
"character": {
"pikachu": 0.375668466091156},
"general": {
"simple background": 0.3961561620235443,
"no humans": 0.8770012855529785,
"white background": 0.2729412913322449},
"rating": {
"explicit": 0.0011271834373474121,
"questionable": 0.002667844295501709,
"safe": 0.9947376847267151},
"copyright": {
"pokemon": 0.7780443429946899,
"pokemon (game)": 0.2505813241004944}
}
character キャラクター名
general 一般的な属性
rating Xレーティング
copyright 著作権名
16

17. ゆるキャラのタグ抽出での考察
• 抽出されたタグは得票数を予想するためには十分とは言えない。
no_humanやsimple backgroundのようなものばかりであるため。
• ゆるキャラを学習データとしてトレーニングし直す必要がある。
転移学習で対応できそうだが、タグは手動で付けることに...
→その場合、手動で付けたタグをそのまま説明変数にしたほうが予測精度が良さそう。
• 著者らの学習済みモデルではアニメ画像の分類のみ可能と言えそう。
もっと多くの事例で試す必要があるが、学習データを考えると上述の結論に達する。
【注意】著者らの元々の目的においては何ら問題は無い。
• ゲームキャラならばこのままで分類できそう。
17

18. ゲームキャラのタグを抽出する
というわけで、実際に3D画像のRPGで試してみました。
18

19. 対象にしたゲーム
タイトル 12オーディンズ
ジャンル MMORPG
対象OS iOS, Android, Windows
企画・開発・運営 enish
公式HP http://12odins.com/
※画像は共に公式HPより © enish,inc. 19

20. タグを抽出した画像 抽出できたタグ
ゲームキャラのタグ抽出結果 (1/2)
{
"general": {
"green hair": 0.6874743700027466,
"weapon": 0.2552770972251892,
"1girl": 0.5283669829368591,
"short hair": 0.356128066778183,
"smile": 0.3379276394844055,
"gloves": 0.3283458352088928,
"hat": 0.6573169231414795,
"1boy": 0.2741732597351074,
"red eyes": 0.506454586982727,
"one eye closed": 0.9139062166213989,
"multiple boys": 0.2745034098625183,
"green eyes": 0.6165584325790405,
"aqua hair": 0.2803601622581482,
"purple eyes": 0.31736743450164795},
"character": null,
"rating": {
"questionable": 0.005125880241394043,
"explicit": 4.634261131286621e-05,
"safe": 0.9957477450370789},
"copyright": null
}
character キャラクター名
general 一般的な属性
rating Xレーティング
copyright 著作権名
© enish,inc.
20

21. タグを抽出した画像 抽出できたタグ
ゲームキャラのタグ抽出結果 (2/2)
{
"general": {
"silver hair": 0.4546958804130554,
"blue eyes": 0.8694847822189331,
"solo": 0.8790668249130249,
"1girl": 0.8844062685966492,
"short hair": 0.8486675024032593,
"bob cut": 0.3760923147201538,
"smile": 0.7086513638496399},
"character": {
"konpaku youmu": 0.4580569267272949},
"rating": {
"questionable": 0.003846496343612671,
"explicit": 0.00021159648895263672,
"safe": 0.9962053894996643},
"copyright": {
"touhou": 0.26557478308677673}
}
character キャラクター名
general 一般的な属性
rating Xレーティング
copyright 著作権名
© enish,inc.
21

22. ゲームキャラのタグ抽出での考察(1/2)
• 学習データに沿うような画像であれば有益なタグは抽出できる。
• ゲームキャラのタグ抽出結果 (2/2)において、ボブカットのキャ
ラだが”bob cut”の確率が37.6%となった。
ある閾値を設けて機械的に選別する場合は落としてしまう可能性
あり。
• ゲームキャラのタグ抽出結果 (1/2)において、右側の男性キャラ
の目は紫色のように見えるが、”red eye”の方が高い確率になって
いる。
元になった画像をよく見てみると赤が強いので、正確に推定でき
ていると言える。
22

23. ゲームキャラのタグ抽出での考察(2/2)
• ゲームキャラのタグ抽出結果 (1/2)において、武器を持っている
が”weapon”の確率は25.5%になっている。
一般的に、RPGには様々なデザインの武器が登場するので、認識
を誤る可能性が大きい。
• 以上のことから、予想に使うためには閾値を設けず、推定された
確率をそのまま使うほうが良さそう。
23

24. まとめ
• 画像からタグを抽出する方法としてillustration2vecを紹介した。
• illustration2vecからゆるキャラとゲームキャラのタグを実際に抽出
した。
• ゆるキャラについては、学習データの範囲外にあったため、有益な
タグをとるのが難しいことが分かった。
• RPGタイトルのキャラクターについては、illustration2vecが扱って
いた問題との親和性から、有益なタグが得られることが分かった。
• ただし、RPGの装備品のデザインは様々なので、判定は難しい。
• 紫と赤の中間的な色合いが使われる場合などは、どちらのタグも間
違いとは言えないため、閾値を設けてタグを取り出すのではなく、
推定された確率をそのまま使うのが良い。
24

25. 参考文献
Y, Jin. et al (2017), Towards the Automatic Anime Characters
Creation with Generative Adversarial Networks, arXiv:1708.05509.
(MakeGirlsMoeのテクニカルレポート)
Saito and Matsui(2015), Illustration2vec: A Semantic Vector
Representation of Illustrations, SIGGRAPH Asia 2015.
GitHub: https://github.com/rezoo/illustration2vec
Lin, M. and Chen, Q. and Yan, S.(2013), Network In Network, arXiv:
1312.4400v3.
25