分かりやすさを重要視し、畳み込みニューラルネットワークを丁寧に解説しました。

1. 畳み込みニューラルネットワークの仕組み・特徴・応用について
2020年7月7日
嘉村 しょう
畳み込みニューラルネットワークの仕組み・特徴・応用について
■ サマリー ​(4,022文字)
畳み込みニューラルネットワーク(Convolutional Neural Network: 以降CNN)は、深層学
習手法の一つで、画像解析で顕著な成果を挙げている手法である。大量の画像データ
を学習し、被写体を認識出来る。12年、コンピューターによる画像認識精度を争う
ImageNetコンペティションで優勝したカナダ トロント大学が、前年までの誤差率を
10%以上改善し、注目を集めるようになった。基本的なCNNは、畳み込み層、プーリ
ング層、全結合層の3層から構成される。畳み込み層で画像データに、フィルタと呼ば
れる区画単位を照射し、演算を行い、画像の特徴量を抽出する。facebookの顔面認証
機能DeepFace、コーネル大学 鳥類学研究室が開発したMerlin Bird Photo ID、韓国科学
技術院らが共同開発したK-Eye等の応用事例が知られている。
■ 前提 画像データの理解
CNNを理解するには、画像データの理解が必要になる。画像データは、画素と呼ばれ
る小さな要素で構成される。インターネットでダウンロードした画像を拡大すると、
小さな正方形がモザイクのように集まり、画像を構成していることに気づく。この小
さな正方形が画素である。
画素の背面には、光の三原色である赤(Red)、緑(Green)、青(Blue)の三層が隠されてい
る。各層0～255で色が変わり、画素は、三色の輝度(どれくらい強く発するか)を組合
せることで、多彩な色を表現する。 [1]
■ 全体像
基本的なCNNは、畳み込み層、プーリング層、全結合層の3層から構成される。
畳み込み層と、プーリング層は、画像から特徴を抽出する​特徴抽出器​と呼ばれ、全結
合層は、2層によって抽出された特徴を元に画像の分類を行う​分類器​と呼ばれる。
1

2. 畳み込みニューラルネットワークの仕組み・特徴・応用について
2020年7月7日
嘉村 しょう
● 畳み込み層
畳み込み層では、画像に対しフィルタと呼ばれる区画を照射し、演算を行い、画像
から特徴量を抽出する。​抽出された画像は、特徴マップと呼ばれる。​特徴マップ作
成には、フィルタとストライドと呼ばれる技術が使われる。
◆ フィルタ
フィルタとは、画像データに照射する区画、並びに一連の処理を指す。フィル
タを画像データに照射し、演算することで、データの特徴量を抽出する。フィ
ルタには重みが設定されており、この値と画素の輝度を掛け、区画内で得た全
ての演算結果を足し上げる。​フィルタ内での演算処理を畳み込みと呼ぶ。​例え
ば、縦・横9画素の画像を、サイズ3のフィルタで畳み込む場合、以下の図のよ
うになる。フィルタは縦・横3画素の正方形で、全マス目の重みは1とする。説
明の簡略化の為、​赤、緑、青各層で輝度は考慮せず、縦・横の二次元で輝度を
表している。
サイズ3のフィルタのイメージ
1 1 1
1 1 1
1 1 1
2

3. 畳み込みニューラルネットワークの仕組み・特徴・応用について
2020年7月7日
嘉村 しょう
縦・横9画素の画像データのイメージ ​(数字は輝度を表す)
1 2 3 4 5 6 7 8 9
10 11 12 13 14 15 16 17 18
19 20 21 22 23 24 25 26 27
28 29 30 31 32 33 34 35 36
37 38 39 40 41 42 43 44 45
46 47 48 49 50 51 52 53 54
55 56 57 58 59 60 61 62 63
64 65 66 67 68 69 70 71 72
73 74 75 76 77 78 79 80 81
まず、最左端3行・3列に、フィルタを照射し、演算を行う。
フィルタの全マス目の値と、対応する画素の輝度を掛け、得られた9マスの値
を全て足す。薄青にハッチングした画素に、サイズ3のフィルタを重ね、演算
を行う。
サイズ3のフィルタを画像データに照射するイメージ
1 2 3 4 5 6 7 8 9
10 11 12 13 14 15 16 17 18
19 20 21 22 23 24 25 26 27
28 29 30 31 32 33 34 35 36
37 38 39 40 41 42 43 44 45
46 47 48 49 50 51 52 53 54
55 56 57 58 59 60 61 62 63
64 65 66 67 68 69 70 71 72
73 74 75 76 77 78 79 80 81
畳み込み演算
フィルタの重みに、輝度1, 2, 3, 10, 11, 12, 19, 20, 21を掛け、足し上げる。
1 × 1 + 1 × 2 + 1 × 3 + 1 × 10 + 1 × 11 + 1 × 12 + 1 × 19 + 1 × 20 + 1 × 21
= 1 + 2 + 3 + 10 + 11 + 12 + 19 + 20 + 21
= 99 ∴ 演算結果は99になる。
◆ ストライド
ストライドとは、フィルタをずらす幅を指す。ストライド1は、フィルタを右
に1画素ずらすことを意味する。ストライド後、再度フィルタを行い、以降、
画像データを採りつくすまで、繰り返す。
3

4. 畳み込みニューラルネットワークの仕組み・特徴・応用について
2020年7月7日
嘉村 しょう
フィルタを1画素ストライドするイメージ
1 2 3 4 5 6 7 8 9
10 11 12 13 14 15 16 17 18
19 20 21 22 23 24 25 26 27
28 29 30 31 32 33 34 35 36
37 38 39 40 41 42 43 44 45
46 47 48 49 50 51 52 53 54
55 56 57 58 59 60 61 62 63
64 65 66 67 68 69 70 71 72
73 74 75 76 77 78 79 80 81
畳み込み演算
フィルタの値に、輝度2, 3, 4, 11, 12, 13, 20, 21, 22を掛けて、足し上げる。
1 × 2 + 1 × 3 + 1 × 4 + 1 × 11 + 1 × 12 + 1 × 13 + 1 × 20 + 1 × 21 + 1 × 22
= 2 + 3 + 4 + 11 + 12 + 13 + 20 + 21 + 22
= 108 ∴ 演算結果は108になる。
● プーリング層
プーリング層では、畳み込み層で作成した特徴マップを縮小する。特徴マップか
ら、特に重要な特徴を残し、画像を圧縮する。最大値を採るマックス・プーリン
グ、平均値を採るアベレージ・プーリング等の手法があるが、ここでは最も一般的
なマックス・プーリングを解説する。特徴マップに対し、フィルタと同じ要領で、
プーリングサイズとストライドを設定し、最大値だけを残す。
例えば、縦・横5画素の特徴マップがあり、プーリング・サイズ縦・横2画素、ス
トライドを2画素を仮定した場合、以下の通りになる。
縦・横5画素の特徴マップに2画素のマックス・プーリング
100 108 116 124 132
140 148 156 164 172
180 188 196 204 212
220 228 236 244 252
260 268 276 284 292
マックス・プーリングの結果
薄青くハイライトした最大値4画素が抽出される。
148 164
228 244
4

5. 畳み込みニューラルネットワークの仕組み・特徴・応用について
2020年7月7日
嘉村 しょう
● 全結合層
最後の全結合層は、前2層で生成された特徴マップを1次元ベクトルに変換し、
ニューラルネットワークに入力を行う。先の縦・横5画素の特徴マップの場合、1
行25要素の変換される。
ベクトル化した縦・横5画素の特徴マップ
c(100,108,116,124,132,140,148,156,164,172,180,188,196,204,212,220,
228,236,244,252,260,268,276,284,292)
■ 特徴
CNNの特徴は、フィルタ設定が、自動で出来る点にある。CNN登場前は、分析者の過
去の経験と勘によって、フィルタサイズを決める必要があった。この為、認識精度
が、分析者の経験に依存していた。CNNは画像データから適切なフィルタ・サイズを
学習し、自動設定出来るようになった。[3]
尚、画像認識には、入力する画像の種類が重要になる。例えば、猫や犬の画像を認識
させる場合、正面から撮影した画像に加え、上下左右から撮影した画像も学習させる
ことで、精度が向上する。ところが、様々な角度から認識対象、特に動物を撮影する
のは、案外と難しい。インターネットにアップロードされている画像も偏りがあり、
様々な角度から撮影された画像が手に入らない場合も考えられる。そんな時は、デー
タ拡張(Data Augmentation)と呼ばれる手法が有効である。この手法は、同一画像を上
下左右にランダムに移動させたり、拡大・縮小することで、画像の種類を増やすこと
が出来る。
■ 応用
最後に応用例を紹介する。CNNは画像認識を中心に応用研究が公表されている。
● facebook Research Lab 「DeepFace」
14年、facebookは、DeepFaceと呼ばれる顔認識技術を開発した。DeepFaceの2つ
の画像の顔の識別精度は97.25％で、人間(97.53％)とほぼ互角だという。従来の顔
認識技術より25％精度が上がったとしている。DeepFaceは、3Dモデリング技術に
よって、別向きの顔画像を作り、共通ポイントを解析する。[3]
● コーネル大学の鳥類学研究所 「Merlin Bird ID」
15年、コーネル大学は、同大学応用科学学科・エンジニアリング学科、カリフォ
ルニア工科大学共同で、北米で一般的な400種の鳥を識別するMerlin Bird IDを開発
した。鳥は、動きが素早く、静止時と飛行時で形状が異なる為、学習が難しかっ
た。バードウオッチャーから提供された大量の画像を学習させ、識別可能になっ
た。現在は、アプリ化され、Appストア、Google Playで公開されている。[4]
App ストア Merlin Bird ID
Google Play Merlin Bird ID
● 韓国科学技術院ら 「K-Eye」
韓国科学技術院の研究チームとスタートアップ「UX Factory」は、低電力でAIアル
ゴリズムを実行する半導体チップCNNP(CNNプロセッサ)、およびCNNPを用いた
顔認識システム「K-Eye」を共同開発した。ウェアラブルタイプとドングルタイプ
を開発し、ウェアラブルは、 Bluetoothを介して、スマートフォンやスマート
5

6. 畳み込みニューラルネットワークの仕組み・特徴・応用について
2020年7月7日
嘉村 しょう
ウォッチに接続し操作し、ドングルタイプは、スマートフォンに差し込んで利用す
る。
デモ画像では、自動販売機での決済時に顔面認証を行う、警察官の胸元に装着し、
すれ違う人のデータを見える化する、自動車に搭載し、顔面認証で、鍵を開けると
いった活用事例が紹介されている。[5]
他にもCNNの画像認識は、防犯領域での応用が考えられる。例えば、空港の入国管理
局での国際指名手配犯、構内での不審人物特定等の応用が進んでいると考えられる。
6

7. 畳み込みニューラルネットワークの仕組み・特徴・応用について
2020年7月7日
嘉村 しょう
■ 参考文献
[1] だえうホームページ 画像データの構造・画素・ビットマップデータについて
解説 2019, 閲覧日 2020-7-5
​https://daeudaeu.com/programming/c-language/bitmap/
[2] キカガク KIKAGAKU 画像認識の基礎(PyTorch) 畳み込みニューラルネットワー
クの基礎, 2020, 閲覧日 2020-7-5
https://www.kikagaku.ai/tutorial/basic_of_computer_vision/learn/pytorch_image_processing
[3] 佐藤由紀子, Facebook、“ほぼ人間レベル”の顔認識技術「DeepFace」を発表, IT
media NEWS, 2014-3-19, 閲覧日 2020-7-5
https://www.itmedia.co.jp/news/articles/1403/19/news091.html
[4] KATIE COLLINS, Facial recognition for birds is here, WIRED(UK),
2015-6-8, 閲覧日 2020-7-5, (KATIE COLLINS, MIHO AMANO, HIROKO
GOHARA/GALILEO (訳) (2015) 鳥の「顔認識」システムを支えるのは、バー
ドウォッチ愛好家(動画あり)WIRED(JP)
https://wired.jp/2015/06/13/facial-recognition-for-birds/
[5] Seamless 韓国科学技術院ら、AIアルゴリズムを用いた顔認証システム「K-Eye
」を開発, 2017, 閲覧日 2020-7-5
https://shiropen.com/2017/06/16/25916/
Convolutional neural networks, ml4, 閲覧日 2020-7-5, (Kynd and Naoto Hieda (訳)
畳み込みニューラルネットワーク ml4a)
https://ml4a.github.io/ml4a/jp/convnets/
AIZINE 3分でわかりやすく解説！畳み込みニューラルネットワーク・CNNとは
2020, 閲覧日 2020-7-5
​https://aizine.ai/cnn-0417/
以上
7