セマンティックセグメンテーションによる路面画像の積雪状況認識に関する基礎研究

Copyright © 2020 調和系工学研究室 - 北海道大学大学院情報科学研究院情報理工学部門複合情報工学分野 – All rights reserved.
セマンティックセグメンテーションによる
路面画像の積雪状況認識に関する基礎研究
2021/02/03
北海道大学工学部
情報エレクトロニクス学科情報理工学コース
複雑系工学講座調和系工学研究室
学部4年今原智広

• 積雪地帯における路面の融雪には
ロードヒーティングが広く活用されている
– ロードヒーティング
道路・歩道・駐車場などの路面の雪を融かしたり、
凍結を防ぐために路面の温度を上げる施設
• ロードヒーティングは燃料を多量に消費
– 札幌市雪対策関連予算の約10％をロードヒーティ
ング関連費用が占める[1]
• 無駄な稼働を減らす制御が必要
研究背景 2
[1]柴田雄史，ロードヒーティングによる冬季路面管理におけるコスト縮減の取り組み，第30回ゆきみらい研究発表会（2018）

• 近年では路面状態を直接観測することで効率的な制
御を試みた事例が存在
– 深層学習による路面画像からの積雪認識[2]
• １m四方の路面を撮影、撮影した路面画像の積雪割合を深層学
習で認識
– 一定の閾値を超えた場合に熱源を稼働させる
• 2 月下旬から 4 月下旬までの札幌市内において熱源の稼働時
間を 45%ほど削減可能
• 積雪認識範囲が狭く設置位置の決定が難しい
路面画像を用いたロードヒーティング制御 3
[2]横山想一郎, 山下倫央, 川村秀憲, 武田清賢, 横川誠 : ディープラーニングによる路面画像認識を用いたロードヒーティン
グの制御システム, 第32回人工知能学会全国大会 (JSAI), 4F2-OS-11d-01, 鹿児島 (2018)

• 熱源からの距離、日当たりなどによる環境的要因で
起こる積雪の偏りを考慮する必要がある
– 撮影した1地点を融雪領域全体の積雪状態として利用しなく
てはならない
• 本研究
– より広い範囲を写した俯瞰画像の積雪判定
認識範囲が狭いことの課題 4
路面付近で撮影された画像俯瞰画像

1. 一定時間ごとに俯瞰画像をセグメンテーション
2. セグメンテーション結果から積雪割合を算出
3. 積雪割合が一定の閾値を超えた場合に熱源を稼働
– 熱源：ロードヒーティング機の熱源
– 積雪、非積雪が極端な路面画像を間違えない制御
研究概要 5
俯瞰画像
セグメンテー
ション
セグメンテーション結果
積雪割合 =
積雪ラベルのピクセル数
（積雪ラベル＋非積雪ラベル）のピクセル数

• 俯瞰画像
– 融雪対象である領域を高い位置から撮影した画像
より広い範囲を撮影し積雪状況を認識した方が、融雪対象領域内
の積雪の偏りの影響が少なく効果的な制御となる
• 俯瞰画像を用いるうえでの課題
– 路面画像の認識難易度が高い
• 認識の障害になる物体（車、建物など）の多さ
俯瞰画像の利用 6
認識の障害となるものが映り込んだ画像例

• 本研究ではセマンティックセグメンテーショ
ンタスクとして積雪状況認識を考える
– セマンティックセグメンテーションとは
• 画像内のすべてのピクセルに意味的なラベルやカテゴリ
を分類する手法
• 自動運転や医療用画像処理など幅広い利用
– セマンティックセグメンテーションを用いる理由
• 回帰で求めるよりも省データで対応可能
• 回帰の場合非ロードヒーティング設置領域に適切にマス
クの必要、障害となる領域も含めて認識するとマスクの
手間が減少
積雪状況認識問題 7

• 撮影場所
– 北海道大学大学院情報科学研究院棟駐車場
• 同棟 9階から路面を撮影
• 撮影期間：2020年11月20日～ 2021年1月25日
• ラベリング方法
– 積雪・非積雪・障害物の3分類
– 合計850件のラベル付きデータを作成
データセット作成 8
積雪
非積雪
障害物

• ロードヒーティングはアスファルト面にのみ設置と
想定
• 非積雪ラベルはアスファルト面にのみ付与される
画像のラベリング 9
砂利面は
障害物ラベル
積雪
非積雪
障害物

139
25
10 4 3
45
7
37
62
105
413
0
50
100
150
200
250
300
350
400
450
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
画像枚数
積雪割合
• 現状のデータセットは積雪割合分布が均等ではない
– 積雪割合分布の両端を間違えない制御
データセット詳細 10
積雪割合枚数分布
積雪割合 =
積雪ラベルのピクセル数
（積雪ラベル＋非積雪ラベル）のピクセル数

• Google DeepLab V3+[3]を利用
– Encorder-Decorderモデルの拡張
– Atrous空間ピラミッドプーリングとデコーダモジュー
ルの両方に深さ方向に畳み込みを分解するDepthwise
Separable Convolutionを適用
• Semantic-segmentationのタスクで優秀なスコア
– 従来の積雪状況認識でも一定の成果
積雪状況認識モデル 11
[3] Chen, L.-C., Zhu, Y., Papandreou, G., Schroff, F. and Adam, H.: EncoderDecoder with Atrous Separable Convolution for Semantic
Image Segmentation, European Conference on Computer Vision (ECCV), pp. 801–818 (2018).

1. 俯瞰画像の積雪状況認識
– 認識結果が熱源制御に利用できるかの検証
2. 分割画像の積雪状況認識
– 未知の地点に対する認識モデルの精度を検証
実験 12

– 認識結果が熱源制御に利用できるかの検証
実験 13

• データ数
– Train：680 Validation：170
• 学習設定
俯瞰画像の積雪状況認識 14
ステップ数 10000
ミニバッチサイ
ズ
4
最適化手法 Momentum SGD
学習率初期値：0.0001
0.0001
∗ (1 − 𝑠𝑡𝑒𝑝/10000))0.9
0
1
2
3
4
5
0 2000 4000 6000 8000 10000
loss
step
validation loss train loss
学習推移

• 評価にはIoUを利用
• 路面画像に3ラベル(積雪、非積雪、障害物）
それぞれのIoUを算出
– 枚数分布の調査
セグメンテーション結果評価 15

3
15
91
61
0
20
40
60
80
100
120
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
画像枚数
IoU
24
2 3 6 10
20
27 32
20
9
0
20
40
60
80
100
120
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
画像枚数
IoU
6 1 2 3 4 8 12
45
59
0
20
40
60
80
100
120
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
画像枚数
IoU
セグメンテーション結果に対するIoU分布 16
積雪ラベル非積雪ラベル
障害物ラベル
• 全170枚の枚数分布

3
15
91
61
0
20
40
60
80
100
120
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
画像枚数
IoU
24
2 3 6 10
20
27 32
20
9
0
20
40
60
80
100
120
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
画像枚数
IoU
6 1 2 3 4 8 12
45
59
0
20
40
60
80
100
120
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
画像枚数
IoU
セグメンテーション結果に対するIoU分布 17
積雪ラベル非積雪ラベル
障害物ラベル
• 全170枚の枚数分布

12/15 7:00撮影
積雪IoU = 0.91
非積雪IoU = 0.57
障害物IoU = 0.92
積雪ラベルと障害物ラベル判定例 18
正解ラベル推定結果
元画像
積雪
非積雪
障害物

非積雪ラベル判定例 19
積雪
非積雪
障害物
このような場合でも積雪割合には影響はほぼない
推定結果
正解ラベル
例）12/17 12:00 撮影
非積雪ラベル IoU = 0.11
ほとんど
非積雪領域がない

• セグメンテーション結果が熱源制御に与える影響を
評価
制御方法：セグメンテーションの結果画像の積雪割合が設
定した閾値を超えたら熱源を稼働
– 閾値を設定しての評価
– 極端な外れ値がなければ制御に問題はない
• それぞれ170枚の正解データと推定結果の積雪割合を
用いて混同行列を作成
熱源制御についての評価 20

熱源制御評価のための混同行列 21
正解ラベルの積雪割合
推定結果の積雪割合
推定結果と正解ラベルの値の範囲が一致する画像枚数が多い

• 閾値を用いた判定
– 例）閾値 = 0.5の場合
• 「路面画像の積雪割合」＞0.5 ならば積雪
• 「路面画像の積雪割合」≦0.5 ならば非積雪
– 路面画像が積雪ならば熱源を稼働

閾値＝0.5の時の
誤判定は9枚
TN FN
FP TP
TN FN FP TP
0.5 41 1 8 120
閾値＝0.5と
して境界を
表示
積雪割合＞0.5
が正例

TN FN FP TP
0.0 30 0 6 134
0.1 38 1 2 129
0.2 41 0 0 129
0.3 41 0 0 129
0.4 41 1 0 128
0.5 41 1 8 120
0.6 46 1 4 119
0.7 58 1 2 109
0.8 69 7 5 89
0.9 93 4 3 70
それぞれの閾値による分類
全170枚
誤判別は閾値=0.8のときの12枚が最大
9割以上の精度で判別可能
制御に利用できる精度

– 認識結果がロードヒーティング制御に利用できる
かの検証
実験 25

• ある1地点に対する学習のみで未知の地点に対する認
識モデルの精度を検証
• 収集した画像を左右で分割し，擬似的に別の地点での
撮影画像とみなす
• 一方を訓練データ，他方をテストデータとして精度を
検証
分割画像の積雪状況認識 26
正解ラベル

• 学習設定
分割画像の積雪状況認識 27
ステップ数 10000
ミニバッチサイ
ズ
4
最適化手法 Momentum SGD
学習率初期値：0.0001
0.0001
∗ (1 − 𝑠𝑡𝑒𝑝/10000))0.9
左半分をTrainとした場合の学習推移
0
0.5
1
1.5
2
2.5
3
0 2000 4000 6000 8000 10000
loss
step
0
0.5
1
1.5
2
2.5
3
0 2000 4000 6000 8000 10000
loss
step
右半分をTrainとした場合の学習推移

116
6 1 4
32 29
118
249 233
1
0
100
200
300
400
500
600
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
画像枚数
IoU
238
38 33
96
122
72
99
78
32
5
0
100
200
300
400
500
600
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
画像枚数
IoU
45
230
477
93
5
0
100
200
300
400
500
600
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
画像枚数
IoU
• IoUが全体的に低下傾向
– 未知の障害物に対する推定結果に誤りが発生しやすい
左半分が訓練データの場合 28
積雪ラベル
非積雪ラベル
障害物ラベル
訓練データに含まれない
障害物を誤判別

左半分が訓練データの場合 29
TN FN FP TP
0.0 61 0 92 697
0.1 158 1 20 671
0.2 169 1 11 669
0.3 183 1 1 665
0.4 185 3 0 662
0.5 188 5 40 617
0.6 192 3 41 614
0.7 228 24 31 567
0.8 290 45 28 487
0.9 390 58 24 378
• 分割前画像を用いた実験と比べて誤判定枚
数割合が増加
• 極端な積雪割合な画像に対しては大きな外
れ値はない
全850枚

10
46
150
234
160
75 67
88
20
0
50
100
150
200
250
300
350
0 0.10.20.30.40.50.60.70.80.9 1
画像枚数
IoU
188
40 43
78
105
73
121
92
21
1
0
50
100
150
200
250
300
350
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
画像枚数
IoU
121
8 2 6
49 65
188
283
88
0
50
100
150
200
250
300
350
0 0.1 0.2 0.3 0.4 0.5 0.6 0.7 0.8 0.9 1
画像枚数
IoU
• こちらでは障害物ラベルで顕著なIoU低下
– 右半分の障害物は主に建物しかない
– 左半分では砂利面なども障害物ラベルとしてお
り，障害物の多様性がある
右半分が訓練データの場合 30
積雪ラベル
非積雪ラベル
障害物ラベル
左半分の画像例

右半分が訓練データの場合 31
TN FN FP TP
0.0 40 0 99 711
0.1 132 14 13 691
0.2 153 7 12 678
0.3 163 11 5 671
0.4 175 12 5 658
0.5 202 11 24 613
0.6 232 35 7 576
0.7 267 62 11 510
0.8 304 67 27 452
0.9 391 71 24 364
全850枚
• 分割前画像を用いた実験と比べて誤判定枚
数割合が増加

• 熱源制御を想定した閾値を用いた路面画像の
積雪判定には利用可能な精度
• 分割画像の判定では積雪判定が閾値設定に
よっては誤判別が目立ち、セグメンテーショ
ンの精度向上が必要
– データセットの拡充
– パラメータ見直し
– 別セグメンテーションモデルの検討
まとめ 32

セマンティックセグメンテーションによる路面画像の積雪状況認識に関する基礎研究

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie セマンティックセグメンテーションによる路面画像の積雪状況認識に関する基礎研究

Ähnlich wie セマンティックセグメンテーションによる路面画像の積雪状況認識に関する基礎研究 (20)

Mehr von harmonylab

Mehr von harmonylab (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (20)

セマンティックセグメンテーションによる路面画像の積雪状況認識に関する基礎研究