ドラレコ + CV = 地図@Mobility Technologies

Mobility Technologies Co., Ltd.
ドラレコ + CV = 地図@Mobility Technologies
株式会社Mobility Technologies
宮澤⼀之

宮澤⼀之
AI技術開発部
グループリーダー
株式会社Mobility Technologies
経歴
2019年4⽉〜2020年3⽉
AI研究開発エンジニア＠DeNA
2010年4⽉〜2019年3⽉
主任研究員@三菱電機
2010年3⽉
博⼠（情報科学）@東北⼤学
自己紹介
2
@kzykmyzw

3
h"ps://go.mo-t.com/

Mobility Technologies ｜ Mission Vision
4
移動で⼈を幸せに。

Mobility Technologiesの取り組み
5
1. 配⾞関連事業
2. 広告決済事業
3. 乗務員向け
ソリューション事業
4. スマート
ドライビング事業
5. 次世代向けR&D事業
モビリティDXカンパニーとして各種事業を展開
タクシー
（基点）
交通
社会
事
業
領
域
の
拡
が
り
事業領域実現したい姿
社会課題への取り組み
交通課題の解決
タクシー産業の課題解決

Mobility Technologiesの取り組み
6
モビリティDXカンパニーとして各種事業を展開
配⾞関連事業広告決済事業
乗務員向け
ソリューション事業
スマート
ドライビング事業
次世代向け
R&D事業
※記載されている会社名や商品名等は、各社の商標⼜は登録商標です。(出願中含む)

7
h"ps://drive-chart.com/

DRIVE CHARTのCV技術に関する直近の発表
8
h"ps://scramble.connpass.com/event/201414/
h"ps://speakerdeck.com/takarasawa_/dsds-number-2-drive-chart

9
h"ps://mo-t.com/news/pr/2021/07/28/761da212-3d73-5b87-9ﬀ1-c483f1e7ec5d/

n ⾼度な交通社会の実現に向け、⾼精細な情報を迅速に地図に反映させることが求められている
n 特殊な計測専⽤⾞両や⼈海戦術に頼ったこれまでのやり⽅では時間とコストがかかりすぎる
これからの地図は「鮮度」が重要
10
⾸都⾼技術株式会社資料より引⽤
h"ps://www.infradoctor.jp/details/detail20190313.pdf
©OpenStreetMap contributors
動的情報
準動的情報
準静的情報
静的情報
Google LLC資料より引⽤
https://www.google.com/streetview/explore/

ドラレコ映像 + CVで道路変化情報を⾃動抽出
11
ドラレコ＋CV 地図道路変化情報
©OpenStreetMap contributors ©OpenStreetMap contributors
地
図
会
社
n ドラレコ映像から検出した物体を地図と⽐較し、現況が地図から変化している箇所を抽出
n 抽出した情報を地図会社に知らせることで、地図メンテの低コスト化と地図の⾼鮮度化を実現

12
DRIVE CHARTをはじめとする
データ
ソフトウェアエンジニアリング
全てをカバーする
技術⼒
GO/JapanTaxi/MOVで培ったモビリティに関する
ドメイン知識

13
h"ps://mo-t.com/news/pr/2020/04/22/211827cd-343b-5398-b358-987d4c3e86f1/

システム構成図
14
DRIVE
CHART
マップ
マッチ
動画取得
道路計算
位置
位置格納
動画格納
物体検出
位置
推定
物体
変化抽出
地図
変化情報
動画
AWS Batch
S3
Lambda
Lambda
TypeScript
CI / CD
by
分析・開発
出典：ドライブレコーダの動画を使った道路情報の⾃動差分抽出

対象物の検出デモ（標識・信号機）
15
実際のDRIVE CHARTの映像とは異なります

対象物の検出デモ（路⾯ペイント）
16

n 物体検出で得られたBBOXをクロップし、後処理で内容を読み取る
n 画像分類および⽂字検出ベースの2種類のアプローチを併⽤
標識の内容読み取り
17
画像分類
⽂字検出
20km/h
30km/h
40km/h
50km/h
60km/h
…
⽂字検出ベース⼿法による読み取り結果例

n 全てのLED型標識が点灯しているわけではなく、消灯しているものも多い
n ⼀般にビデオカメラでLED型標識を撮影すると、LEDの点滅周期が映像に現れる
厄介な事例 ~可変標識（LED型）~
18
h"ps://twi"er.com/jpn_roadsignbot

n LED型標識の点灯・消灯を判定し、点灯している場合は内容を読み取る
n 点灯しているフレームの中から最も読み取りに適していると思われるフレームを選択
LED型標識の内容読み取り
19
80
80
80
物体検出
物体検出
物体検出
物体検出
状態分類
状態分類
状態分類
状態分類
消灯
点灯
消灯
点灯点灯消灯判定
最適フレーム
選択
80km/h
トラッキングによる
グルーピング
内容読み取り

読み取りに適したフレームの選択
20
検出されたBBOX
最適フレーム

n Visual SLAMを使って各フレームにおけるカメラの外部パラメータを推定
n 検出した物体の3次元座標を三⾓測量で求め、GPS情報と組み合わせて緯度軽度に変換
位置推定
21

位置推定結果例
22

n 新東名⾼速を⾛⾏した⾞両約250台から映像を収集（総距離約570km）
n 速度標識を対象としてドラレコからの検出結果を地図と⽐較し、各標識について変化なし、
規制内容更新、撤去、新規設置のいずれかを判定
n 1つの標識あたり5回⾛⾏した結果を統合して判断
定量評価結果例
23
対象標識数判定正解数再現率
変化なし 533 519 97.37%
規制内容更新 190 189 99.47%
撤去 5 5 100.0%
新規設置 36 36 100.0%

その他の開発中アイテム例
24
幅員計測のための⾛⾏可能領域抽出

まだまだ課題は多い…
25
https://twitter.com/nyamin998/status/1150280203236569090?s=20
天
⼀
よ
り
も
厄
介
オ
レ
オ
レ
標
識
ほ
ぼ
⾒
え
な
い
LED
消
灯
標
識
＠
ト
ン
ネ
ル
現
実
を
忠
実
に
コ
ピ
@
す
る
写
り
込
み
よ
く
わ
か
ら
な
い
謎
の
物
体
可
能
性
は
無
限
⼤
指
定
⽅
向
外
進
⾏
禁
⽌

n 本⽇ご紹介したプロジェクト以外でもCVエンジニアを募集中です
n 気軽なカジュアル⾯談も⼤歓迎ですので以下リンクやTwitter DM等からご連絡ください！
こんな課題を（？）⼀緒に解決してくれる仲間募集中！
26
h"ps://hrmos.co/pages/mo-t/jobs?category=1342449154655301632

n 最先端のCV技術をフル活⽤し、⾝近な社会課題の解決に貢献できる
n CVだけでなく様々な専⾨家の集まりの中で、幅広いスキルが獲得できる
n ⾃分のWILLに合わせた成⻑をサポートしてくれる
最後に… CVエンジニアとしてのMoTの魅⼒
27
• 社会課題の解決を⽬的とした⼤規模な商⽤サービスの最重要コア技術としてCVを駆使できる
• 研究開発から実際のサービスへの落とし込み、運⽤まで幅広く経験できる
• @yu4uや@hirotomusikerを始めとする有名CVerが多数在籍しているのに加え、データサイエン
ティスト（Kaggle Grandmaster x 1, Master x 8）やMLOpsエンジニア、バックエンドエンジニア
などAIの社会実装に必要な⼈材が全⽅位で揃っている
• 社内勉強会を定期開催しているほか、学会参加費や⾃⼰研鑽のためのクラウド費⽤などをサポート
• サポートの仕組みは固定的でなく、メンバーの意⾒を吸い上げながら随時ブラッシュアップ

n MoTニュースリリース
・ゼンリンとMobility Technologies、タクシーやトラックの映像データから道路変化情報を⾃動抽出し⾼鮮度な地図情報のメンテナンスに活⽤
n MoT公式note
・⾃動運転・スマートシティの実現に向けた“次世代のデータ活⽤基盤”を開発--MoTのデータから新たな価値を⽣み出す「KUUグループ」
・“AI技術の社会実装”ができる環境はそう多くない。チャレンジングなプロジェクトだから味わえる⾯⽩さ。
n MoTテックブログ
・ドラレコ映像を使った地図メンテナンスを⽀えるコンピュータビジョン技術
n 講演など
・ドライブレコーダの動画を使った道路情報の⾃動差分抽出, DeNA TechCon 2021
・Can We Make Maps from Videos? ~From AI Algorithm to Engineering for Continuous Improvement~, DeNA TechCon 2020
・Geolocation of Traﬃc Lights and Signs Using Dashcam: Towards Low-Cost Map Maintenance, NVIDIA GTC 2020
・ドライブレコーダ映像からの3次元空間認識, MOBILITY:dev 2019
本プロジェクトに関する参考資料
28

ドラレコ + CV = 地図@Mobility Technologies

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie ドラレコ + CV = 地図@Mobility Technologies

Ähnlich wie ドラレコ + CV = 地図@Mobility Technologies (20)

Mehr von Kazuyuki Miyazawa

Mehr von Kazuyuki Miyazawa (9)

ドラレコ + CV = 地図@Mobility Technologies