メトリックラーニングを用いたバス乗客ODデータの推定に関する研究

Copyright © 2020 調和系工学研究室 - 北海道大学大学院情報科学研究院情報理工学部門複合情報工学分野 – All rights reserved.
メトリックラーニングを用いたバス乗客OD
データの推定に関する研究
A Study on Estimation of Bus Passenger OD
Data using Metric Learning
北海道大学大学院情報科学院
調和系工学研究室
修士2年久保田遼裕

乗合バス事業の経常収支率は平成27年以降悪化傾向にある[1]
よってダイヤや路線網などの見直しによる業務の改善が求められる
– そこでまず利用状況を把握するためにバス乗客ODデータの分析が必要
研究背景 2
平成27年~令和元年
その他地域
大都市部
計
[1] 国土交通省令和元年度乗合バス事業の収支状況について，https://www.mlit.go.jp/report/press/jidosha03_hh_000326.html

「バス停別乗降者数」: バス停毎に何人乗り降りしたか
「乗車区間別乗降者数」 : 乗車区間ごとに何人乗り降りしたか
バス乗客ODデータの例 3
バス停A バス停B バス停C バス停D
乗車人数 2人 1人 0人 0人
降車人数 0人 0人 1人 2人
バス停A バス停B バス停C バス停D
バス停A 0人 1人 1人
バス停B 0人 1人
バス停C 0人
バス停D
降車
乗
車

• 従来の乗客ODデータの収集方法の課題
– ICカード
• データ取得に追加料金が必要、全員が利用してるわけではない
– 調査員の派遣
• 人手が必要で高コスト
• そこでICカードに依存せず収集するシステムが開発されてきた
– カメラを用いたシステム
• 画像認識による乗降客のカウント[2]
• 画像認識による乗降客のカウント、属性判定や混雑計測[3]
– センサを用いたシステム
• 乗客のスマホのBluetooth信号を検知して混雑度を算出[4]
• 赤外線センサによる乗降客のカウント[5]
バス乗客ODデータの収集について 4
[2]技研トラステム株式会社， http://www.trastem.co.jp/product/passenger_counter.html
[3]株式会社Will Smart， https://willsmart.co.jp/solution/transportation/ai-congestion-visualize
[4]株式会社ナビタイムジャパン・関東自動車株式会社・株式会社みちのりホールディングス，https://corporate.navitime.co.jp/topics/pr/202101/12_5322.html
[5]ITSアライアンス株式会社，http://www.its-alliance.jp/counter.html

バス乗客ODデータの推定アルゴリズムの提案
• バス停別乗降者数を推定できるか検証
• 乗車区間別乗降者数を推定できるか検証
研究目的 5
バス停毎に乗車・降車の映像を撮影
バス停毎
のデータを処理
想定するシステム
乗降映像
データ
全バス停分まとめて
データを処理
バス停別
乗降者数データ
乗車区間別
乗降者数データ
バス停別
乗降者データ
バス停別乗降者数
映像データ
乗車区間別乗降者数
カメラ映像
※乗降映像データを始点から終点まで蓄積し、終点到着後に処理を行う

• 顔認識により推定する研究[6]はあるが実運用されてるシステムは少ない
• 乗車人物と降車人物を一致させる必要があるため難易度が高い
• 本研究ではメトリックラーニングを用いて人物の一致を試みる
– メトリックラーニングとは
• 同一人物のデータの距離を近く、同一人物でないデータの距離が遠くなるよう学習
• 本研究では人物の再識別(Person Re-Identification)において高精度なBoT[7]を使用
乗車区間別乗降者数について 6
基準の画像
遠ざける
[6]山田遊馬，廣森聡仁，山口弘純，東野輝夫，”路線バスにおけるカメラ画像を用いたOD計測システムの提案”，研究報告モバイルコンピューティングとパーベイ
シブシステム（MBL）vol93，pp1-8，2019
[7]Luo,Hao et al.” Bag of Tricks and A Strong Baseline for Deep Person Re-identification”，2019 IEEE/CVF Conference on Computer Vision and Pattern
Recognition Workshops (CVPRW)，pp1487-1495
近づける

• バス車内で収集した映像を用いてシステムの検証を行う
• 撮影日時:2020年9月9日 13:30-16:00
• 人数：研究グループを含めた46人
• 乗車口・降車口の2箇所にカメラを設置
• 実運用を想定した高さ・角度で、乗客が触れることができない位置に設置
• 仮のバス停と設定した三か所(札幌市中心部)を周回
• 乗降者数を変えながら、 24回の乗車映像と28回の降車映像を撮影
• 人同士のオクルージョンがあり、乗降者の全身が映る瞬間は少ない
検証データの収集 7
降車口カメラ映像例
乗車口カメラ映像例

バス乗客ODデータの推定アルゴリズム
1. 乗降口における個人識別
• バス停毎の処理
2. 乗車人物・降車人物の同一推定
• 全バス停分の処理
アルゴリズムについて 8
乗車口カメラ映像
降車口カメラ映像
人物特徴量
抽出器
乗車人物
全バス停分の処理
乗車区間別
乗降者数を出力
バス停別
1.乗降口における
個人識別
2.乗車人物・降車人
物の同一推定
降車人物
トリミングされた5FPSの画像
バス停毎の処理

2. 乗車人物・降車人物の同一推定
人物特徴量
抽出器
乗車人物
乗車区間別
バス停別
個人識別
物の同一推定
降車人物

1. 人物特徴量抽出器により、画像から人物の検出・特徴量の抽出
1. 最初に検出された人物をID1とする
2. 次フレーム以降で検出された人物と特徴量のユークリッド距離を計算
3. 設定した閾値以下のIDがあれば該当するIDの画像に割り当て、なければIDを新たに生成
乗降口における個人識別 10
[8] Alexey Bochkovskiy and Chien-Yao Wang and Hong-Yuan Mark Liao “YOLOv4: Optimal Speed and Accuracy of Object Detection”(2020), arXiv
特徴抽出
(BoT)
YOLOv4[8]で人物検出
(矩形座標やサイズでノイズは削除)
検出座標
検出フレーム
を付与
2048次元の
特徴量を付与 • 検出座標
• 検出フレーム
• 特徴量
• 検出座標
• 検出フレーム
• 特徴量

• 乗降口における個人識別
• 全バス停に適用することで、バス停毎に人物を識別する
乗降口における個人識別 11
乗車人物降車人物
バ
ス
停
A
バ
ス
停
バ
ス
停
B
C
D
バ
ス
停
E
バ
ス
停
F
バ
ス
停
A1 A2
B1 B2
C1
D1 D2
E1
F1 F2

2. 乗降人物・降車人物の同一推定
人物特徴量
抽出器
乗車人物
乗車区間別
バス停別
個人識別
物の同一推定
降車人物

• 乗車人物と降車人物の同一推定の処理
1. 始点から終点で識別された全人物で距離行列を作成
• 乗車人物𝑁人と降車人物𝑀人のN × 𝑀の行列
• 人物間の距離は1人に含まれる全画像を別の人物に含まれる全画像と総
当たりで計算したユークリッド距離の平均値
2. 乗車・降車に関するルールを適用
• 降車よりも乗車が後にならないように、該当する行列要素を∞で置換
3. ハンガリアン法により乗車・降車ペアを作成
• 作成された1つ乗車・降車ペアのバス停を乗車区間別乗降者数の一人分
とする
• 𝑁と𝑀に差がある場合、どちらか少ない方のペア数が作成される
乗車人物と降車人物の同一推定 13

• 乗車人物と降車人物の同一推定
• 全バス停の乗車・降車ペアを作成し、その合計を乗車区間別乗降者数とする
乗車人物と降車人物の同一推定 14
乗車人物降車人物
バ
ス
停
A
バ
ス
停
バ
ス
停
B
C
D
バ
ス
停
E
バ
ス
停
F
バ
ス
停
A1 A2
B1 B2
C1
D1 D2
E1
F1 F2
乗車・降車ペア

アルゴリズムの検証のため実際よりシンプルなデータで実験を行う
• 始点から終点まで11人・22人の利用者
• 平日昼間のような、混雑がある程度緩和した状況を想定
バスで撮影したデータの実験における用途
• 46人分のデータ:2つ学習済みモデルの個別認識の閾値の探索と22人のバス停乗降映像デー
タの作成
• 35人分のデータ:訓練データとして、新たに3つのモデルの作成
• 11人分のデータ:新たな3つのモデルの個別認識の閾値の探索と11人のバス停乗降映像データの作成
特徴抽出で使用するモデル
• Market-1501学習済みモデル
• DukeMTMC-ReID学習済みモデル
• バスデータモデル
• Market-1501ファインチューニングモデル
• DukeMTMC-ReIDファインチューニングモデル
実験設定 15
バスで撮影したデータ
既存データと写り方に差があるため学習し直す
Market-1501[9] DukeMTMC-ReID[10]
[9] Liu, Weiyang et al.” Scalable Person Re-identification: A Benchmark”，Computer Vision, IEEE International Conference on，2015
[10]Ristani,Ergys et.” Performance Measures and a Data Set for Multi-Target, Multi-Camera Tracking”，European Conference on Computer Vision workshop
on Benchmarking Multi-Target Tracking，2016
新
た
に
作
成

• 目的
• バス停毎に乗降者を個人識別した人数の検証
• 手法
• 乗降口における個人識別で乗降人数を推定し、バス停毎の絶対誤差・合計の絶
対誤差と、誤差の発生しやすい箇所を確認
• 評価
• 乗降毎の推定した乗降人数と実際の乗降人数の絶対誤差
• データ
• 11人のバス停乗降映像データにおける乗降各5回
• 22人のバス停乗降映像データにおける乗降各7回
実験1 16
バス停 1-1 1-2 1-3 1-4 1-5 1-6 1-7 1-8 1-9
乗車人数 2 2 4 1 2 0 0 0 0
降車人数 0 0 0 2 0 1 5 2 1
バス停 2-1 2-2 2-3 2-4 2-5 2-6 2-7 2-8 2-9 2-10 2-11
乗車人数 2 2 7 2 1 4 4 0 0 0 0
降車人数 0 0 0 2 0 7 1 4 5 2 1
※乗客1人に付き、一回の乗り降りを行う

• 11人のバス停データのバス停毎の絶対誤差
• 概ね絶対誤差が少なく推定出来ている
(目視で人物ごとに識別できていることを確認した)
• 一部誤差が発生しやすいパターンがある
実験1 実験結果 17
乗車5回
乗車バス停 1-1 1-2 1-3 1-4 1-5
実際の乗車人数 2 2 4 1 2 合計絶対誤差
Market-1501学習済みモデル 0 1 0 0 1 2
Market-1501ファインチューニングモデル 0 0 0 0 0 0
DukeMTMC-ReID学習済みモデル 0 0 0 0 1 1
DukeMTMC-ReIDファインチューニングモデル 0 0 1 0 0 1
バスデータモデル 1 0 0 0 2 3
降車バス停 1-4 1-6 1-7 1-8 1-9
実際の降車人数 2 1 5 2 1 合計絶対誤差
Market-1501学習済みモデル 0 0 2 0 0 2
Market-1501ファインチューニングモデル 0 0 1 0 0 1
DukeMTMC-ReID学習済みモデル 0 0 1 0 0 1
DukeMTMC-ReIDファインチューニングモデル 0 0 0 0 0 0
バスデータモデル 0 0 1 0 0 1

• 22人のバス停データにおけるバス停毎の絶対誤差
• 11人のデータより絶対誤差が同等または増加した
• 一部誤差が発生しやすいパターンがある
乗車バス停 2-1 2-2 2-3 2-4 2-5 2-6 2-7
実際の乗車人数 2 2 7 2 1 4 4 合計絶対誤差
Market-1501学習済みモデル 1 0 0 0 0 0 0 1
DukeMTMC-ReID学習済みモデル 1 0 3 0 0 1 0 5
降車バス停 2-4 2-6 2-7 2-8 2-9 2-10 2-11
実際の降車人数 2 7 1 4 5 2 1 合計絶対誤差
Market-1501学習済みモデル 0 0 0 1 2 0 0 3
DukeMTMC-ReID学習済みモデル 0 0 0 0 1 0 0 1

輝度の変化や他人の映り込みで、同一人物が別人として認識される
身体の向きにより同一人物が別人として、別人が同一人物として認識される
車内を移動する人を降車人物として認識してしまう
実験1 誤差が発生しやすいパターン 19
実際は同一人物
実際は同一人物
違う人物だが同じ人物として認識
人物A 人物A 人物A
人物A 人物A
人物A
人物A
人物B 人物B
人物B
人物B
人物B 人物B 人物C 人物C

• 目的
• 手法
• モデル毎に乗車人物と降車人物の同一推定を用いて乗車・降車ペアを出力
• 評価
• データ
• 11人のバス停乗降映像データ
実験2 20
𝑅𝑒𝑐𝑎𝑙𝑙(再現率) =
𝑇𝑃 正解した乗車・降車ペア数
𝑇𝑃 + 𝐹𝑁 実際の全乗車・降車ペア数
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛(適合率) =
𝑇𝑃 + 𝐹𝑃 推定した全乗車・降車ペア数
𝐹_𝑚𝑒𝑎𝑠𝑢𝑟𝑒(F値) =
2 ∗ 𝑅𝑒𝑐𝑎𝑙𝑙 ∗ 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛
𝑅𝑒𝑐𝑎𝑙𝑙 + 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛 ×
人物が異なっても、乗車・降車バス停のみで正解と
なる問題を防ぐため、人物の検出段階で人物ラベル
をアノテーションしている
降車バス停:8
人物ラベル:F
降車バス停:8
人物ラベル:C
乗車バス停:3
人物ラベル:C
実際の乗車・降車ペアが[人物ラベル:C,乗車バス停:3,降車バス停8]の例
FP

• 目的
• 手法
• モデル毎に乗車人物と降車人物の同一推定を用いて乗車・降車ペアを出力
• 評価
• データ
実験2 21
𝑅𝑒𝑐𝑎𝑙𝑙(再現率) =
𝑇𝑃 + 𝐹𝑁 実際の全乗車・降車ペア数
𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛(適合率) =
𝑇𝑃 + 𝐹𝑃 推定した全乗車・降車ペア数
𝐹_𝑚𝑒𝑎𝑠𝑢𝑟𝑒(F値) =
2 ∗ 𝑅𝑒𝑐𝑎𝑙𝑙 ∗ 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛
𝑅𝑒𝑐𝑎𝑙𝑙 + 𝑃𝑟𝑒𝑐𝑖𝑠𝑖𝑜𝑛
人物が異なっても、乗車・降車バス停のみで正解と
なる問題を防ぐため、人物の検出段階で人物ラベル
をアノテーションしている
降車バス停:8
人物ラベル:F
降車バス停:8
人物ラベル:C
乗車バス停:3
人物ラベル:C
実際の乗車・降車ペアが[人物ラベル:C,乗車バス停:3,降車バス停8]の例
TP

• 11人のバス停データの精度評価
モデル Recall Precision F_measure
Market-1501学習済み 0.909 0.909 0.909
Market-1501ファインチューニング 0.818 0.889 0.857
DukeMTMC-ReID学習済み 1.000 1.000 1.000
DukeMTMC-ReIDファインチューニング 0.909 0.909 0.909
バスデータ 1.000 0.917 0.957
DukeMTMC-ReID学習済みモデルの精度が最も高く
どのモデルでも約9割の精度が得られた

• DukeMTMC-ReID学習済みモデルの11人のバス停データの乗車区間別乗降者数
実際の乗車区間別乗降者数と推定結果が一致
1-1 1-2 1-3 1-4 1-5 1-6 1-7 1-8 1-9
1-1 1 1
1-2 2
1-3 4
1-4 1
1-5 2
1-6
1-7
1-8
1-9
乗
車
し
た
バ
ス
停
降車したバス停

実験結果
• 22人のバス停データの精度評価
モデル Recall Precision F_measure
Market1501学習済み 0.682 0.682 0.682
DukeMTMC-ReID学習済み 0.909 0.870 0.889
• DukeMTMC-ReID学習済みモデルの方が優れておりMarket-1501学習済みモデル
と比べると約20%の精度の差
• どちらとも11人のデータと比べると精度が下がった

22人のバス停データの乗車区間別乗降者数の比較(DukeMTMC-ReIDの推定人数 / 実際の人数)
2-1 2-2 2-3 2-4 2-5 2-6 2-7 2-8 2-9 2-10 2-11
2-1 1/2 1/0
2-2 2/2
2-3 1/0 7/7
2-4 1/1 1/1
2-5 1/1
2-6 4/4
2-7 4/4
2-8
2-9
2-10
2-11
乗
車
し
た
バ
ス
停
降車したバス停
:誤判定箇所
• 乗車2-3と降車2-6の様に数値上正しく見えても、間違えた推定結果を含んでいた
• 個人識別で誤って識別された人物を含む箇所は間違えが多くなった
:個人識別で誤識別があったバス停
(同一人物が別人として認識)

実際の運用を考慮した位置・角度にカメラを設置し、オクルージョン等が起
こる環境で実験を行った結果、DukeMTMC-ReID学習済みモデルの22人の
データの場合ではバス停別乗降人数に計6人の差があるが、乗車区間別乗降者
数では約90％の精度が得られた．
ICカードの保有率が約90％[10]であることを考えると、同等の量のバス乗客
ODデータが収集できる可能性がある．
しかし昼間のみの撮影を行ったため明るさの変化や、より多くの乗降者数に
対応していく必要がある．
考察 26
[10]川崎市高齢者外出支援乗車事業に関する市民アンケート調査報告書 v03，https://www.city.kawasaki.jp/350/cmsfiles/contents/0000118/118295/dai4kaiariken2.pdf

• バス乗客ODデータの推定アルゴリズムの検証を行った
• バス停別乗降者数の推定を行い、誤差が発生しやすいパターンを確認した
• 乗車区間別乗降者数の推定を行い、人数の違いによる精度の比較とシンプ
ルなデータにおいて精度の高い推定ができるモデルがあることを確認した
• 実環境への第一段階として、バス乗客ODデータの推定システムの可能性
を示した
まとめ 27
研究業績
• 国内学会
• 久保田遼裕，横山想一郎, 山下倫央, 川村秀憲，弓崎潔, 佐藤好美:バス乗客ODデータの収集に向けた同一人物判
定手法の検証，情報処理北海道シンポジウム2020，オンライン開催(2020)
• 発表予定
• 久保田遼裕，横山想一郎, 山下倫央, 川村秀憲，弓崎潔, 佐藤好美:メトリックラーニングを用いたODシステムの
開発，社会システムと情報技術研究ウィーク2021(RST2021)，虻田郡留寿都村(2021)

メトリックラーニングを用いたバス乗客ODデータの推定に関する研究

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie メトリックラーニングを用いたバス乗客ODデータの推定に関する研究

Ähnlich wie メトリックラーニングを用いたバス乗客ODデータの推定に関する研究 (20)

Mehr von harmonylab

Mehr von harmonylab (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (20)

メトリックラーニングを用いたバス乗客ODデータの推定に関する研究

Hinweis der Redaktion