2019年2月21日開催 Ltech#5 LIFULL HOME'S 機械学習Night2　 ～若手エンジニアが語る機械学習事例～ AI戦略室 データサイエンティスト 椎橋怜史 ・LIFULLの機械学習開発事例 ❝間取り図を解析して３Dモデルを作る❞ ・将来の展望

1. 機械学習を用いた間取り画像の自動解析
AI戦略室
椎橋怜史
2019/02

2. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
自己紹介
• 椎橋 怜史 （しいばしさとし）
• 2016年4月 LIFULL 新卒入社
• データサイエンティスト
• データ分析、機械学習開発を担当
Qiita: @shiibass
Twitter: @shiibass
興味ある分野
• 量子コンピュータ
• 数理最適化
• 強化学習
• ゲーム理論

3. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
今日はLIFULLの機械学習開発事例を紹介しま
す

4. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
4
間取り図を解析して３Dモデルを作る
間取り図
物体認識・間取り構造推定
参考論文“Raster-to-Vector:
Revisiting Floorplan
Transformation”
〇m
縮尺・長さ推定
部屋の３Dモデル
その他技術

5. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
間取り画像の教師データ作成
間取り画像→テキストデータ（座標とラベル）
515,912.,657,930,balcony
583,133,638,152,bathroom
661,104,758,247,bathtub
204,36,343,262,bedroom
5
１０００枚ほど

6. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
人間の骨格認識技術を応用する
Pose Estimation（骨格認識）技術
どこに人間のどの部位があるかをそれぞれ学習している
Human pose estimation via Convolutional Part Heatmap Regressionから抜粋 6

7. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
こういうの
Human pose estimation via Convolutional Part Heatmap Regressionから抜粋 7

8. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
画像と座標データを学習させて間取りの
骨格を認識（転移学習）
ドアの骨格
壁の交差点の骨格
この形→
predict
8
間取り画像のどこにパーツがあるかをそれぞれ学習させる

9. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
ドアの骨格
壁の交差点の骨格
この形→
predict
9
間取り画像のどこにパーツがあるかをそれぞれ学習させる
画像と座標データを学習させて間取りの
骨格を認識（転移学習）

10. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
骨格情報から部屋情報を推定する
人間の骨格は一意（頭→首→胴体など）
部屋構造は一意ではない
ドアの骨格 壁の骨格
キッチンカウンターの骨格
などその他いくつか
骨格情報から
矛盾が起きない部屋
構造を推定する
（どうやって？）
10

11. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
制約充足問題に定式化
機械学習（ML）
・制約なし（基本的には）
・損失関数の最小解を探索
・凸最適化（基本的には）
制約充足問題（CSP）
・制約条件を満たす解を探索
・基本的にNP問題
CSP
最適化
機械学習
教師あり
イメージ↑
11

12. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
制約充足問題の例
虫食い算
A B C D
C A E F+
G D B C A
A~Gは0から9のいずれ
かでそれぞれ異なる
制約：
• 0 <= A,B,…, G <= 9, Integer
• A != B, A != C,…, F != G
• x, y,… ダミー変数
• D + F = 10 * x + A
• C + E + x= 10 * y + C
• …
巨大になればなるほど総当たり計算やルー
ルベースロジックは対応しにくくなる 12

13. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
制約充足問題の例
13
図形解釈
解釈パターン(+,-,→)を定義して、
各辺に解釈のパターンを割り当てる問題
矛盾なく割り当てられれば解釈成功
変数：各変数のラベル(+,-,→)を
どれに割り当てるか
制約：解釈に矛盾がない

14. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
制約充足問題の例
14
図形解釈に矛盾があるとは？
どう見えますか？

15. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
制約充足問題に定式化
壁の骨格ドアの骨格
• ドアや窓は壁と密着している
• 部屋は四方を壁で囲まれている
• その他
などの制約をすべて満たす解釈方法を探索
(最適化ソルバー：gurobi)
15

16. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
学習結果
Predict and Optimize
Predict・・・ディープラーニングで物体を認識
Optimize・・・認識したパーツを組み合わせ、
無矛盾な解釈を探索する
16

17. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
縮尺・長さの推定
17
専有面積としてカウントする領域のみを抽出
↓
平易な数値計算で縮尺を計算
バルコニー、室外を除外

18. © LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。© LIFULL Co.,Ltd. 本書の無断転載、複製を固く禁じます。
将来の展望
Predict
Optimize
3D Rendering
※イメージ
18