Copyright© LIFULL All Rights Reserved.
LIFULL HOME'Sのおとり広告予測モデルの開発
AI戦略室データサイエンスG
神谷 慶
2021.07.13 Ltech#18 AIで住まい探しをスムーズに！【おとり物件予測＆3D間取り】
1

Copyright© LIFULL All Rights Reserved.
神谷 慶 (かみや けい)
2019年新卒入社。
物理学で大学院博士課程修了後、データサイエンスGに配属。
機械学習フローの自動化やレコメンドアルゴリズムの開発などに携わっています。
AIや数値モデルの予測可能性がビジネスの意思決定にどのような意思決定をもたらすかに
興味があります。
Facebook: https://www.facebook.com/kei.kamiya.946
Twitter(動いていない): @me63316e1
Qiita: https://qiita.com/keikamiya
自己紹介
https://www.isee.nagoya-u.ac.jp/news/award/2017/20170809.html
2

Copyright© LIFULL All Rights Reserved.
背景・導入
● おとり広告とは?
● おとり広告をなくす取り組みについて
● おとり広告の能動調査
● AIの導入
3

Copyright© LIFULL All Rights Reserved.
背景・導入
4
LIFULL HOME’Sのビジネスモデル

Copyright© LIFULL All Rights Reserved.
背景・導入
● 成約済み物件の広告の消し忘れ
最初は取引可能だったが、のちに成約済みとなった物件を削除しないまま更新しているパ
ターン
● 呼び込みのための架空物件の広告
実際には存在しないのに、集客するために意図的に広告掲載しているパターン
おとり広告とは
参考: https://www.homes.co.jp/cont/rent/rent_00200/
5
おとり広告が存在すると、ユーザーが安心して住まい探しできない！！

Copyright© LIFULL All Rights Reserved.
おとり広告をなくす取り組み
LIFULL HOME’Sではユーザーが安心して住まい
探しができるように、おとり広告をなくす取組
みを行っています。
● 専属の情報審査チームによる能動調査
● 不動産管理会社とデータ連携
● 掲載110番
https://www.homes.co.jp/about/service/safetypolicy/
本日のテーマ
背景・導入
6

Copyright© LIFULL All Rights Reserved.
募集終了物件の能動調査の流れ
物件リスト 調査・措置
LIFULL HOME’S
掲載物件データ
ベース
物件a 物件b 物件c
物件d 物件e
物件a
物件d
調査・措置
問題無
募集終了
→ 調査結果をデ
ータベースへ
物件DBの中から一定のルール
に基づいて調査対象を選定
選定した物件に
対して架電するなど
して調査する
背景・導入
7
調査対象の
物件選定
物件f 物件g 物件h
調査対象物件リスト
数100万件オーダー 数100件オーダー
→ 調査結果をデ
ータベースへ

Copyright© LIFULL All Rights Reserved.
募集終了物件の能動調査の流れ
物件リスト 調査・措置
LIFULL HOME’S
掲載物件データ
ベース
物件a 物件b 物件c
物件d 物件e
物件a
物件d
調査・措置
問題無
募集終了
→ 調査結果をデ
ータベースへ
物件DBの中から一定のルール
に基づいて調査対象を選定
選定した物件に対して架電
するなどして調査する
背景・導入
8
調査対象の
物件選定
物件f 物件g 物件h
調査対象物件リスト
数100万件オーダー 数100件オーダー
一定のルールの問題点
・現在のルールでは選定できない物件がある
・ルールの複雑化への対応が難解
→ AIによる対象物件の選定を採用する
● 募集終了物件の特徴を学習
● 募集終了確率を予測

Copyright© LIFULL All Rights Reserved.
おとり広告予測AI
● 開発
● データフロー
● モデルの評価可視化ツール
9

Copyright© LIFULL All Rights Reserved.
おとり広告予測AIの開発
おとり物件の広告を効率的に能動調査するため、AIに募集終了物件の特徴を学習させ、
LIFULL HOME’Sに掲載されている物件の募集終了確率を予測します
募集終了率: 10 %
○
募集終了率: 90 %
×
おとり広告予測AI
10
物件a 物件d

Copyright© LIFULL All Rights Reserved.
AIの学習から調査対象予測までの流れ
物件DB
調査対象取得・
調査結果保存
調査結果を
保存
日次バッチで保存 物件情報を付属して学習
アクセス
1. 日付+会員ID
2. 会員が持つ
物件情報
3. 物件情報
4. 募集終了確率
5. 募集終了確率
上位の物件
調査
結果
物件a: ○ (問題無)
物件b: × (募集終了)
物件c: ○
...
調査対象物件
無作為抽出
物件
リスト
おとり広告予測AI
11
AutoML Tables
築年 家賃
… 調査結果
物件a: 4 70000 …
○
物件b: 10 80000 ...
×
物件c: 21 100000 … ○
...
審査チーム
AI開発チーム
審査チーム
学習データのフロー
推論データのフロー

Copyright© LIFULL All Rights Reserved.
募集終了予測モデルの可視化ツール
モデルのオフライン評価による性能比較 任意の会員の持つ物件リストを予測する
おとり広告予測AI
12
※期間を変えたモデル等で
性能比較する

Copyright© LIFULL All Rights Reserved.
精度向上に関する取り組み
● モデルの評価メトリック
● 学習データとテストデータの分布の差
● 機械学習基盤の改善手法
13

Copyright© LIFULL All Rights Reserved.
モデルの評価メトリック
混合行列(Confusion Matrix): 精度を確認するときによく利用される
真値
正例 負例
予
測
値
正
例
真陽性(TP = True Positive)
募集終了と予測して実際に募
集終了だった数
偽陽性(FP = False Positive)
募集終了と予測して実際に問
題無だった数
負
例
偽陰性(FN = False Negative)
問題無と予測して実際に募集
終了だった数
真陰性(TN = True Negative)
問題無と予測して実際に問題
無だった数
適合率 = TP/(TP+FP)
募集終了と予測された物件のうち、
実際に募集終了であった物件の割合
再現率 = TP/(TP+FN)
実際に募集終了であった物件のうち、
募集終了と予測できた物件の割合
精度向上に関する取り組み
14

Copyright© LIFULL All Rights Reserved.
モデルの評価メトリック
● 適合率は募集終了と予測したものの正確性を見ることができるので、無駄うち(誤検知)をなくしたい
場合に重視される
● 再現率は募集終了であるもの全体を特定したいというモチベーションから、検知漏れをなくしたい
場合に重視される
適合率
再現率
適合率-再現率(PR)曲線
今回のケースでは、
● 物件を調査できるリソースは限られているので
無駄打ちを少なくしたい
● ある再現率の元で、上位何割が正解していたか
を重視する
→ ある再現率の元での適合率を評価指標とする
精度向上に関する取り組み
15

Copyright© LIFULL All Rights Reserved.
学習データと予測データの傾向の差
16
物件DB
物件
選定
学習データ 予測データ
≠
学習用のデータは、特定の物件を選定後行われるため、予測データの傾向(LIFULL HOME’Sの掲載
物件リスト)とは厳密には異なっている。
→予測精度の悪化、特徴量選定の難易度向上
精度向上に関する取り組み
例: ある特徴量に関して物件選定前(赤)と
物件選定後(青)の分布の差
物件選定後に
分布が偏る

Copyright© LIFULL All Rights Reserved.
改善手法: ランダム調査
17
物件DB
無作為
抽出
学習データ 予測データ
≒
物件DBから無作為に抽出した物件リストの調査結果(標本調査)を学習データとする
→ 現在のLIFULL HOME’Sに掲載されている物件の母集団の傾向と類似した分布を再現
精度向上に関する取り組み

Copyright© LIFULL All Rights Reserved.
効率的なモデル開発のための工夫
18
精度向上に関する取り組み
日次バッチで保存 物件情報を付属して月次で学習
AutoML Tables
調査結果を
保存
工夫その1: 定期実行バッチを
Airflowでスケジューリング
工夫その3: AutoML Tablesで
テーブルデータの学習を自動化
工夫その2: Salesforceのデータを
BigQuery上で扱うことにより、
特徴量チューニングを簡易化
最適なモデル作成のため、機械学習フロー
(データ収集、データ加工、学習)を全自動化 !!
調査
物件
リスト

Copyright© LIFULL All Rights Reserved.
● LIFULL HOME’Sの掲載物件に含まれているおとり広告を効率的に検知する
ため、AIを活用しています。
● 機械学習フローの各処理をバッチ化し、学習+予測の効率をあげています。
● 精度を比較するためのメトリックを用意し、精度向上を目指しています。
まとめ
ご静聴ありがとうございました
19

Copyright© LIFULL All Rights Reserved.
バックアップスライド
20

Copyright© LIFULL All Rights Reserved. 21