リクルートのビッグデータ活用基盤とデータ活用に向けた取組み

リクルートのビッグデータ活用基盤
とデータ活用に向けた取組み
リクルートテクノロジーズ
池田

本日のアジェンダ
1. 自己紹介
2. リクルートの紹介
3. リクルートのビッグデータへの取り組み
4. 全社統合分析基盤の構成
5. メタデータ管理Webの紹介
6. まとめ
2(C) Recruit Technologies Co.,Ltd. All rights reserved.

1. 自己紹介
6. まとめ

自己紹介
池田英哲（いけだひであき）
株式会社リクルートテクノロジーズ
ビッグデータ部
IDポイントビッグデータインフラグループ
2003年～2006年某SIer
Flashを用いたWebアプリケーション開発等を担当
2006年～2013年某コンサル会社
インフォメーションマネジメント（BI・DWH）関連部署に配属
Analytics部隊の設立に携わる
2014年1月～リクルートテクノロジーズ
入社後一貫して、リクルートIDプロジェクトのDWH構築・運用を担当
職歴

1. 自己紹介
6. まとめ

6
企業概要（リクルート全体）
創立１９６０年３月３１日「大学新聞広告社」としてスタート
グループ
従業員数
３１,８４１名
連結売上高約１兆２９９９億円 ※２０１５年３月末
連結経常利益約１,２５６億円 ※２０１５年３月末
関連企業数１６２社（国内＋海外）
目指す世界観「あなた」を支える存在でありたい

リクルートテクノロジーズの位置づけ
7
リクルートキャリア
リクルートジョブズ
リクルートスタッフィング
リクルート住まいカンパニー
リクルートライフスタイル
リクルートマーケティングパートナーズ
スタッフサービス・ホールディングス
リクルートアドミニストレーション
リクルートコミュニケーションズ
事業会社
機能会社
ネットインフラ
大規模プロジェクト推進
UXD/SEO
ビッグデータ機能
テクノロジーR&D
事業・社内IT推進
リクルート
ホールディングス
リクルートとは、
主要７事業会社＋３機能会社
で構成されるグループ企業群
私が所属する会社は
リクルートテクノロジーズ
セキュリティAP基盤・オフショア開発

リクルートのビジネスモデル～リボンモデル
マッチング
カスタマー
（一般ユーザー）
クライアント
（サービス提供企業）
世界中の生活者と産業界に
「まだ、ここにない、出会い。」を提供します

リクルートの展開しているサービス
ライフイベント領域
進学
就職
結婚
転職
住宅購入
車購入
出産/育児
旅行
IT/トレンド
生活/地域情報
グルメ・美容
ライフスタイル領域
選択・意思決定を支援する情報サービスの提供
「まだ、ここにない、出会い。」を実現する

リクルートID
一人ひとりにあった最適な情報を提供し、皆様の選択や行動を支える存在
となることを目指す

リクルートIDとは

リクルートIDが使えるサービス①

リクルートIDが使えるサービス②

リクルートIDが使えるサービス③

リクルートIDが使えるサービス④

リクルートIDが使えるサービス⑤

「リクルートポイント」の「Pontaポイント」へ

1. 自己紹介
6. まとめ

ビッグデータとは？
ビッグデータ＝大量データ
Volume
量
Variety
多様性
Velocity
速度
Volume
行動履歴・ソーシャル・センサ(GPS)等
Variety
構造化データだけでなく、
文書・画像・動画・音声などの非構造データ
Velocity
リアルタイムに発生するCSの嗜好データ
スマホ/アプリデータ
利用者・利用パターンの増加

ビッグデータ活用事例① リアルタイムセグメント推定
リクルートデータセンター
リアルタイムに
ログ送付
リアルタイム
大量データ受付
リアルタイム
セグメント推定
推定されたセグメントに
合わせたコンテンツ表示
初回訪問者
コールドスタート問題に対応し、
初回訪問時（＝サービスにも最も期待しているタイミング）に最適な情報を提供
自分に合った情報
が見つからない
自分が欲しい情報
が出てくる！
CVR向上

ビッグデータ活用事例② 利用者・利用パターンの増加
データサイエンティスト
ビジネス担当
 利用者が任意に操作・分析可能
 システム知識なくとも操作可能
 パフォーマンス向上
ビジネス担当
レポート表示・更新
（直観操作可能に）
オンメモリで
高速化
レポート開発・
提供工数大
データ抽出・加工
工数増加
利用者のすそ野を広げ、かつ利便性・パフォーマンス向上を実現
処理時間長期化
管理者

Big DataのTrend
ビッグデータ利用者の広がり
技術の進化や「ビッグデータ」の広がりでデータ利用者が拡大している
IT部門
BIレポート開発者
DB管理者
データに興味のない層
ビジネスインサイト
マーケター
事業企画
技術進歩
(Hadoop/セルフBI etc.)
データ活用の
一般化
レポート/モニタリング
営業/経営層
数字は見るけど操作は覚えたくない
自分でデータをいじりたい
ITスキルはあまりない
データサイエンティスト
研究者
エンジニア自分でデータを解析する

データソースデータ格納プレゼンテーション利用者
外部データ
Hadoop
エコシステム
高度分析やモデル作成
レポート/モニタリング
ビジネスインサイト
（マーケター）
機械学習やモデル実装
エンドユーザー
(エグゼ／営業
／マネージャ)
(プロデューサ／事業
企画)
データ
サイエンティスト
（高度分析者）
データ
サイエンティスト
（エンジニア）
行動ログ
事業DB
事業Hadoop
• モニタリング
• レポート
• モデル作成
• データ収集
• 整形・加工
• データストレージ
• 高速分析処理
Webアクセスログ
アプリログ
PUSH通知ログ
ビーコンログ
リクルートのビッグデータ基盤構成
ビッグデータ（データの量/種類/頻度の増加）への対応と、利用者の増加
に合わせ、基盤は常に進化
(C) Recruit Technologies Co.,Ltd. All rights reserved.
全社DWH
中央Hadoop

1. 自己紹介
6. まとめ

リクルートのビッグデータ分析基盤（各サービス向け）
各サービス向けにそれぞれ分析基盤が存在
（利用するプロダクト・ツールは標準化）
データソース
サービスA
事業DB
アクセス
ログ
サービスB
事業DB
アクセス
ログ
サービスC
事業DB
アクセス
ログ
データ格納
サービスA向け分析環境
サービスB向け分析環境
サービスC向け分析環境
プレゼンテーション利用者
サービスA
担当
サービスB
担当
サービスC
担当
リクルートIDが始まり、上記に加え、リクルート横断の
データ分析基盤が必要となった

リクルート統合データ分析基盤
各サービスからデータを収集。統合されたデータ基盤を提供。
サービスA
事業DB
アクセス
ログ
サービスB
事業DB
アクセス
ログ
サービスC
事業DB
アクセス
ログ
Hadoop
エコシステム全社DWH
中央Hadoop
• レポート
• モデル作成
• データ収集
• 整形・加工
サービスA
担当
サービスB
担当
リクルートID
担当
サービスC
担当

サービスA
事業DB
アクセス
ログ
サービスB
事業DB
アクセス
ログ
サービスC
事業DB
アクセス
ログ
Hadoop
中央Hadoop
• レポート
• モデル作成
• データ収集
• 整形・加工
サービスA
担当
サービスB
担当
リクルートID
担当
サービスC
担当
数字で見ると①集めているデータ
サービスから
データを収集
サイトの
アクセスログ収集
アプリの
ログ収集

サービスA
事業DB
アクセス
ログ
サービスB
事業DB
アクセス
ログ
サービスC
事業DB
アクセス
ログ
Hadoop
中央Hadoop
• レポート
• モデル作成
• データ収集
• 整形・加工
サービスA
担当
サービスB
担当
リクルートID
担当
サービスC
担当
数字て見ると②利用のされ方
テーブルを格納
クエリ発行/月
レポート提供

よりよい
ユーザ体験
データ
活用施策
データ
蓄積・統合
全社データ基盤の目指す世界観
収集統合
展開
リピート率
UP
定着率
UP
新サービス
集客
メルマガ
コンテンツ
出しわけ
他サイト送客
顧客行動把握・予測レコメンド
アプリログ
Webアクセスログ
個人情報マスク済み
事業DBデータ
施策
分析
beaconログ

ここまでの道のり
データ収集への協力
利用者のシステム意識向上
利用者からの定義情報問合せ

サービスA
事業DB
アクセス
ログ
サービスB
事業DB
アクセス
ログ
サービスC
事業DB
アクセス
ログ
Hadoop
中央Hadoop
• レポート
• モデル作成
• データ収集
• 整形・加工
サービスA
担当
サービスB
担当
リクルートID
担当
サービスC
担当
データ収集への協力
提供側は負担増
（リソース・開発工数・運用）
相手先の状況に応じ、連携方式を見直し
提供側の負担を下げるツールも提供
相手を見て、何に困っているか・躊躇して
いるかを見極め、柔軟に対応

サービスA
事業DB
アクセス
ログ
サービスB
事業DB
アクセス
ログ
サービスC
事業DB
アクセス
ログ
Hadoop
中央Hadoop
• レポート
• モデル作成
• データ収集
• 整形・加工
サービスA
担当
サービスB
担当
リクルートID
担当
サービスC
担当

利用者の増加に伴い、リソース大量消費
⇒パフォーマンスダウン
利用者に環境管理を意識
⇒リソース過剰消費停止・
利用側からの改善提案
利用側とともに創ることで、
品質向上できる体制を実現

サービスA
事業DB
アクセス
ログ
サービスB
事業DB
アクセス
ログ
サービスC
事業DB
アクセス
ログ
Hadoop
中央Hadoop
• レポート
• モデル作成
• データ収集
• 整形・加工
サービスA
担当
サービスB
担当
リクルートID
担当
サービスC
担当
利用者からの問い合わせ対応
データの質・量の増加利用者の増加

1. 自己紹介
6. まとめ

メタデータ管理Web構築の背景
データ意味情報（メタデータ）の問い合わせに忙殺される。
会員情報はどこにある！？
XXの意味を教えてください！
利用者
テーブル定義書（ファイル）
DWH
Select * from XX limit 100
Select * from YY limit 100
Select * from ZZ limit 100
・・・
開発者
システム管理者
分からないです…
引用元）気がつくと机がぐちゃぐちゃになっているあなたへ
ISBN 978-4-7942-1146-0
“平均的なビジネスマンは、探し物をするためだけに、
１年間で約１５０時間を費やしている”
利用者がわかる形で回答
×
データの質・量の増加
利用者の増加

メタデータ管理Webの紹介

検索画面（テーブル一覧）

機能紹介

ココに来れば必要な情報があるという状態を作り出し、分析担当者のデータ
特定に至る時間やシステム担当者の負担を軽減させる。
メタデータ管理Webで実現した世界
 探す手間が省ける
 ナレッジが共有される
利用者
テーブル定義書（ファイル）
探す
メタデータ管理Web
DWH
 問合せが減る！
 潜在的なニーズを拾える！
 問合せが減る！
 自分のDBの最新情報が把握できる！
開発者
自動
自動
自動

0
100
200
300
400
500
600
700
800
900
01 02 03 04 05 06 07 08 09 10 11 12 13 14 15 16 17 18
2016年1月
平日は650回/日以上の利用。月間で計12,000回（約400UU）超え
利用状況
年間75人月超の工数削減効果！
（5分/回の工数削減効果）
＋
問合せを受けるシステム管理者の工数削減！

O’REILLYでもMetadataに注目
Data Newsletter -O’REILLY Media
http://post.oreilly.com/form/oreilly/viewhtml/9z1zhq84f5e844q8c4485ot23vjma
31u8qfj23tq2rg?imm_mid=0ddf30&cmp=em-data-na-na-newsltr_20151230
2016年の
「10 data trends」筆頭にメタデータ管理

1. 自己紹介
6. まとめ

まとめ

ご清聴ありがとうございました。

リクルートのビッグデータ活用基盤とデータ活用に向けた取組み

リクルートのビッグデータ活用基盤とデータ活用に向けた取組み

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie リクルートのビッグデータ活用基盤とデータ活用に向けた取組み

Ähnlich wie リクルートのビッグデータ活用基盤とデータ活用に向けた取組み (20)

Mehr von Recruit Technologies

Mehr von Recruit Technologies (20)

Kürzlich hochgeladen

Kürzlich hochgeladen (7)

リクルートのビッグデータ活用基盤とデータ活用に向けた取組み