July Tech Festa 2018での発表資料です。 数十のプロダクトのデータを一手に集め、処理を回すリクルートライフスタイルのビックデータ分析基盤。 分析基盤を開発・運用する我々は、データドリブンな組織を目指すためにマーケティング手法の一つであるカスタマーセントリック戦略を取り入れています。 カスタマセントリックな基盤を実現するために、どのような取り組みを行なっているかをご紹介いたします。 リクルートライフスタイル　白子　佳孝

1. マルチクラウドで実現する
カスタマーセントリックな分析基盤
In JULY TECH FESTA 2018
⽩⼦ 佳孝
リクルートライフスタイル
データマネジメントG

2. Index
1. リクルートライフスタイルについて
2. カスタマーセントリックな基盤について
3. データ分析基盤の全体図

3. Index
1. リクルートライフスタイルについて
2. カスタマーセントリックな基盤について
3. データ分析基盤の全体図

4. 会社紹介

5. ビジネスモデル（リボン図）
リクルートグループの経営理念に掲げる「⼀⼈ひとりが輝く豊かな世界
の実現」を実現するために、クライアントとユーザーがで会う場を提供
することが、リクルートのビジネスモデル。
リクルートユーザー クライアント

6. 取り扱うデータ
提供している30以上のサービスに関するカスタマーデータ、クライアン
トデータを⼀元的に収集し、分析などに利⽤している。

7. データ活⽤における社内状況
SPSS Tableau
Mail
Publisher
Marketing
Cloud
Salesforce ・・・
事業DB ⾏動ログ 外部データ ⼿⼊⼒ Firebase ・・・
データ
プロデューサー
分析基盤
DATAMART
DWH
データ
アナリスト
データ
サイエンティス
ト
CRM 営業
マーケティング最適化
KPIマネジメント
可視化
分析
傾向予測
集約・集計
⼊⼒
出⼒

8. Index
1. リクルートライフスタイルについて
2. カスタマーセントリックな基盤について
3. データ分析基盤の全体図

9. そもそもデータ分析基盤は
使い続けてもらうことが価値
ユーザ(社内利⽤者)が傾向分析やマーケティング最適化、KPIマネ
ジメント、メール施策の最適化などにデータ分析基盤を利⽤し、
事業成果をあげることで、分析基盤のプレゼンスが向上する。
そのために、いかに「使いたい」と思ってもらえる基盤を提供
できるかが鍵となる。

10. そもそもデータ分析基盤は
使い続けてもらうことが価値
ユーザ(社内利⽤者)が傾向分析やマーケティング最適化、KPIマネ
ジメント、メール施策の最適化などにデータ分析基盤を利⽤し、
事業成果をあげることで、分析基盤のプレゼンスが向上する。
そのために、いかに「使いたい」と思ってもらえる基盤を提供
できるかが鍵となる。
カスタマーセントリックな基盤をつくる

11. カスタマーセントリックとは
カスタマーセントリック ＝ 顧客中⼼主義
マーケティング⼿法の⼀つで、企業がどの戦略や戦術を実⾏する
かという意思決定の基準を、顧客に置くことが基本的な考え⽅。

12. カスタマーセントリックな基盤とは
カスタマー
セントリッ
クな基盤
⾼いユーザ
体験
継続的進化＝ ＋

13. カスタマーセントリックな基盤とは
カスタマー
セントリッ
クな基盤
⾼いユーザ
体験
継続的進化＝ ＋
分析基盤を利⽤するユーザ体験を向上させるために、ユーザの声を集め
たり、評価する仕組みが必要。
また、エンジニアもユーザ⽬線を常に持つ必要があり、間違っても独り
よがりな環境を作り出さないことが重要。

14. リクルートライフスタイルで取り組んでいること
・問い合わせ⽤のSlackのChannelを開設
・ユーザアンケートを実施
・分析基盤を使う⽴場になるために、ユーザ側のグループに兼務
・データを活⽤するチームと同じグループになる
ユーザ体験向上のための取り組み~ヒアリング~
ユーザの意⾒を吸い上げつつ、⾃らもユーザ側に⽴ち、
客観的に評価する。

15. リクルートライフスタイルで取り組んでいること
・ユーザ毎の基盤利⽤状況の把握
・ユーザクエリの平均レスポンスタイムの把握
・社内SNSなどでの分析基盤に対する評価コメントの収集
ユーザ体験向上のための取り組み~評価~
機械的に収集できる情報をできるかぎり集める。
特に、ユーザの満⾜が⾼い＝分析基盤をよく利⽤している
と考えられるので、その部分を集中的に。

16. リクルートライフスタイルで取り組んでいること
・定期的にユーザ教育を実施
・勉強会
・動画コンテンツ
・毎⽉メルマガを発⾏し、今⾏なっている取り組みなどを共有する
・ユーザの声や利⽤状況を元に周辺サービス・機能を開発
ユーザ体験向上のための取り組み~ユーザビリティ向上~
ユーザにとっての分析の敷居をとにかく下げる。
使いたい時に使える状況を提供する。

17. 周辺サービス・機能例
背景
毎⽇、数千ものテーブルロードや数百ものデータマート作成処理(CRUD処理)が常
に⾛っているため、Redshift環境が重くなり、1つのselect⽂でもレスポンスに数
⼗秒ほどかかってしまっていた。そのため、ユーザから「このレスポンスの遅さで
は業務に⽀障が出る」などの意⾒があった。
取り組み
テーブルロードやデータマート作成処理が⾛らない、快適な分析基盤をユーザに提
供することにした。
Mirror-Redshift環境

18. 周辺サービス・機能例
Mirror-Redshift環境
S3 Redshift
Mirror-
Redshift
毎週⼟曜に本番Redshiftのスナップショットを⽤いて
Mirror-Redshiftを作成する
テーブルロード 毎週⼟曜
同期
マート作成処理

19. 周辺サービス・機能例
Mirror-Redshift環境
鮮度を求めないデータに関しては、Mirror環境を利⽤することで
ユーザは快適に分析が可能
Redshift Mirror-Redshift
データ鮮度 新鮮なデータ 古いデータ
負荷 ⾼い 低い
レスポンス
遅い
(数秒〜数⼗秒)
速い
（〜数秒）

20. 周辺サービス・機能例
背景
Mirror環境によって、分析におけるユーザビリティは向上したが、とはいえデータ
鮮度が古いため、速い環境で最新データを分析したいという声があがった。
取り組み
S3においてあるテーブルデータをMirror環境にロードできる仕組みをChatbotで実
装した。Chatbotでの実装により、ユーザはおまじないをSlack上でつぶやくだけ
で最新データをMirror環境で分析できるようになった。
Chatbotによるテーブルロード

21. 周辺サービス・機能例
Chatbotによるテーブルロード
bot
S3
Mirror-
Redshift
Slackにつぶやくことによって、
S3のデータをMirror-Redshiftへloadしてくれるbotを⽤意
rs_load:mirror:
<schema_name>.<table_nam
e>
COPY

22. 周辺サービス・機能例
背景
分析環境としてBigQueryを⽤意したが、利⽤者が持っているファイルをBigQuery
にロードして分析したいという要望が上がった。
取り組み
S3に配置するだけで、BigQueryにロードする仕組みを実装。
ファイルが置かれたことをトリガーにファイルをロードする仕組みを実現するため
に、AWSのサービスとGCPのサービスを組み合わせて実装している。
fileアップロード

23. 周辺サービス・機能例
fileアップロード

24. カスタマーセントリックな基盤とは
カスタマー
セントリッ
クな基盤
⾼いユーザ
体験
継続的進化＝ ＋
現状に満⾜したままでは、いつかはレガシーなシステムになってしまい、
ひいてはユーザ体験を損なうことになってしまう。
⾼いユーザ満⾜度を継続するためには、継続的な環境の進化も重要。
例えば、オンプレからクラウドに移⾏するのもその⼀つ。

25. リクルートライフスタイルで取り組んでいること
DataLake構成
マルチプラットフォームDWH構成
Redshift Spectrumの活⽤
統合データ連携パイプラインの構築
上記はあくまで⼀部

26. DataLake構成

27. Single
Store
Various
Data
Data
Hub
様々なデータを⼀箇所に集めることで
⾊々なところに連携しやすくする
DataLake構成

28. DataLake構成
技術進化に伴い、新しいクラウドサービスや新しいDWHが続々とリリー
スされている。進化させるために、いちいちデータ移⾏などの作業が発
⽣すると対応スピードが激減する。
弊社では、AWS S3をDataLake構成にしておくことによって、新しいエ
ンジンや新しいニーズが出てきた際も柔軟に対応出来る体制を整えてい
る。
継続的な進化を続けるためにはDataLake構成は必須条件だという認識。

29. マルチDWHプラットフォーム構成
Exadata

30. マルチDWHプラットフォーム構成
各DWHにはそれぞれの特性があり、向き不向きがある。
⽤途によってDWHを使い分けることで、ユーザの多様なニーズにも対応
することが可能
1つしか環境がない場合、その環境でまかなえないユーザニーズについて
は、諦めてもらう必要がある。

31. Redshift Spectrumの活⽤
S3
DB1
DB3
DB2
AWS Glue
lambda
Redshift
S3
Redshift
Redshift
TSV Parquet
ファイルサイズ⼤
ファイルサイズ⼩
S3のObjectを直接参照出来るSpectrumを使⽤することで、クラスタサ
イズの圧縮を⾏い、⽤途毎にクラスタを⽴てることで、ユーザの利便性
を上げる。

32. Redshift S3
頻繁に使われるホットデータと
ユーザから⼀時参照が多いコールドデータで
使い分けることが⼤切
ホットデータ
定期的に
たくさん使われる
コールドデータ
ユーザからの
⼀時参照が多い
Redshift Spectrumの活⽤

33. 統合データ連携のパイプラインを構築
S3
DB1
DB3
DB2
新製品
単⼀の
ロード
処理
S3をデータハブとし、複数のDWHに同⼀データを連携できる仕組みを実装。
これにより、ユーザはどの環境でも同じデータを利⽤して分析できる。
また、新たに素晴らしいDWHが出てきても、プラグイン的に処理を追加す
るだけでデータがロードできるようになっている。

34. おまけ

35. メタデータ管理機能

36. メタデータ管理機能
テーブルがどのDWH・スキーマにあるのか、どういうテーブル定
義なのかが分からないと分析がままならない。
分析の敷居を下げる＋すぐに分析できる状態を提供するために、
内製でメタデータ管理システムを構築。
このシステムでは下記が確認可能
・テーブル情報
・テーブルがある環境
・スキーマ名
・テーブル名（物理・論理）
・カラム情報
・カラム名
・データ型
・PKやNULL制約などの付加情報

37. Index
1. リクルートライフスタイルについて
2. カスタマーセントリックな基盤について
3. データ分析基盤の全体図

38. HPB HPG
JLN
事業データ
CSV
外部データ
S3
Redshift
Mirror-Redshift
BigQuery
アクセスログ
アプリログ Treasure Data
Exadata
Cloud Storage
分析基盤構成図

39. CSV
外部データ
S3
Redshift
Mirror-Redshift
BigQuery
アクセスログ
アプリログ Treasure Data
Cloud Storage
Exadata
HPB HPG
JLN
事業データ
Exadata

40. Exadata
BigQuery
アプリログ Treasure Data
Cloud Storage
Amazon Redshift
HPB HPG
JLN
事業データ
CSV
外部データ
S3
Redshift
Mirror-Redshift
アクセスログ

41. Redshift
Mirror-Redshift
Exadata
アプリログ Treasure Data
Google BigQuery
HPB HPG
JLN
事業データ
CSV
外部データ
S3
アクセスログ
BigQuery
Cloud Storage

42. Redshift
Mirror-Redshift
Exadata
HPB HPG
JLN
事業データ
CSV
外部データ
S3
アクセスログ
BigQuery
Cloud Storage
TreasureData
アプリログ Treasure Data

43. まとめ

44. データドリブン企業を⽬指すうえで、
カスタマーセントリックな分析基盤は超重要！
常にユーザ側の⽬線を持ち、ユーザの声に⽿を傾け、
ユーザと共に進化し続ける分析基盤を
提供し続けることが我々エンジニアのミッション
皆さんも、ユーザの声に⽿を傾けてますか…?

45. ⼀緒にカスタマーセントリックな分析基盤を作ってくれるエンジニア募集！