Struggling with BIGDATA　－リクルートおけるデータサイエンス/エンジニアリング－

1. Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング- 株式会社リクルートテクノロジーズ ITソリューション統括部ビッグデータ部

2. 2Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 趣味etc 学歴略歴所属氏名 RTC ITソリューション統括部ビッグデータ部 IT-EXE 西郷彰大阪大学工学部筑波大学大学院ビジネス科学研究科（MBA) 2009年リクルート中途入社。じゃらん、ポンパレなどのCRMやレコメンドのプロジェクトを推進。BD専門組織の立上げを経て、現在、BD部IDP領域Gのマネージャー兼RHD_IDP 戦略企画統括データ解析Gを担当。スノーボード（インストラクター資格有） -子育てが忙しくめっきり行けなくなりました自己紹介

5. 5Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. リクルートのビジネスモデルさまざまなドメインでマッチングモデルに基づいたビジネスを展開。 Matching Business HR Bridal Group Buying Used Cars Travel Real Estate Beauty Gourmet Social Games E-Commerce Ad Network New Business Consumers Enterprise

6. 6Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. リクルートの事業領域「選択」をサポートするような情報サービスを展開 Life event area Lifestyle Area Travel IT/ TrendLifestyle Health & Beauty Job Hunt Marriage Job Change Home Purchase Car Purchase Child Birth Education

8. 8Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. Infrastructure /Security Project Management UXD/SEO Internet Marketing Big Data Solutions Technology R&D Systems Development リクルートテクノロジーズの立ち位置リクルートホールディングスは7つの主要事業会社と３つの機能会社から成り立っている。 Recruit Holdings Recruit Career Recruit Sumai Company Recruit Lifestyle Recruit Jobs Recruit Staffing Recruit Marketing Partners Staff service Holdings Recruit Technologies Recruit Administration Recruit Communications Business/ Service Function/ Support

11. 11Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. ビッグデータ解析部門の組織体制 ITソリューション統括部ビッグデータビジネスコンサルティンググループビッグデータ人材領域グループビッグデータ販促・バイト領域グループソリューションを軸とした予測、BI、競合分析人材領域を軸とした各種レコメンド等の開発・分析販促・バイトを軸とした各種レコメンド等の開発・分析ビッグデータＩＤ・ポイント領域グループ IDポイントを軸とした各種レコメンドの開発・分析ビッグデータプロダクト開発グループビッグデータインフラグループＩＤポイントビッグデータシステムグループソリューションを軸とした各種&D系プロダクトの開発ビックデータ基盤の構築・運用ビックデータ部 IDポイントPRJの基盤の構築・運用・・・

14. 14Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. リクルートにおけるR&Dの考え方 R-Stage Dev-Stage β-Stage 運用-Stage 技術要素調査 技術の実態を把握する 効果的な仕組みとしてプレ実装 活用方法をさらに開拓 正式にフィジビリティスタディとして推進～展開をする 実運用へ Gate Review

23. 23Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 多様化するデータ解析利益貢献コスト削減レコメンデーション帳票レポート指標・目的  CVR最大化  CPA最適化指標・目的  最適化  次期戦略策定指標・目的  無駄の排除  工数削減  人はよりクリエイティブに作業代替・支援（AI領域）非構造データは、機械的解釈のむずかしさから人の手でその解釈が行われてきた。テキストや画像などから特徴抽出をするための手法が数多く、オープンソース化され機械で扱えるようになってきた昨今、レコメンド、帳票以外に「人の作業代替」という新たなジャンルのデータ解析ソリューションが増えつつある。

27. 27Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 背景  リクルートにおいて広告主であるクライアント原稿の品質担保は大事な要素である  現在、多くの人件費をかけて「人手で」校閲作業を行っている。  一方で、校閲作業は人のナレッジや感覚に左右され、品質が一定ではないばかりか、すべての原稿を人手でチェックすることは労力的には難しい状況である。この校閲作業を機械で一部代替できないかという取組を開始している。

28. 28Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. プロダクト開発状況  一部の事業と協力して検証を開始している。  はじめはルールベースのものから実装し、機械学習による分類やDeep Learningを用いた誤字脱字チェックなど実装難易度をあげていくという進め方。  100％人の代替は不能ということをきちんと事業と認識しながら進めている。要はその人の作業をリプレイスする意味合いであり、その人自身の作業も100％の精度ではできていないことを自覚する必要がある。

35. 35Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 学習データの作成に工夫外装ラベル名画像例内装トランクダッシュボードその他学習枚数約3500枚約2000枚約1000枚約1000枚約2500枚カーセンサーの物件画像を内装/外装/トランク/ダッシュボード /その他に分類するモデルを作成。これにカーセンサーの約37万物件の画像を全て投入外装と判別された約80万枚をそのまま学習に利用結果、2674車種という、これまでにない多種な分類でも 70%弱の精度を叩き出せた

36. 36Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 学習データの作成に工夫ただし「流通量が多い車種=学習画像が多い車種=精度が高い車種」となり、掲載数の多い上位500車種では平均92.4%の精度を出すが掲載数の少ない下位の車種では、精度が一桁を切ることもある状態。そこで利用者に正解しているかをフードバックしてもらう機能を実装。これで「正しい」を選んでくれたら、その画像を追加で学習すれば良い！ # 現在は、本機能が本当に正しい時に押されるかなどを検証中。

37. 37Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. Twitterでバズりました！プレスリリースを10/26に実施。 10/26中にTwitterで「#カーセンサーチャレンジ」というハッシュタグが作成され、最高風速で分間4ツイートくらいされてました。（肌感）一時、appleのトレンド検索に「ポケモンgoマップ」などと並んで「カーセンサー」が！！！ありがたいことにたくさんの人に利用してもらえました！

40. 40Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 困難① 学習データがない爪デザイン当て初めはクライアントが入稿するときに付与するタグを利用。例えば、左の例では、「ドット（水玉）」が付与。これを学習用のデータとして使用した結果、驚愕の精度18%！？(ランダムでも5%の精度) そもそも、リボンも映っているし、ワンカラー(何も柄なし)も映っている。これが「ドット」で良いのか？？人によってデザインとして付与するタグが異なるのでは・・・・なら、誰もが同じタグになるようにしてあげれば良い！ CNN使えないじゃないか・・・発想を変える。

41. 41Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. ただし、僕らの部署はIT系の業務をやる部署。ネイルなんて分からない男性が多い中、必死にネイルの知識を付ける。：マーブル：ピーコック：プッチ副産物として合コンで相手の手を見て、「ダブルフレンチか・・・」と呟く、気持ち悪い男性（私）の出来上がり。せんせーピーコックとマーブルとプッチの違いがわかりませーん！このようなやりとりを通し、まず主要メンバがネイル判別のセミプロになり、徐々に作業メンバもセミプロになってしまった。約20人で合計4万枚もの爪画像に、正解タグを振る。結果、ある程度誰が見ても納得できる正解データが作成できた。困難① 学習データがない

42. 42Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. VATを用いた半教師有り学習 • VATを用いた半教師有り学習 • 半教師有り学習：少量の教師付きデータと大量の教師なしデータを用いて、比較的高精度のモデル作成する手法。 • ICLR2016の採択論文の手法を試す。 mnist[0~9の手書きデータ]を利用し、以下を検証。教師有りを600枚使っただけで、 60000枚全て利用した時とほぼ同等の精度が得られた。学習利用枚数誤差率 (%) ＝大量の画像全てに正解ラベルを付与しなくても良い。 →学習データの収集コストが大幅に下がることが期待できる。・60000万枚の画像を学習に使った精度・各枚数を学習に利用した時の精度・各枚数を教師有り、残りを教師なしとして学習した精度

45. 45Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. サービスA 事業DB アクセスログサービスB 事業DB アクセスログサービスC 事業DB アクセスログデータソースデータ格納演算処理・活用利用者 Hadoop エコシステム全社DWH 中央Hadoop • モニタリング • レポート • モデル作成 • データ収集 • 整形・加工 • データストレージ • 高速分析処理サービスA 担当サービスB 担当リクルートID 担当サービスC 担当リクルート統合データ分析基盤クエリ発行/月 • 膨大なデータを使ったデータ活用業務全般 • レポート/モニタリング、レコメンド、DMP、etc

46. 46Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 最初に苦労したこと、「データ理解」データ意味情報（メタデータ）の問い合わせに忙殺される。会員情報はどこにある！？ XXの意味を教えてください！利用者テーブル定義書（ファイル） DWH Select * from XX limit 100 Select * from YY limit 100 Select * from ZZ limit 100 ・・・開発者システム管理者分からないです… “平均的なビジネスマンは、探し物のためだけに、1年間で約150時間を費やしている” 利用者がわかる形で回答 × データの質・量の増加利用者の増加

50. 50Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. ココに来れば必要な情報があるという状態を作り出し、分析担当者のデータ特定に至る時間やシステム担当者の負担を軽減させる。  探す手間が省ける  ナレッジが共有される利用者テーブル定義書（ファイル）システム管理者探すメタデータ管理Web DWH システム管理者  問合せが減る！  潜在的なニーズを拾える！  問合せが減る！  自分のDBの最新情報が把握できる！開発者自動自動自動年間75人月超の工数削減効果（20分/セッションの工数削減効果）＋問合せを受けるシステム管理者の工数削減メタデータ管理Webで実現した世界

52. 52Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 黎明期： • 各サービスから各種データを収集、DWH/Datalakeに蓄積し活用 • サイト毎の仕様差異の吸収個人情報のマスキング重複や欠損のクリーニング… • 横断データ活用への最初の要求は、経営陣からの「経営指標」の集計 • 日次/月次実行する”資産”となり、加速度的に増加 • DMTを機械学習の学習データとして転用 • 次々と機械学習アルゴリズムを変えるため、データ間の依存度が加速 • システムが一旦出来上がるが・・・ DWH 横断データ活用施策

53. 53Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 黎明期：システム運用 DWH MLlibDWH 0001 0002 0003 0004 Change prediction corrupt Change Change more users Bigger DMT more data source We changed log spec! bug Mis match Mis match rerun! more work

54. 54Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 考察：なぜ仕事が増えるのか最初はシンプルな業務フローを考えるが、業務は複雑化して増えていくもの DWH DMT APP 開発業務の増加・クエリ複雑化・依存性複雑化・再発明・リカバリ・仕様変更対応運用業務の増加・Hadoop等バグ調査・繁忙期データ負荷対応・リソース不足・データ転送待ちの増加・機械学習用DMT開発における低再利用性・DMT処理時間待ち・アルゴリズム変更に伴う入力仕様変更

56. 56Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. フレームワークプロジェクト(var/log) • 技術的負債を徹底的に排除するためのコードベース(jar) Integrate software resources & unlock their full potential “Absolute DRY” common process auto generated DSL for processing typically structured data of Recruit Codebas e

57. 57Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. DRY(Don’t repeat yourself) もっとも大切な要素として、コードの再利用コンポーネント + コード生成補完前 Loading Mahout Saving xml 補完後 Recommend User (Int) Item (Int) Dictionary UserId (Int) User (String) Dictionary ItemId(Int) Item(String) Input UserId (Int) ItemId(Int) Loading Mahout Saving Indexing Format

58. 58Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. Simple • DASE ”MVC for Data Science” • それ以外は極力隠蔽 <data/> <algorithm/> <serving/> <evaluation/> xml .Jar Loading Query Query RDD +Scala Jar内部で判定 • 次のAlgorithmは何？ • データ量はどのくらい？ • 過去の判定結果は？ MR Parallel Query Hdfs+ External

59. 59Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. プロジェクト完了!? • 半年後、var/logは完成し、最初のvar/logジョブがリリース！ • その後、新規ジョブはvar/log上に実装されるようになった。 • 半年後var/logは完成し、運用に乗ったが、２通りの社内顧客が見えてきた。 Business Engineer Scientist Engineer 1.[High-end Customers] ニーズ : 速度・定常運用・生産性 2.[Early Adopters] ニーズ : 最新論文・実験・Lean コードは使い捨てデータがあり動けばいい

61. 61Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. Early Adopter向け機能とは何かニーズ：さあ、実験をしよう。秒単位の応答性能その場の思いつきを実データに適用新しいライブラリ・・・新しい特徴量・・・新しい数式・・・新しい自作関数・・・そして、、、そのままリリース → jar + xml configuration ではない

63. 63Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. Workflow Change : Happy Analytics • Before： • After： .Jar Scientist Scientist HBase Hive Oracle sqoop “accessible data” • 実験 • 生産性 • 共同作業 • 即時性/インタラクティブ性 Java ・・・

67. 67Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 文化面での取組 • カイゼントレーニング • 組織メンバー全員参加での集合研修 • 目的 • 自分たちの提供しているサービスの価値をあげるために、 • 改善のやり方を学ぶ • コミュニケーションの仕方を学ぶ • 実際にいまのプロセスを見える化し、全員で現状の共通認識や課題を明らかにするバリューストリームマップを作成し、業務におけるボトルネックを全員で切り分けている様子

68. 68Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. 文化面での取組 • Mob Programming • チーム全体が同じことを、同じ時に、同じ場所で、同じコンピュータ上で作業するソフトウェア開発アプローチ • 目的 • 全員が同一作業を行うことによるコンフリクトの解消と、黒魔術的な個人ナレッジの共有を図る。毎週金曜に2時間、全員で同一作業を行う時間を設定し、ワイガヤをあえて演出

71. 71Copyright © Recruit Technologies Co., Ltd. All Rights Reserved. Web企業におけるデータ活用の本命は？ No single standard それくらい多様化、常に進化。より新しいことをフロンティアしていかないといけない、自ら。クライアント BtoB 分析 OtoO リアル情報解析超大規模データ活用非構造 /Deeplearning

72. ご静聴ありがとうございましたリクルートテクノロジーズ Now, We Are Hiring! 自ら高い山を設定し、ビジネス活用にコミットした分析・エンジニアリングにチャレンジできる方。ぜひご連絡ください。

Struggling with BIGDATA　－リクルートおけるデータサイエンス/エンジニアリング－

Du liest eine Vorschau.

Hier ansehen

Struggling with BIGDATA　－リクルートおけるデータサイエンス/エンジニアリング－

Weitere Verwandte Inhalte

Diashows für Sie (20)

Andere mochten auch (18)

Ähnlich wie Struggling with BIGDATA　－リクルートおけるデータサイエンス/エンジニアリング－ (20)

Aktuellste (20)