リクルートライフスタイルのデータを支える技術
•Als PPTX, PDF herunterladen•
5 gefällt mir•2,497 views
リクルートライフスタイルでは、飲食店や美容室の予約、旅行の予約や観光情報、ECなどみなさまの日常に密接した情報を提供し、それらから生まれる様々なデータを活用し、よりよいサービスを提供しています。 それらのデータを収集する基盤をTreasureDataなどのクラウドサービスを使用して構築しました。なぜこれらのプロダクトを選び、どのようにデータを収集しているのか、社内では収集したデータをどのように活用しているのか紹介致します。 また、現在取り組んでいるリアルタイムデータ集計処理基盤とこれからについてもお話させて頂けたらと思います。 山田 雄（株式会社リクルートライフスタイル）
Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Andere mochten auch
Andere mochten auch (20)
Ähnlich wie リクルートライフスタイルのデータを支える技術
Ähnlich wie リクルートライフスタイルのデータを支える技術 (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (8)
リクルートライフスタイルのデータを支える技術
- 1. リクルートライフスタイルの データを支える技術 〜TreasureDataとAWSと私〜 Treasure Data Tech Talk 03/30 2016 山田 雄 ネットビジネス本部 データ基盤チーム
- 4. ■山田 雄（ヤマダ ユウ） 株式会社 リクルートライフスタイル ネットビジネス本部 データ基盤T Twitter:@nii_yan Blog:イクジニアブログ ・以前はフリーランスエンジニア 縁があってリクルートライフスタイルにお世話になることになった。 ビックデータ、Ruby、ビールが好き。 自己紹介
- 5. 会社紹介
- 6. Engineering for data Business with data 技術でビジネスを ドライブする Stable Infrastructure Continual Innovation+ リクルートライフスタイルにおけるエンジニアの役割
- 9. ETLフレームワーク
- 10. フレームワークで出来ること
- 11. データの活用方法
- 14. それ全部解決します
- 25. About Presto • in memoryのクエリエンジンでとにかく早い • クエリによってはHiveの１００倍とか • with句やwindow関数使えて便利 • ANSI基準のSQL書けるがお作法がある • count(distinct)ダメ絶対 • order_byダメ絶対 • joinは大きいテーブルを最初に
- 26. Prestoを自力で運用しようとすると・・・ • アップデートが早い • coordinatorがSPOF • １つのクエリでクラスタ全体を殺せる • アップデートにより突如クエリが動かなくなる • Bug?デグレ？ • とあるアップデートでMySQLのDB見えなく なったことあり なかなか辛い・・・
- 28. Treasureに今後期待すること • UDF • HBase • SqoopなどのHadoopエコシステム • PrestoでHive以外のデータソースへの連携
- 31. 荒野で生き抜くために
- 33. DynamoDB Lambda API Gateway on-premises Configuration Management Monitoring Grafana Kafka データハブ基盤
- 34. Lambda API Gateway on-premises Configuration Management Monitoring Grafana Kafka DynamoDB ストリーム処理基盤
- 41. OSS
- 42. WE ARE HIRING!
- 43. ご清聴ありがとうございました
Hinweis der Redaktion
- １年前のデータなので少し古いです じゃらんやホットペッパーなどのサービスを持っていて、そこそこ売り上げあって３０００人くらい従業員いて、かわいいお姉さんのいる会社です。 弊社のサービス使ったことある方？ 我々のミッションは赤枠で囲われたことです。 これを叶えるためのデータ基盤を構築しています。
- 弊社の特徴として、エンジニアがビジネスのとても近くにいるというのがあります。 図のようにエンジニアの役割は技術によってビジネスをドライブさせることになります。 エンジニアからビジネス側へ提案することが多くある。 あとは、毎年エンジニアがビジネスプランを発表するコンテストもありますし、技術とビジネス両方学べる良い環境だと思います。 リクルートライフスタイルとエンジニアが結びつかない人も多数いるとは思いますが、技術でビジネスをドライブしてる実績が認められ最近はエンジニアを増やすことに注力しています。
- ----- 会議メモ (16/03/24 19:38) ----- 弊社のデータ基盤を紹介します
- こちらが、現在の共通分析基盤となります。 RawデータをTreasureに入れている サイカタのデータはでかすぎて入らないのでHadoopに入れていた。 全てのデータをredshiftに入れるとコスト的に辛い Tresureのデータは現在２０００億件以上。毎月１００億件増えている
- ETLフレームワークを独自実装
- 様々な部署からの要望に応えられるよう構築
- OneToOneメールの配信 サイト表示順の最適化 検索結果の最適化 BIツールでのvisualization、営業レポート
- オンプレのMapRで運用していた
- EMRも考えたが、コスト的にTREASUREだった
- Zip,シーケンスファイルなので、TDにcopyできず オンプレのデータをdistcpでS3にコピー EMRでファイルフォーマット修正 TDへbulkimport PrestoでHive以外のデータソースへの連携
- Hadoopに対する知見は付かないので、Treasureも一つの選択肢として、オンプレ、EMRなどとも比較して選ぶと良いと思います。
- トレジャーで防御を固めつつ、攻めをする準備が整った KinesisじゃなくてkafkaやEMRじゃなくてEC2は色々知れるために。基礎を知るために。 荒野に投げ出されても大丈夫なように
- 突然の荒野なのですが、弊社でストリーム基盤を構築するにあたっての選定基準として、荒野でも生き抜ける技術力というのがありました。 弊社ではAWSを使用しています。 AWSと言うとkinesis使えばすぐストリーム処理出来るとは思うのですが、先ほどオンプレとの比較でもあったようにありものを使いすぎると楽なのですが、ですがその環境でないと生き延びれなくなってしまいます。 なので、あえてkinesisではなくてkafkaを選択しました。 また、Sparkの環境はEMRじゃなくてEC2を選択しています。
- Waterプロジェクトで実現したいことをグランドデザインとして検討しました 作らない技術 構成管理にはANSIBLE SparkなどのmonitoringにはGrafana InfluxDB
- まず、データハブ基盤です。 オンプレミス環境にあるデータはFluentdを介してAWSクラウド上に送られます。 Fluentdから送られたデータはKafkaに保存され、ここがデータハブとして機能しています。 Kafka 0.8 SSL対応してないため、publisherとaggrigator用意 今後は0.9を使ってsslで通信
- 次にKafkaに保存されたデータを、Spark Streamingが取り出し、データを加工・集計します。 ここがストリーム処理基盤として機能しています。
- Spark-Streamingが加工・集計したデータは、DynamoDBに保存され、Key-Valueの形で保存されます。 エンドユーザーとなるデータ利用者は、APIゲートウェイ・Lambdaを介して取得することで リクエストに対するキャパシティを担保した状態でデータを提供することが可能となります。
- Sdk使用してiOSのデータをほぼリアルタイムに取得しています。
- Iphoneのログはsdk使ってリアルタイムで取れてきている。 データハブをkafkaに集中させる ----- 会議メモ (16/03/23 15:00) ----- スライドを時系列に分ける。 リアルタイムと、バッチを分けれるように ユーザが自由にアドホックとリアルを選べる環境に
- 弊社のエンジニアのコンセプト