Weitere ähnliche Inhalte
Ähnlich wie リクルートライフスタイルの売上を支える共通分析基盤 (20)
Mehr von Recruit Lifestyle Co., Ltd. (20)
Kürzlich hochgeladen (11)
リクルートライフスタイルの売上を支える共通分析基盤
- 4. ■山田 雄(ヤマダ ユウ)
株式会社 リクルートライフスタイル
ネットビジネス本部
データ基盤T
Twitter:@nii_yan
GitHub:https://github.com/yu-yamada
・以前はフリーランスエンジニア
縁があってリクルートライフスタイルにお世話になることになった。
ビックデータ、Ruby、ビール、カップ焼きそばが好き。
自己紹介
Hinweis der Redaktion
- 弊社の特徴として、エンジニアがビジネスのとても近くにいるというのがあります。
図のようにエンジニアの役割は技術によってビジネスをドライブさせることになります。
エンジニアからビジネス側へ提案することが多くある。
あとは、毎年エンジニアがビジネスプランを発表するコンテストもありますし、技術とビジネス両方学べる良い環境だと思います。
リクルートライフスタイルとエンジニアが結びつかない人も多数いるとは思いますが、技術でビジネスをドライブしてる実績が認められ最近はエンジニアを増やすことに注力しています。
- ユーザが使い易い基盤を作らないと、あそこ使いにくいから独自で作ろうという子になり、同じような基盤が社内でいっぱいできたりする
- ETLフレームワークを独自実装
- 様々な部署からの要望に応えられるよう構築
- 様々な部署からの要望に応えられるよう構築
- 様々な部署からの要望に応えられるよう構築
- 様々な部署からの要望に応えられるよう構築
- 様々な部署からの要望に応えられるよう構築
- まず、データハブ基盤です。
オンプレミス環境にあるデータはFluentdを介してAWSクラウド上に送られます。
Fluentdから送られたデータはKafkaに保存され、ここがデータハブとして機能しています。
Kafka 0.8
SSL対応してないため、publisherとaggrigator用意
今後は0.9を使ってsslで通信
- 次にKafkaに保存されたデータを、Spark Streamingが取り出し、データを加工・集計します。
ここがストリーム処理基盤として機能しています。
- Spark-Streamingが加工・集計したデータは、DynamoDBに保存され、Key-Valueの形で保存されます。
エンドユーザーとなるデータ利用者は、APIゲートウェイ・Lambdaを介して取得することで
リクエストに対するキャパシティを担保した状態でデータを提供することが可能となります。
- でも最強ではないですね。最強ってのは誰にも負けない状態ですから。
- 特にビックデータのエンジニアだといろんな知識が必要なので、T字は理想に見える
- 特にビックデータのエンジニアだといろんな知識が必要なので、T字は理想に見える
- こんな形になると最強に近づけるのでは
- こんな形になると最強に近づけるのでは