Submit Search
Upload
ATLにおけるBigDataへの取り組み
•
2 likes
•
1,365 views
Recruit Technologies
Follow
ATLにおけるBigDataへの取り組みを紹介。
Read less
Read more
Engineering
Report
Share
Report
Share
1 of 17
Download now
Download to read offline
Recommended
20181206 Jazug DataScience TeamBuilding and DevOps
20181206 Jazug DataScience TeamBuilding and DevOps
Yukako Shimizu
Machine Learning Casual Talks #4 ビッグデータチームを発足するにあたって気をつけておきたいn個のこと
Machine Learning Casual Talks #4 ビッグデータチームを発足するにあたって気をつけておきたいn個のこと
Naoto Tamiya
リクルートライフスタイル全サービス横断のリアルタイムログ収集・可視化・分析基盤
リクルートライフスタイル全サービス横断のリアルタイムログ収集・可視化・分析基盤
Recruit Lifestyle Co., Ltd.
Googleにおける機械学習の活用とクラウドサービス
Googleにおける機械学習の活用とクラウドサービス
Google Cloud Platform - Japan
20150128 cross2015
20150128 cross2015
Akira Shibata
Expectations and reality of hybrid cloud
Expectations and reality of hybrid cloud
Naoki Yonezu
リクルートライフスタイルにおける深層学習の活用とGCPでの実現方法
リクルートライフスタイルにおける深層学習の活用とGCPでの実現方法
Recruit Lifestyle Co., Ltd.
データサイエンティストが力を発揮できるアジャイルデータ活用基盤
データサイエンティストが力を発揮できるアジャイルデータ活用基盤
Recruit Lifestyle Co., Ltd.
Recommended
20181206 Jazug DataScience TeamBuilding and DevOps
20181206 Jazug DataScience TeamBuilding and DevOps
Yukako Shimizu
Machine Learning Casual Talks #4 ビッグデータチームを発足するにあたって気をつけておきたいn個のこと
Machine Learning Casual Talks #4 ビッグデータチームを発足するにあたって気をつけておきたいn個のこと
Naoto Tamiya
リクルートライフスタイル全サービス横断のリアルタイムログ収集・可視化・分析基盤
リクルートライフスタイル全サービス横断のリアルタイムログ収集・可視化・分析基盤
Recruit Lifestyle Co., Ltd.
Googleにおける機械学習の活用とクラウドサービス
Googleにおける機械学習の活用とクラウドサービス
Google Cloud Platform - Japan
20150128 cross2015
20150128 cross2015
Akira Shibata
Expectations and reality of hybrid cloud
Expectations and reality of hybrid cloud
Naoki Yonezu
リクルートライフスタイルにおける深層学習の活用とGCPでの実現方法
リクルートライフスタイルにおける深層学習の活用とGCPでの実現方法
Recruit Lifestyle Co., Ltd.
データサイエンティストが力を発揮できるアジャイルデータ活用基盤
データサイエンティストが力を発揮できるアジャイルデータ活用基盤
Recruit Lifestyle Co., Ltd.
深層学習の導入で抱える課題とユースケース実例
深層学習の導入で抱える課題とユースケース実例
Hirono Jumpei
データアナリティクスの新たな一歩とそれを支えるインフラ
データアナリティクスの新たな一歩とそれを支えるインフラ
Google Cloud Platform - Japan
PyData Tokyo Tutorial & Hackathon #1
PyData Tokyo Tutorial & Hackathon #1
Akira Shibata
(2017.8.27) Elasticsearchと科学技術ビッグデータが切り拓く日本の知の俯瞰と発見
(2017.8.27) Elasticsearchと科学技術ビッグデータが切り拓く日本の知の俯瞰と発見
Mitsutoshi Kiuchi
Gtfsデータリポジトリ紹介 iodd発表資料
Gtfsデータリポジトリ紹介 iodd発表資料
Shimpei Matsuura
AI研究を加速するオープンデータ
AI研究を加速するオープンデータ
Deep Learning Lab(ディープラーニング・ラボ)
[db tech showcase Tokyo 2017] D25: データの分析や解析の前に必要となる「データ準備」とは。データ・プレパレーション・プラ...
[db tech showcase Tokyo 2017] D25: データの分析や解析の前に必要となる「データ準備」とは。データ・プレパレーション・プラ...
Insight Technology, Inc.
From data catalog to preparation. The latest data platform to accelerate the ...
From data catalog to preparation. The latest data platform to accelerate the ...
DataWorks Summit
Search engineering tech talk 2019 spring
Search engineering tech talk 2019 spring
takahito takabayashi
Hccjp purpose andhistory
Hccjp purpose andhistory
Masahiko Ebisuda
EfficientDet: Scalable and Efficient Object Detection
EfficientDet: Scalable and Efficient Object Detection
harmonylab
CET(Capture EveryThing)プロジェクトにおけるﰀ機械学 習・データマイニング最前線
CET(Capture EveryThing)プロジェクトにおけるﰀ機械学 習・データマイニング最前線
Recruit Lifestyle Co., Ltd.
サマーセミナー2016: GitHubマイニング
サマーセミナー2016: GitHubマイニング
奈良先端大 情報科学研究科
OrientDBのご紹介 OSC2014 Tokyo/Fall LT
OrientDBのご紹介 OSC2014 Tokyo/Fall LT
Kazunobu Yamaguchi
ビックデータ分析基盤の成⻑の軌跡
ビックデータ分析基盤の成⻑の軌跡
Recruit Lifestyle Co., Ltd.
AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた
AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた
tatsuya 264
アプリを成長させるためのログ取りとログ解析に必要なこと
アプリを成長させるためのログ取りとログ解析に必要なこと
Takao Sumitomo
リクルート式Hadoopの使い方
リクルート式Hadoopの使い方
Recruit Technologies
Elastic Aquia Joint webinar-20211006
Elastic Aquia Joint webinar-20211006
Shotaro Suzuki
転移学習ランキング・ドメイン適応
転移学習ランキング・ドメイン適応
Elpo González Valbuena
2020/05/18 Alibaba cloud AIソリューションセミナー
2020/05/18 Alibaba cloud AIソリューションセミナー
寛之 松浦
Wg for ai_dev_ops_20180713
Wg for ai_dev_ops_20180713
Yutaka Terasawa
More Related Content
What's hot
深層学習の導入で抱える課題とユースケース実例
深層学習の導入で抱える課題とユースケース実例
Hirono Jumpei
データアナリティクスの新たな一歩とそれを支えるインフラ
データアナリティクスの新たな一歩とそれを支えるインフラ
Google Cloud Platform - Japan
PyData Tokyo Tutorial & Hackathon #1
PyData Tokyo Tutorial & Hackathon #1
Akira Shibata
(2017.8.27) Elasticsearchと科学技術ビッグデータが切り拓く日本の知の俯瞰と発見
(2017.8.27) Elasticsearchと科学技術ビッグデータが切り拓く日本の知の俯瞰と発見
Mitsutoshi Kiuchi
Gtfsデータリポジトリ紹介 iodd発表資料
Gtfsデータリポジトリ紹介 iodd発表資料
Shimpei Matsuura
AI研究を加速するオープンデータ
AI研究を加速するオープンデータ
Deep Learning Lab(ディープラーニング・ラボ)
[db tech showcase Tokyo 2017] D25: データの分析や解析の前に必要となる「データ準備」とは。データ・プレパレーション・プラ...
[db tech showcase Tokyo 2017] D25: データの分析や解析の前に必要となる「データ準備」とは。データ・プレパレーション・プラ...
Insight Technology, Inc.
From data catalog to preparation. The latest data platform to accelerate the ...
From data catalog to preparation. The latest data platform to accelerate the ...
DataWorks Summit
Search engineering tech talk 2019 spring
Search engineering tech talk 2019 spring
takahito takabayashi
Hccjp purpose andhistory
Hccjp purpose andhistory
Masahiko Ebisuda
EfficientDet: Scalable and Efficient Object Detection
EfficientDet: Scalable and Efficient Object Detection
harmonylab
CET(Capture EveryThing)プロジェクトにおけるﰀ機械学 習・データマイニング最前線
CET(Capture EveryThing)プロジェクトにおけるﰀ機械学 習・データマイニング最前線
Recruit Lifestyle Co., Ltd.
サマーセミナー2016: GitHubマイニング
サマーセミナー2016: GitHubマイニング
奈良先端大 情報科学研究科
OrientDBのご紹介 OSC2014 Tokyo/Fall LT
OrientDBのご紹介 OSC2014 Tokyo/Fall LT
Kazunobu Yamaguchi
ビックデータ分析基盤の成⻑の軌跡
ビックデータ分析基盤の成⻑の軌跡
Recruit Lifestyle Co., Ltd.
AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた
AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた
tatsuya 264
アプリを成長させるためのログ取りとログ解析に必要なこと
アプリを成長させるためのログ取りとログ解析に必要なこと
Takao Sumitomo
What's hot
(17)
深層学習の導入で抱える課題とユースケース実例
深層学習の導入で抱える課題とユースケース実例
データアナリティクスの新たな一歩とそれを支えるインフラ
データアナリティクスの新たな一歩とそれを支えるインフラ
PyData Tokyo Tutorial & Hackathon #1
PyData Tokyo Tutorial & Hackathon #1
(2017.8.27) Elasticsearchと科学技術ビッグデータが切り拓く日本の知の俯瞰と発見
(2017.8.27) Elasticsearchと科学技術ビッグデータが切り拓く日本の知の俯瞰と発見
Gtfsデータリポジトリ紹介 iodd発表資料
Gtfsデータリポジトリ紹介 iodd発表資料
AI研究を加速するオープンデータ
AI研究を加速するオープンデータ
[db tech showcase Tokyo 2017] D25: データの分析や解析の前に必要となる「データ準備」とは。データ・プレパレーション・プラ...
[db tech showcase Tokyo 2017] D25: データの分析や解析の前に必要となる「データ準備」とは。データ・プレパレーション・プラ...
From data catalog to preparation. The latest data platform to accelerate the ...
From data catalog to preparation. The latest data platform to accelerate the ...
Search engineering tech talk 2019 spring
Search engineering tech talk 2019 spring
Hccjp purpose andhistory
Hccjp purpose andhistory
EfficientDet: Scalable and Efficient Object Detection
EfficientDet: Scalable and Efficient Object Detection
CET(Capture EveryThing)プロジェクトにおけるﰀ機械学 習・データマイニング最前線
CET(Capture EveryThing)プロジェクトにおけるﰀ機械学 習・データマイニング最前線
サマーセミナー2016: GitHubマイニング
サマーセミナー2016: GitHubマイニング
OrientDBのご紹介 OSC2014 Tokyo/Fall LT
OrientDBのご紹介 OSC2014 Tokyo/Fall LT
ビックデータ分析基盤の成⻑の軌跡
ビックデータ分析基盤の成⻑の軌跡
AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた
AWS朝会2022/1 セッション① 数年間、レイクハウスを設計運用してみた
アプリを成長させるためのログ取りとログ解析に必要なこと
アプリを成長させるためのログ取りとログ解析に必要なこと
Similar to ATLにおけるBigDataへの取り組み
リクルート式Hadoopの使い方
リクルート式Hadoopの使い方
Recruit Technologies
Elastic Aquia Joint webinar-20211006
Elastic Aquia Joint webinar-20211006
Shotaro Suzuki
転移学習ランキング・ドメイン適応
転移学習ランキング・ドメイン適応
Elpo González Valbuena
2020/05/18 Alibaba cloud AIソリューションセミナー
2020/05/18 Alibaba cloud AIソリューションセミナー
寛之 松浦
Wg for ai_dev_ops_20180713
Wg for ai_dev_ops_20180713
Yutaka Terasawa
データプロダクトを支えるビッグデータ基盤
データプロダクトを支えるビッグデータ基盤
Google Cloud Platform - Japan
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
Recruit Technologies
EXE #3: AIを協力して作成するDapp
EXE #3: AIを協力して作成するDapp
blockchainexe
BIツール大全 もうBIツールで迷わない「超カタログ」
BIツール大全 もうBIツールで迷わない「超カタログ」
Sho Maekawa
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分け
Recruit Technologies
LOD (Linked Open Data) の動向と今後の展望
LOD (Linked Open Data) の動向と今後の展望
Kouji Kozaki
ビッグデータ処理データベースの全体像と使い分け - 2017年 Version -
ビッグデータ処理データベースの全体像と使い分け - 2017年 Version -
Tetsutaro Watanabe
IoTにおけるクラウドインフラからサーバサイドまでの概要的な話
IoTにおけるクラウドインフラからサーバサイドまでの概要的な話
Terui Masashi
Agileツール適合化分科会(第7回)議事録
Agileツール適合化分科会(第7回)議事録
masanori kataoka
スタートアップツールチラ見せ
スタートアップツールチラ見せ
Hisatoshi Kikumoto
リクルート式ビッグデータ活用術
リクルート式ビッグデータ活用術
Recruit Technologies
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
Recruit Technologies
Web IDE Gitpodを使ってTOPPES OSを体験してみよう
Web IDE Gitpodを使ってTOPPES OSを体験してみよう
Center for Embedded Computing Systems, Nagoya Univ.
研究を基にしたオープンソース開発チェックポイント
研究を基にしたオープンソース開発チェックポイント
Recruit Technologies
Data × AI でどんな業務が改善できる? 製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
Data × AI でどんな業務が改善できる? 製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
IoTビジネス共創ラボ
Similar to ATLにおけるBigDataへの取り組み
(20)
リクルート式Hadoopの使い方
リクルート式Hadoopの使い方
Elastic Aquia Joint webinar-20211006
Elastic Aquia Joint webinar-20211006
転移学習ランキング・ドメイン適応
転移学習ランキング・ドメイン適応
2020/05/18 Alibaba cloud AIソリューションセミナー
2020/05/18 Alibaba cloud AIソリューションセミナー
Wg for ai_dev_ops_20180713
Wg for ai_dev_ops_20180713
データプロダクトを支えるビッグデータ基盤
データプロダクトを支えるビッグデータ基盤
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
EXE #3: AIを協力して作成するDapp
EXE #3: AIを協力して作成するDapp
BIツール大全 もうBIツールで迷わない「超カタログ」
BIツール大全 もうBIツールで迷わない「超カタログ」
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分け
LOD (Linked Open Data) の動向と今後の展望
LOD (Linked Open Data) の動向と今後の展望
ビッグデータ処理データベースの全体像と使い分け - 2017年 Version -
ビッグデータ処理データベースの全体像と使い分け - 2017年 Version -
IoTにおけるクラウドインフラからサーバサイドまでの概要的な話
IoTにおけるクラウドインフラからサーバサイドまでの概要的な話
Agileツール適合化分科会(第7回)議事録
Agileツール適合化分科会(第7回)議事録
スタートアップツールチラ見せ
スタートアップツールチラ見せ
リクルート式ビッグデータ活用術
リクルート式ビッグデータ活用術
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
Web IDE Gitpodを使ってTOPPES OSを体験してみよう
Web IDE Gitpodを使ってTOPPES OSを体験してみよう
研究を基にしたオープンソース開発チェックポイント
研究を基にしたオープンソース開発チェックポイント
Data × AI でどんな業務が改善できる? 製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
Data × AI でどんな業務が改善できる? 製造業様向け Data × AI 活用ユースケース & 製造MVPソリューションのご紹介
More from Recruit Technologies
新卒2年目が鍛えられたコードレビュー道場
新卒2年目が鍛えられたコードレビュー道場
Recruit Technologies
カーセンサーで深層学習を使ってUX改善を行った事例とそこからの学び
カーセンサーで深層学習を使ってUX改善を行った事例とそこからの学び
Recruit Technologies
Rancherを活用した開発事例の紹介 ~Rancherのメリットと辛いところ~
Rancherを活用した開発事例の紹介 ~Rancherのメリットと辛いところ~
Recruit Technologies
Tableau活用4年の軌跡
Tableau活用4年の軌跡
Recruit Technologies
HadoopをBQにマイグレしようとしてる話
HadoopをBQにマイグレしようとしてる話
Recruit Technologies
LT(自由)
LT(自由)
Recruit Technologies
リクルートグループの現場事例から見る AI/ディープラーニング ビジネス活用の勘所
リクルートグループの現場事例から見る AI/ディープラーニング ビジネス活用の勘所
Recruit Technologies
Company Recommendation for New Graduates via Implicit Feedback Multiple Matri...
Company Recommendation for New Graduates via Implicit Feedback Multiple Matri...
Recruit Technologies
リクルート式AIの活用法
リクルート式AIの活用法
Recruit Technologies
銀行ロビーアシスタント
銀行ロビーアシスタント
Recruit Technologies
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
Recruit Technologies
ユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイント
Recruit Technologies
ユーザーからみたre:Inventのこれまでと今後
ユーザーからみたre:Inventのこれまでと今後
Recruit Technologies
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Recruit Technologies
EMRでスポットインスタンスの自動入札ツールを作成する
EMRでスポットインスタンスの自動入札ツールを作成する
Recruit Technologies
RANCHERを使ったDev(Ops)
RANCHERを使ったDev(Ops)
Recruit Technologies
リクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイント
リクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイント
Recruit Technologies
ユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイント
Recruit Technologies
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
Recruit Technologies
「リクルートデータセット」 ~公開までの道のりとこれから~
「リクルートデータセット」 ~公開までの道のりとこれから~
Recruit Technologies
More from Recruit Technologies
(20)
新卒2年目が鍛えられたコードレビュー道場
新卒2年目が鍛えられたコードレビュー道場
カーセンサーで深層学習を使ってUX改善を行った事例とそこからの学び
カーセンサーで深層学習を使ってUX改善を行った事例とそこからの学び
Rancherを活用した開発事例の紹介 ~Rancherのメリットと辛いところ~
Rancherを活用した開発事例の紹介 ~Rancherのメリットと辛いところ~
Tableau活用4年の軌跡
Tableau活用4年の軌跡
HadoopをBQにマイグレしようとしてる話
HadoopをBQにマイグレしようとしてる話
LT(自由)
LT(自由)
リクルートグループの現場事例から見る AI/ディープラーニング ビジネス活用の勘所
リクルートグループの現場事例から見る AI/ディープラーニング ビジネス活用の勘所
Company Recommendation for New Graduates via Implicit Feedback Multiple Matri...
Company Recommendation for New Graduates via Implicit Feedback Multiple Matri...
リクルート式AIの活用法
リクルート式AIの活用法
銀行ロビーアシスタント
銀行ロビーアシスタント
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
リクルートにおけるマルチモーダル Deep Learning Web API 開発事例
ユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイント
ユーザーからみたre:Inventのこれまでと今後
ユーザーからみたre:Inventのこれまでと今後
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
Struggling with BIGDATA -リクルートおけるデータサイエンス/エンジニアリング-
EMRでスポットインスタンスの自動入札ツールを作成する
EMRでスポットインスタンスの自動入札ツールを作成する
RANCHERを使ったDev(Ops)
RANCHERを使ったDev(Ops)
リクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイント
リクルートにおけるセキュリティ施策方針とCSIRT組織運営のポイント
ユーザー企業内製CSIRTにおける対応のポイント
ユーザー企業内製CSIRTにおける対応のポイント
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
リクルートテクノロジーズが語る 企業における、「AI/ディープラーニング」活用のリアル
「リクルートデータセット」 ~公開までの道のりとこれから~
「リクルートデータセット」 ~公開までの道のりとこれから~
ATLにおけるBigDataへの取り組み
1.
ATL におけ るBigData
への取り組み 株式会社リクルートテクノロジーズ 伊藤 敬彦 1
2.
自己紹介 所属:株式会社リクルートテク ノロジーズ
ATL 研究(工学博士): トピック:グラフ解析 ビックデータ活動: Hadoop を利用したレコメ ンドエンジン等の OSS ツー ルを作成 2
3.
リクルートテクノロジーズ? リクルートホールディングス参加の機能会社 ホールディングス傘下の事業会社にテクノロジー
を届ける役目 3
4.
ATL? 正式名称:Advanced Technology
Lab リクルートテクノロジーズにおける R&D 組織 技術のネタをいかに上手く探し(創り)、試し、 ソリューションに仕立てるか?を追求する 4
5.
ATLとOSS ATL ではビックデータ用途を含め多くの
OSS プロジェクトを活用 OSS プロジェクトについて三つの活動(検 証,貢献,公開)を行っている 本発表では,OSS に関する三つの活動の具体例 を紹介する 5
6.
事例:ATL におけるビック データの取り組み
検証:Jubatus, Storm, ElasticSearch etc.. コミット:Apache Spark 公開:ビルドパイプラインツール 6
7.
事例:ATL におけるビック データの取り組み
検証:Jubatus, Storm, ElasticSearch etc.. コミット:Apache Spark 公開:ビルドパイプラインツール 7
8.
事例:検証 多様な BigData
系 OSS を検証 Kafka, Storm, Jubatus etc… いくつかは導入に本格導入に成功 Hadoop, Solr の配備 最近 Elasticsearch を検証した後,検索プラット フォームを構築 8
9.
事例:ATL におけるビック データの取り組み
検証:Jubatus, Storm, Kafka, ElasticSearch etc.. コミット:Apache Spark 公開:ビルドパイプラインツール 9
10.
Apache Spark? 大規模データ処理を行うフレームワーク
Hadoop に比べて 10~100倍高速な処理 Scala で記述 10
11.
Apache Spark エコシステ
ム Spark Core の上にいく つものフレームワークが 存在する. ATL は MLib とよばれる コンポーネントに貢献. 11
12.
MLlib Spark 上で動作する機械学習ライブラリ
分類: Logistic Regression, Naive Bayes クラスタリング: K-means レコメンド: ALS … 12
13.
MLlib へのコミット 様々な手法を実装しマージされる
• 階層型クラスタリング • 距離関数群 • KNN • Canopy Clustering 13
14.
事例:ATL におけるビック データの取り組み
検証:Jubatus, Storm, ElasticSearch etc.. コミット:Apache Spark 公開:ビルドパイプラインツール 14
15.
作成の動機 ビルド,配備の流れが Jenkins
(デプロイプラグ イン)に保存されてしまいポータビリティがない. UI を利用して設定をしないといけない 並列化してデプロイ処理を高速化したい 特に分散して動作するソフトウェア 15
16.
ビルドパイプラインツール Walter !
シンプルなビルドパイプラインを作成 ビルド,デプロイ設定を YAML 形式で記述 記述言語:Go GitHub 上で公開: https://github.com/walter-cd/ walter 16
Download now