Suche senden
Hochladen
大規模サイトを支えるビッグデータプラットフォーム技術
•
39 gefällt mir
•
10,740 views
Yahoo!デベロッパーネットワーク
Folgen
Technologie
Melden
Teilen
Melden
Teilen
1 von 58
Jetzt herunterladen
Downloaden Sie, um offline zu lesen
Empfohlen
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo!デベロッパーネットワーク
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo!デベロッパーネットワーク
Hadoop ~Yahoo! JAPANの活用について~
Hadoop ~Yahoo! JAPANの活用について~
Yahoo!デベロッパーネットワーク
データの見える化で進めるデータドリブンカンパニー #devsumiC
データの見える化で進めるデータドリブンカンパニー #devsumiC
Yahoo!デベロッパーネットワーク
データ利活用を促進するメタデータ
データ利活用を促進するメタデータ
Yahoo!デベロッパーネットワーク
「Data Infrastructure at Scale 」#yjdsw4
「Data Infrastructure at Scale 」#yjdsw4
Yahoo!デベロッパーネットワーク
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!デベロッパーネットワーク
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
Yahoo!デベロッパーネットワーク
Empfohlen
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo! JAPANを支えるビッグデータプラットフォーム技術
Yahoo!デベロッパーネットワーク
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo!デベロッパーネットワーク
Hadoop ~Yahoo! JAPANの活用について~
Hadoop ~Yahoo! JAPANの活用について~
Yahoo!デベロッパーネットワーク
データの見える化で進めるデータドリブンカンパニー #devsumiC
データの見える化で進めるデータドリブンカンパニー #devsumiC
Yahoo!デベロッパーネットワーク
データ利活用を促進するメタデータ
データ利活用を促進するメタデータ
Yahoo!デベロッパーネットワーク
「Data Infrastructure at Scale 」#yjdsw4
「Data Infrastructure at Scale 」#yjdsw4
Yahoo!デベロッパーネットワーク
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!プロモーション広告のビックデータ基盤を支える技術と今後の展望
Yahoo!デベロッパーネットワーク
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
データテクノロジースペシャル:Yahoo! JAPANにおけるメタデータ管理の試み
Yahoo!デベロッパーネットワーク
Investment in Yahoo! JAPAN's dataplatform and business growth by big data
Investment in Yahoo! JAPAN's dataplatform and business growth by big data
DataWorks Summit/Hadoop Summit
Apache Atlasの現状とデータガバナンス事例 #hadoopreading
Apache Atlasの現状とデータガバナンス事例 #hadoopreading
Yahoo!デベロッパーネットワーク
WebDB Forum 2013
WebDB Forum 2013
Recruit Technologies
niconicoにおける継続的なデータ活用のためのHadoop運用事例
niconicoにおける継続的なデータ活用のためのHadoop運用事例
Makoto SHIMURA
データドリブン企業におけるHadoop基盤とETL -niconicoでの実践例-
データドリブン企業におけるHadoop基盤とETL -niconicoでの実践例-
Makoto SHIMURA
Apache Hadoopを利用したビッグデータ分析基盤
Apache Hadoopを利用したビッグデータ分析基盤
Hortonworks Japan
db tech showcase2019 オープニングセッション @ 石川 雅也
db tech showcase2019 オープニングセッション @ 石川 雅也
Insight Technology, Inc.
大規模HDFS & ErasureCoding#yjdsw3
大規模HDFS & ErasureCoding#yjdsw3
Yahoo!デベロッパーネットワーク
分散システム処理モデルの課題および展望#yjdsw3
分散システム処理モデルの課題および展望#yjdsw3
Yahoo!デベロッパーネットワーク
db tech showcase2019オープニングセッション @ 森田 俊哉
db tech showcase2019オープニングセッション @ 森田 俊哉
Insight Technology, Inc.
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...
Insight Technology, Inc.
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分け
Recruit Technologies
MBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごと
Insight Technology, Inc.
リクルートライフスタイルの考えるストリームデータの活かし方(Hadoop Spark Conference2016)
リクルートライフスタイルの考えるストリームデータの活かし方(Hadoop Spark Conference2016)
Atsushi Kurumada
広告における機械学習の適用例とシステムについて
広告における機械学習の適用例とシステムについて
Yahoo!デベロッパーネットワーク
ビッグデータ処理データベースの全体像と使い分け 2018年version
ビッグデータ処理データベースの全体像と使い分け 2018年version
Tetsutaro Watanabe
Lunch & Learn, AWS NoSQL Services
Lunch & Learn, AWS NoSQL Services
Insight Technology, Inc.
大規模クラスタでのHadoop課題
大規模クラスタでのHadoop課題
Yahoo!デベロッパーネットワーク
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
Recruit Technologies
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
Recruit Technologies
課題解決エンジンを支えるデータ処理システムと利活用事例
課題解決エンジンを支えるデータ処理システムと利活用事例
Yahoo!デベロッパーネットワーク
Markezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawa
Shinya Nakazawa
Weitere ähnliche Inhalte
Was ist angesagt?
Investment in Yahoo! JAPAN's dataplatform and business growth by big data
Investment in Yahoo! JAPAN's dataplatform and business growth by big data
DataWorks Summit/Hadoop Summit
Apache Atlasの現状とデータガバナンス事例 #hadoopreading
Apache Atlasの現状とデータガバナンス事例 #hadoopreading
Yahoo!デベロッパーネットワーク
WebDB Forum 2013
WebDB Forum 2013
Recruit Technologies
niconicoにおける継続的なデータ活用のためのHadoop運用事例
niconicoにおける継続的なデータ活用のためのHadoop運用事例
Makoto SHIMURA
データドリブン企業におけるHadoop基盤とETL -niconicoでの実践例-
データドリブン企業におけるHadoop基盤とETL -niconicoでの実践例-
Makoto SHIMURA
Apache Hadoopを利用したビッグデータ分析基盤
Apache Hadoopを利用したビッグデータ分析基盤
Hortonworks Japan
db tech showcase2019 オープニングセッション @ 石川 雅也
db tech showcase2019 オープニングセッション @ 石川 雅也
Insight Technology, Inc.
大規模HDFS & ErasureCoding#yjdsw3
大規模HDFS & ErasureCoding#yjdsw3
Yahoo!デベロッパーネットワーク
分散システム処理モデルの課題および展望#yjdsw3
分散システム処理モデルの課題および展望#yjdsw3
Yahoo!デベロッパーネットワーク
db tech showcase2019オープニングセッション @ 森田 俊哉
db tech showcase2019オープニングセッション @ 森田 俊哉
Insight Technology, Inc.
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...
Insight Technology, Inc.
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分け
Recruit Technologies
MBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごと
Insight Technology, Inc.
リクルートライフスタイルの考えるストリームデータの活かし方(Hadoop Spark Conference2016)
リクルートライフスタイルの考えるストリームデータの活かし方(Hadoop Spark Conference2016)
Atsushi Kurumada
広告における機械学習の適用例とシステムについて
広告における機械学習の適用例とシステムについて
Yahoo!デベロッパーネットワーク
ビッグデータ処理データベースの全体像と使い分け 2018年version
ビッグデータ処理データベースの全体像と使い分け 2018年version
Tetsutaro Watanabe
Lunch & Learn, AWS NoSQL Services
Lunch & Learn, AWS NoSQL Services
Insight Technology, Inc.
大規模クラスタでのHadoop課題
大規模クラスタでのHadoop課題
Yahoo!デベロッパーネットワーク
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
Recruit Technologies
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
Recruit Technologies
Was ist angesagt?
(20)
Investment in Yahoo! JAPAN's dataplatform and business growth by big data
Investment in Yahoo! JAPAN's dataplatform and business growth by big data
Apache Atlasの現状とデータガバナンス事例 #hadoopreading
Apache Atlasの現状とデータガバナンス事例 #hadoopreading
WebDB Forum 2013
WebDB Forum 2013
niconicoにおける継続的なデータ活用のためのHadoop運用事例
niconicoにおける継続的なデータ活用のためのHadoop運用事例
データドリブン企業におけるHadoop基盤とETL -niconicoでの実践例-
データドリブン企業におけるHadoop基盤とETL -niconicoでの実践例-
Apache Hadoopを利用したビッグデータ分析基盤
Apache Hadoopを利用したビッグデータ分析基盤
db tech showcase2019 オープニングセッション @ 石川 雅也
db tech showcase2019 オープニングセッション @ 石川 雅也
大規模HDFS & ErasureCoding#yjdsw3
大規模HDFS & ErasureCoding#yjdsw3
分散システム処理モデルの課題および展望#yjdsw3
分散システム処理モデルの課題および展望#yjdsw3
db tech showcase2019オープニングセッション @ 森田 俊哉
db tech showcase2019オープニングセッション @ 森田 俊哉
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...
ビッグデータ処理データベースの全体像と使い分け
ビッグデータ処理データベースの全体像と使い分け
MBAAで覚えるDBREの大事なおしごと
MBAAで覚えるDBREの大事なおしごと
リクルートライフスタイルの考えるストリームデータの活かし方(Hadoop Spark Conference2016)
リクルートライフスタイルの考えるストリームデータの活かし方(Hadoop Spark Conference2016)
広告における機械学習の適用例とシステムについて
広告における機械学習の適用例とシステムについて
ビッグデータ処理データベースの全体像と使い分け 2018年version
ビッグデータ処理データベースの全体像と使い分け 2018年version
Lunch & Learn, AWS NoSQL Services
Lunch & Learn, AWS NoSQL Services
大規模クラスタでのHadoop課題
大規模クラスタでのHadoop課題
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
リクルートのビッグデータ活用基盤とデータ活用に向けた取組み
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
Ähnlich wie 大規模サイトを支えるビッグデータプラットフォーム技術
課題解決エンジンを支えるデータ処理システムと利活用事例
課題解決エンジンを支えるデータ処理システムと利活用事例
Yahoo!デベロッパーネットワーク
Markezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawa
Shinya Nakazawa
【2017年5月時点】セルフサービスBIからエンタープライズまで展開できるOracle Business Analytics クラウドプラットフォームのご紹介
【2017年5月時点】セルフサービスBIからエンタープライズまで展開できるOracle Business Analytics クラウドプラットフォームのご紹介
オラクルエンジニア通信
Beginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning Hadoop
DataWorks Summit
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
Yahoo!デベロッパーネットワーク
データ分析基盤について
データ分析基盤について
Yuta Inamura
社内外のデータを徹底的に活用する!
社内外のデータを徹底的に活用する!
Talend KK
自然言語処理向け データアノテーションとそのユースケース
自然言語処理向け データアノテーションとそのユースケース
Deep Learning Lab(ディープラーニング・ラボ)
GTMF 2015: ゲーム分析プラットフォームとしてのトレジャーデータサービス | トレジャーデータ株式会社
GTMF 2015: ゲーム分析プラットフォームとしてのトレジャーデータサービス | トレジャーデータ株式会社
Game Tools & Middleware Forum
Gigyaサービスの概要
Gigyaサービスの概要
株式会社トーチライト(Torchlight Inc.)
データプロダクトを支えるビッグデータ基盤
データプロダクトを支えるビッグデータ基盤
Google Cloud Platform - Japan
2023フライウィール会社紹介_導入事例集.pdf
2023フライウィール会社紹介_導入事例集.pdf
FLYWHEEL Inc.
ビッグデータはバズワードか? (Cloudian Summit 2012)
ビッグデータはバズワードか? (Cloudian Summit 2012)
CLOUDIAN KK
S09_プライバシー規約準拠の基本! Amazon S3 やオンプレ SQL もサポートする Azure Purview による情報分類と管理 [Micr...
S09_プライバシー規約準拠の基本! Amazon S3 やオンプレ SQL もサポートする Azure Purview による情報分類と管理 [Micr...
日本マイクロソフト株式会社
E-commerce企業におけるビッグデータへの挑戦と課題‐機械学習への期待について‐
E-commerce企業におけるビッグデータへの挑戦と課題‐機械学習への期待について‐
Rakuten Group, Inc.
ビッグデータのセキュリティ/プライバシーにおける十大脅威(日本語訳)
ビッグデータのセキュリティ/プライバシーにおける十大脅威(日本語訳)
Eiji Sasahara, Ph.D., MBA 笹原英司
データ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリング
Recruit Lifestyle Co., Ltd.
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
Insight Technology, Inc.
Expectations and reality of hybrid cloud
Expectations and reality of hybrid cloud
Naoki Yonezu
【14-B-2】グリーを支えるデータ分析基盤の過去と現在(橋本泰一〔グリー〕)
【14-B-2】グリーを支えるデータ分析基盤の過去と現在(橋本泰一〔グリー〕)
Developers Summit
Ähnlich wie 大規模サイトを支えるビッグデータプラットフォーム技術
(20)
課題解決エンジンを支えるデータ処理システムと利活用事例
課題解決エンジンを支えるデータ処理システムと利活用事例
Markezine day 2012 gdo nakazawa
Markezine day 2012 gdo nakazawa
【2017年5月時点】セルフサービスBIからエンタープライズまで展開できるOracle Business Analytics クラウドプラットフォームのご紹介
【2017年5月時点】セルフサービスBIからエンタープライズまで展開できるOracle Business Analytics クラウドプラットフォームのご紹介
Beginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning Hadoop
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
YJTC18 D-7 Yahoo!ショッピングのサービスデータ活用事例
データ分析基盤について
データ分析基盤について
社内外のデータを徹底的に活用する!
社内外のデータを徹底的に活用する!
自然言語処理向け データアノテーションとそのユースケース
自然言語処理向け データアノテーションとそのユースケース
GTMF 2015: ゲーム分析プラットフォームとしてのトレジャーデータサービス | トレジャーデータ株式会社
GTMF 2015: ゲーム分析プラットフォームとしてのトレジャーデータサービス | トレジャーデータ株式会社
Gigyaサービスの概要
Gigyaサービスの概要
データプロダクトを支えるビッグデータ基盤
データプロダクトを支えるビッグデータ基盤
2023フライウィール会社紹介_導入事例集.pdf
2023フライウィール会社紹介_導入事例集.pdf
ビッグデータはバズワードか? (Cloudian Summit 2012)
ビッグデータはバズワードか? (Cloudian Summit 2012)
S09_プライバシー規約準拠の基本! Amazon S3 やオンプレ SQL もサポートする Azure Purview による情報分類と管理 [Micr...
S09_プライバシー規約準拠の基本! Amazon S3 やオンプレ SQL もサポートする Azure Purview による情報分類と管理 [Micr...
E-commerce企業におけるビッグデータへの挑戦と課題‐機械学習への期待について‐
E-commerce企業におけるビッグデータへの挑戦と課題‐機械学習への期待について‐
ビッグデータのセキュリティ/プライバシーにおける十大脅威(日本語訳)
ビッグデータのセキュリティ/プライバシーにおける十大脅威(日本語訳)
データ分析基盤を支えるエンジニアリング
データ分析基盤を支えるエンジニアリング
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
[db tech showcase Tokyo 2016] B15: サイバーエージェント アドテクスタジオの次世代データ分析基盤紹介 by 株式会社サイ...
Expectations and reality of hybrid cloud
Expectations and reality of hybrid cloud
【14-B-2】グリーを支えるデータ分析基盤の過去と現在(橋本泰一〔グリー〕)
【14-B-2】グリーを支えるデータ分析基盤の過去と現在(橋本泰一〔グリー〕)
Mehr von Yahoo!デベロッパーネットワーク
ゼロから始める転移学習
ゼロから始める転移学習
Yahoo!デベロッパーネットワーク
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator
Yahoo!デベロッパーネットワーク
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
Yahoo!デベロッパーネットワーク
オンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッション
Yahoo!デベロッパーネットワーク
LakeTahoe
LakeTahoe
Yahoo!デベロッパーネットワーク
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
Yahoo!デベロッパーネットワーク
Persistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability Feature
Yahoo!デベロッパーネットワーク
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
Yahoo!デベロッパーネットワーク
eコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtc
Yahoo!デベロッパーネットワーク
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
Yahoo!デベロッパーネットワーク
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo!デベロッパーネットワーク
ビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtc
Yahoo!デベロッパーネットワーク
サイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtc
Yahoo!デベロッパーネットワーク
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
Yahoo!デベロッパーネットワーク
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo!デベロッパーネットワーク
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
Yahoo!デベロッパーネットワーク
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
Yahoo!デベロッパーネットワーク
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
Yahoo!デベロッパーネットワーク
「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc
Yahoo!デベロッパーネットワーク
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
Yahoo!デベロッパーネットワーク
Mehr von Yahoo!デベロッパーネットワーク
(20)
ゼロから始める転移学習
ゼロから始める転移学習
継続的なモデルモニタリングを実現するKubernetes Operator
継続的なモデルモニタリングを実現するKubernetes Operator
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
ヤフーでは開発迅速性と品質のバランスをどう取ってるか
オンプレML基盤on Kubernetes パネルディスカッション
オンプレML基盤on Kubernetes パネルディスカッション
LakeTahoe
LakeTahoe
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
オンプレML基盤on Kubernetes 〜Yahoo! JAPAN AIPF〜
Persistent-memory-native Database High-availability Feature
Persistent-memory-native Database High-availability Feature
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
データの価値を最大化させるためのデザイン~データビジュアライゼーションの方法~ #devsumi 17-E-2
eコマースと実店舗の相互利益を目指したデザイン #yjtc
eコマースと実店舗の相互利益を目指したデザイン #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
ヤフーを支えるセキュリティ ~サイバー攻撃を防ぐエンジニアの仕事とは~ #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
Yahoo! JAPANのIaaSを支えるKubernetesクラスタ、アップデート自動化への挑戦 #yjtc
ビッグデータから人々のムードを捉える #yjtc
ビッグデータから人々のムードを捉える #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtc
サイエンス領域におけるMLOpsの取り組み #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
ヤフーのAIプラットフォーム紹介 ~AIテックカンパニーを支えるデータ基盤~ #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
Yahoo! JAPAN Tech Conference 2022 Day2 Keynote #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
新技術を使った次世代の商品の見せ方 ~ヤフオク!のマルチビュー機能~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
PC版Yahoo!メールリニューアル ~サービスのUI/UX統合と改善プロセス~ #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
モブデザインによる多職種チームのコミュニケーション改善 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc
「新しいおうち探し」のためのAIアシスト検索 #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
ユーザーの地域を考慮した検索入力補助機能の改善の試み #yjtc
Kürzlich hochgeladen
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
sugiuralab
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
akihisamiyanaga1
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
UEHARA, Tetsutaro
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
FumieNakayama
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
博三 太田
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
Yuki Kikuchi
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
Hiroshi Tomioka
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
FumieNakayama
Kürzlich hochgeladen
(8)
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
TataPixel: 畳の異方性を利用した切り替え可能なディスプレイの提案
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
CTO, VPoE, テックリードなどリーダーポジションに登用したくなるのはどんな人材か?
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
デジタル・フォレンジックの最新動向(2024年4月27日情洛会総会特別講演スライド)
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
クラウドネイティブなサーバー仮想化基盤 - OpenShift Virtualization.pdf
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
モーダル間の変換後の一致性とジャンル表を用いた解釈可能性の考察 ~Text-to-MusicとText-To-ImageかつImage-to-Music...
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
自分史上一番早い2024振り返り〜コロナ後、仕事は通常ペースに戻ったか〜 by IoT fullstack engineer
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
業務で生成AIを活用したい人のための生成AI入門講座(社外公開版:キンドリルジャパン社内勉強会:2024年4月発表)
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
AWS の OpenShift サービス (ROSA) を使った OpenShift Virtualizationの始め方.pdf
大規模サイトを支えるビッグデータプラットフォーム技術
1.
1Privileged and Confidential 大規模サイトを支える ビッグデータ プラットフォーム技術 遠峯
康夫 データソリューション本部 ヤフー株式会社
2.
自己紹介 Privileged and Confidential
2 遠峯 康夫(とおみね やすお) 事業戦略統括本部 データソリューション本部 データインフラ開発部 2010年 新卒入社 Hadoopクラスタ立ち上げの部署に配属 2012年 データソリューション配属 Hadoop、リアルタイム処理基盤などを担当
3.
Privileged and Confidential
3 is
4.
Privileged and Confidential
4 … … …
5.
Privileged and Confidential
5 … … … あらゆるジャンルの ビッグデータを保有
6.
目次 Privileged and Confidential
6 月間総ページビュー数 (2013年1-3月平均)
7.
Privileged and Confidential
7 年間ユニーク検索クエリ数 (Yahoo! JAPAN調べ)
8.
ビッグデータはユーザーのために利活用 Privileged and Confidential
8 ページビュー 広告ログ 検索クエリ 購買履歴 データ 処理 ・・・ アクセス解析 効果測定 日本語処理 マルチメディア処理 レコメンデーション ターゲティング データフィード ! ユーザー属性 ビッグデータはユーザーの課題解決につながる
9.
利活用事例 Privileged and Confidential
9 サービス改善
10.
利活用事例 Privileged and Confidential
10 縦22ピクセル 縦28ピクセル サービス改善
11.
利活用事例 Privileged and Confidential
11 縦22ピクセル 縦28ピクセル サービス改善
12.
利活用事例 Privileged and Confidential
12 ¥ ターゲティング広告 PR 閲覧 検索キーワード 購買 広告 閲覧/クリック … 興味関心を推定し 最適な広告を掲出
13.
利活用事例 Privileged and Confidential
13 レコメンデーション キーワード入力補助 音声アシスト (音声認識、意図解析)
14.
利活用事例 Privileged and Confidential
14 アクセス解析 マーケットインテリジェンス
15.
利活用事例 Privileged and Confidential
15 アクセス解析 マーケットインテリジェンス
16.
利活用事例 Privileged and Confidential
16 ビッグデータレポート
17.
目次 Privileged and Confidential
17 どのようなシステムでデータを 処理しているのか?
18.
データインフラ概要 Privileged and Confidential
18 ・ ・ ・ Storm 生成 収集 格納・処理 利活用
19.
Privileged and Confidential
19 Yahoo! JAPANの Hadoopについて
20.
Yahoo! JAPANのHadoopについて –
目次 Privileged and Confidential 20 1. Yahoo! JAPANのHadoop構成 2. Yahoo! JAPANのHadoop規模 3. Yahoo! JAPANのHadoopの特色 4. チューニング事例 5. 機材の選び方 6. 今後の展望
21.
Privileged and Confidential
21 Yahoo! JAPANの Hadoop構成
22.
Yahoo! JAPANのHadoop構成 –
クラスタ Privileged and Confidential 22 本番系:2クラスタ Production Cluster1 開発系:6クラスタ Production Cluster2 開発系は本番と比べると非常に小さいクラスタ 次期投入バージョンの検証なども実施
23.
Yahoo! JAPANのHadoop構成 –
エコシステム Privileged and Confidential 23 Oozie,Pig,Hive等のエコシステムを活用
24.
Hadoopを中心とした周辺システムとの連携 Privileged and Confidential
24 Storm DataHighway データ入力 一次加工データ 分析用データ連携
25.
DataHighwayについて Privileged and Confidential
25 Storm DataHighway データ入力 一次加工データ 分析用データ連携
26.
DataHighwayについて Privileged and Confidential
26 とは? Yahoo! JAPANで利用しているログ収集プロダクト 全てのWeblogを回収する仕組み 大量のデータを処理できる環境に運ぶために 必須の仕組み DataHighwayの規模 ・回収先:約8,500台 ・データ転送量:約13TB/day DataHighway
27.
Stormについて Privileged and Confidential
27 Storm DataHighway データ入力 一次加工データ 分析用データ連携
28.
Stormについて Privileged and Confidential
28 Stormとは? Twitter社がOSSとして公開している、 分散ストリーム処理プラットフォーム (リアルタイムに)逐次流れてくるデータを 即時に処理していこうという仕組み。 Yahoo! JAPANでの活用例 ・各ページのリンクのクリック速報 ・広告改善のための一次データ加工 ・スマートフォンアプリのエラー速報 など
29.
Teradataについて Privileged and Confidential
29 Storm DataHighway データ入力 一次加工データ 分析用データ連携
30.
Teradataについて Privileged and Confidential
30 とは? Teradata社の商用RDBMS 並列分散処理で、高速にSQLを実行できる Yahoo! JAPANでは、 主にアナリストの分析用途として活用 Yahoo! JAPANでの活用例 ・広告レポートの抽出 ・広告モデルの効果測定 など
31.
Hadoopだけではなく適切な役割分担が必要 Privileged and Confidential
31 Storm ・大規模バッチ処理 ・大規模アドホック処理 ・大量データの蓄積 ・リアルタイム処理 ・逐次流れるデータの一次加工 ・大規模な結合処理 ・高速なアドホック分析処理
32.
Privileged and Confidential
32 Yahoo! JAPANの Hadoopの規模
33.
Yahoo! JAPANのHadoop規模 Privileged and
Confidential 33 約3,500台 その規模感は?
34.
Yahoo! JAPANのHadoop規模感 Privileged and
Confidential 34 ・1日に故障するサーバ台数 約1.5台/day ・1日にRead/Writeされるデータ量 Read:約750TB/day Write:約60TB/day ・1日に処理されるJobの積算時間 約1,000時間/day
35.
Privileged and Confidential
35 Yahoo! JAPANの Hadoopの特色
36.
Yahoo! JAPANのHadoop特色 Privileged and
Confidential 36 400ユーザを超える規模での マルチテナンシー運用
37.
どれくらいマルチテナンシー? Privileged and Confidential
37 ・平均同時実行Job数 ・同時最大実行ユーザ数 ・最大同時実行Job数 約40Job 120Job超 約30ユーザ
38.
マルチテナンシーの難しさ Privileged and Confidential
38 いかに安定して マルチテナント運用を行うか
39.
状況の可視化 Privileged and Confidential
39 リソース使用状況の可視化 ある一日の利用状況 グラフの色でどの部署(ユーザ)がどの程度利用しているかを可視化 最大能力 使用量
40.
状況の可視化 Privileged and Confidential
40 もちろん、曜日によって使われ方も違う 濃青は主に個人ユーザのアドホック利用 土日はあまり使われていないのがわかる
41.
マルチテナントでうまく回すために Privileged and Confidential
41 ・利用者による一定の自治 ・リソースキャパシティの定期的な見直し ・スケジューラ設定のチューニング 先の可視化グラフをユーザに見せ、 空いている時間帯を自ら選んでもらう。 部署毎に利用できるリソースの量に違いを持たせる。 利用率などを見て定期的に見直し。 Job同士のリソースの分け方に最適値はない。 トライアンドエラーで最も良いものを探し続ける。
42.
Privileged and Confidential
42 Yahoo! JAPANでの チューニング事例
43.
チューニングの内容 Privileged and Confidential
43 タスクslot数の最適化 タスクslot数とは? 単純に言うと、どれだけHadoopで 並列処理をさせるかの指標 これを多く出来れば、 同じ機材でより処理効率が高まる。 ここの高さを高くするということ
44.
チューニングの一例 – 現状の分析 Privileged
and Confidential 44 様々な指標を確認 ・当然、個別のノードの指標(CPU,Mem,Disk等)は重要 ・個別のノードだけでなく、 システム全体の指標(スイッチのトラフィック等)もとても重要
45.
チューニングの一例 – 気をつける項目の一例 Privileged
and Confidential 45 気をつける項目の一例 ・個別のノード(計算ノード側) ・CPU(特にwaitIO) ・Memory ・Disk(IObusy, queue) ・LoadAverage ・インターフェーストラフィック ・システム全体(スイッチ、マスタノード等) ・スイッチトラフィック ・マスタノードリソース(CPU, Mem, etc…) 個別のノードの指標に集中しすぎると、 システム全体のデグレに気付かない可能性がある
46.
チューニングの一例 – 結果 Privileged
and Confidential 46 チューニングの成果 チューニング実施 実施後の最大性能 50%向上
47.
Privileged and Confidential
47 機材の選び方
48.
「コモディティ」が大切 Privileged and Confidential
48 コモディティな機材を選ぶ コモディティ = 低性能・低価格 ディスク:CPUコア数 メモリ:CPUコア数 これらの比率に特に注意して選定 HBase等、使うエコシステムは事前に考えておく コモディティ = 最高のコスパ
49.
Yahoo! JAPANで使っている機材の一例 Privileged and
Confidential 49 メモリ : 64GB CPU : 12コア24スレッド ディスク : 3TB × 4ディスク Yahoo! JAPANでも当初それに倣い構成を計画 ディスクIOがネックになると言うのがHadoopのセオリー 定期的な計測により、ディスクを重視しない(CPU重視) のYahoo! JAPANの現在に合った構成に 処理に応じた適切な構成を選択する必要がある
50.
Privileged and Confidential
50 今後の展望
51.
今後の課題 Privileged and Confidential
51 安定性 基本的に安定的に運用できているが、 単一障害点(SPOF)があるのがネック 拡張性 MapReduceだけでは 今後の処理ニーズに対応しきれない 新しいフレームワークの模索の必要性
52.
今後の展開の一つのケースとして Privileged and Confidential
52 Hadoop-2.xの導入 単一障害点(SPOF)であったNameNodeの可用性が向上 より信頼のおけるシステムへ ・NameNode-HA ・YARN JobTrackerというSPOFのあったアーキテクチャを改良 全くJobが動かせなくなる可能性を低減 MapReduceのみならない多様なフレームワークの可能性 ※YARNの安定にはもう少し時間がかかりそうですが
53.
Privileged and Confidential
53 Ready?
54.
目次 Privileged and Confidential
54 どのようにしてビッグデータを 利活用しているのか? 全員がデータに触れることが重要 データは一部の人だけのものではない
55.
目次 Privileged and Confidential
55 どのようにしてビッグデータを 利活用しているのか? 全員がデータに触れられる環境
56.
まとめ Privileged and Confidential
56 ・Yahoo! JAPANはあらゆるジャンルの ビッグデータを保有 ・Hadoopを中心としたデータ処理システム を構築、運用 ・データを効果的に利活用するには 技術面だけでなく組織面での整備も必要
57.
Privileged and Confidential
57 データで、ユーザーファーストを実現
58.
Privileged and Confidential
58
Jetzt herunterladen