Submit Search
Upload
20130313 OSCA Hadoopセミナー
•
2 likes
•
3,791 views
Ichiro Fukuda
Follow
AmebaサービスでのHadoop活用事例を紹介させていただきました。
Read less
Read more
Technology
Report
Share
Report
Share
1 of 28
Download now
Download to read offline
Recommended
Webdb2011 hadoop
Webdb2011 hadoop
Ichiro Fukuda
Hadoop conferencejapan2011
Hadoop conferencejapan2011
Ichiro Fukuda
sparksql-hive-bench-by-nec-hwx-at-hcj16
sparksql-hive-bench-by-nec-hwx-at-hcj16
Yifeng Jiang
Data Science on Hadoop
Data Science on Hadoop
Yifeng Jiang
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
NTT DATA OSS Professional Services
Hadoop ~Yahoo! JAPANの活用について~
Hadoop ~Yahoo! JAPANの活用について~
Yahoo!デベロッパーネットワーク
リクルートテクノロジーズ における EMR の活用とコスト圧縮方法
リクルートテクノロジーズ における EMR の活用とコスト圧縮方法
Tetsutaro Watanabe
Case Study: OLAP usability on Spark and Hadoop
Case Study: OLAP usability on Spark and Hadoop
DataWorks Summit/Hadoop Summit
Recommended
Webdb2011 hadoop
Webdb2011 hadoop
Ichiro Fukuda
Hadoop conferencejapan2011
Hadoop conferencejapan2011
Ichiro Fukuda
sparksql-hive-bench-by-nec-hwx-at-hcj16
sparksql-hive-bench-by-nec-hwx-at-hcj16
Yifeng Jiang
Data Science on Hadoop
Data Science on Hadoop
Yifeng Jiang
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
SQL on Hadoop 比較検証 【2014月11日における検証レポート】
NTT DATA OSS Professional Services
Hadoop ~Yahoo! JAPANの活用について~
Hadoop ~Yahoo! JAPANの活用について~
Yahoo!デベロッパーネットワーク
リクルートテクノロジーズ における EMR の活用とコスト圧縮方法
リクルートテクノロジーズ における EMR の活用とコスト圧縮方法
Tetsutaro Watanabe
Case Study: OLAP usability on Spark and Hadoop
Case Study: OLAP usability on Spark and Hadoop
DataWorks Summit/Hadoop Summit
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo!デベロッパーネットワーク
Aerospike deep dive migration
Aerospike deep dive migration
Makoto Uehara
【14-B-2】グリーを支えるデータ分析基盤の過去と現在(橋本泰一〔グリー〕)
【14-B-2】グリーを支えるデータ分析基盤の過去と現在(橋本泰一〔グリー〕)
Developers Summit
スキーマレスカラムナフォーマット「Yosegi」で実現する スキーマの柔軟性と処理性能を両立したログ収集システム / Hadoop / Spark Con...
スキーマレスカラムナフォーマット「Yosegi」で実現する スキーマの柔軟性と処理性能を両立したログ収集システム / Hadoop / Spark Con...
Yahoo!デベロッパーネットワーク
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
YusukeKuramata
Hadoop最新事情とHortonworks Data Platform
Hadoop最新事情とHortonworks Data Platform
Yuta Imai
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...
Insight Technology, Inc.
ビッグデータ関連Oss動向調査とニーズ分析
ビッグデータ関連Oss動向調査とニーズ分析
Yukio Yoshida
HiveとImpalaのおいしいとこ取り
HiveとImpalaのおいしいとこ取り
Yukinori Suda
Gcpug tokyo february 2016
Gcpug tokyo february 2016
Makoto Uehara
Hadoopエコシステムの最新動向とNTTデータの取り組み (OSC 2016 Tokyo/Spring 講演資料)
Hadoopエコシステムの最新動向とNTTデータの取り組み (OSC 2016 Tokyo/Spring 講演資料)
NTT DATA OSS Professional Services
SparkやBigQueryなどを用いたモバイルゲーム分析環境
SparkやBigQueryなどを用いたモバイルゲーム分析環境
yuichi_komatsu
Cloudera World Tokyo 2015 Oracleセッション資料 「ビッグデータ/IoTの最新事例とHadoop活用の勘所」
Cloudera World Tokyo 2015 Oracleセッション資料 「ビッグデータ/IoTの最新事例とHadoop活用の勘所」
オラクルエンジニア通信
Impala + Kudu を用いたデータウェアハウス構築の勘所 (仮)
Impala + Kudu を用いたデータウェアハウス構築の勘所 (仮)
Cloudera Japan
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
NTT DATA OSS Professional Services
Apache Atlasの現状とデータガバナンス事例 #hadoopreading
Apache Atlasの現状とデータガバナンス事例 #hadoopreading
Yahoo!デベロッパーネットワーク
Hadoop Conference Japan_2016 セッション「顧客事例から学んだ、 エンタープライズでの "マジな"Hadoop導入の勘所」
Hadoop Conference Japan_2016 セッション「顧客事例から学んだ、 エンタープライズでの "マジな"Hadoop導入の勘所」
オラクルエンジニア通信
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
Developers Summit
Apache Hadoopの現在と未来
Apache Hadoopの現在と未来
Yahoo!デベロッパーネットワーク
Yahoo! JAPANでのHadoop利用について
Yahoo! JAPANでのHadoop利用について
Yahoo!デベロッパーネットワーク
Impalaチューニングポイントベストプラクティス
Impalaチューニングポイントベストプラクティス
Yahoo!デベロッパーネットワーク
Cloudera Impalaをサービスに組み込むときに苦労した話
Cloudera Impalaをサービスに組み込むときに苦労した話
Yukinori Suda
More Related Content
What's hot
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo!デベロッパーネットワーク
Aerospike deep dive migration
Aerospike deep dive migration
Makoto Uehara
【14-B-2】グリーを支えるデータ分析基盤の過去と現在(橋本泰一〔グリー〕)
【14-B-2】グリーを支えるデータ分析基盤の過去と現在(橋本泰一〔グリー〕)
Developers Summit
スキーマレスカラムナフォーマット「Yosegi」で実現する スキーマの柔軟性と処理性能を両立したログ収集システム / Hadoop / Spark Con...
スキーマレスカラムナフォーマット「Yosegi」で実現する スキーマの柔軟性と処理性能を両立したログ収集システム / Hadoop / Spark Con...
Yahoo!デベロッパーネットワーク
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
YusukeKuramata
Hadoop最新事情とHortonworks Data Platform
Hadoop最新事情とHortonworks Data Platform
Yuta Imai
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...
Insight Technology, Inc.
ビッグデータ関連Oss動向調査とニーズ分析
ビッグデータ関連Oss動向調査とニーズ分析
Yukio Yoshida
HiveとImpalaのおいしいとこ取り
HiveとImpalaのおいしいとこ取り
Yukinori Suda
Gcpug tokyo february 2016
Gcpug tokyo february 2016
Makoto Uehara
Hadoopエコシステムの最新動向とNTTデータの取り組み (OSC 2016 Tokyo/Spring 講演資料)
Hadoopエコシステムの最新動向とNTTデータの取り組み (OSC 2016 Tokyo/Spring 講演資料)
NTT DATA OSS Professional Services
SparkやBigQueryなどを用いたモバイルゲーム分析環境
SparkやBigQueryなどを用いたモバイルゲーム分析環境
yuichi_komatsu
Cloudera World Tokyo 2015 Oracleセッション資料 「ビッグデータ/IoTの最新事例とHadoop活用の勘所」
Cloudera World Tokyo 2015 Oracleセッション資料 「ビッグデータ/IoTの最新事例とHadoop活用の勘所」
オラクルエンジニア通信
Impala + Kudu を用いたデータウェアハウス構築の勘所 (仮)
Impala + Kudu を用いたデータウェアハウス構築の勘所 (仮)
Cloudera Japan
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
NTT DATA OSS Professional Services
Apache Atlasの現状とデータガバナンス事例 #hadoopreading
Apache Atlasの現状とデータガバナンス事例 #hadoopreading
Yahoo!デベロッパーネットワーク
Hadoop Conference Japan_2016 セッション「顧客事例から学んだ、 エンタープライズでの "マジな"Hadoop導入の勘所」
Hadoop Conference Japan_2016 セッション「顧客事例から学んだ、 エンタープライズでの "マジな"Hadoop導入の勘所」
オラクルエンジニア通信
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
Developers Summit
Apache Hadoopの現在と未来
Apache Hadoopの現在と未来
Yahoo!デベロッパーネットワーク
Yahoo! JAPANでのHadoop利用について
Yahoo! JAPANでのHadoop利用について
Yahoo!デベロッパーネットワーク
What's hot
(20)
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Yahoo! JAPANのデータ基盤とHadoop #dbts2016
Aerospike deep dive migration
Aerospike deep dive migration
【14-B-2】グリーを支えるデータ分析基盤の過去と現在(橋本泰一〔グリー〕)
【14-B-2】グリーを支えるデータ分析基盤の過去と現在(橋本泰一〔グリー〕)
スキーマレスカラムナフォーマット「Yosegi」で実現する スキーマの柔軟性と処理性能を両立したログ収集システム / Hadoop / Spark Con...
スキーマレスカラムナフォーマット「Yosegi」で実現する スキーマの柔軟性と処理性能を両立したログ収集システム / Hadoop / Spark Con...
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
ビッグデータ活用を加速する!分散SQLエンジン Spark SQL のご紹介 20161105 OSC Tokyo Fall
Hadoop最新事情とHortonworks Data Platform
Hadoop最新事情とHortonworks Data Platform
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...
[db tech showcase Tokyo 2016] B31: Spark Summit 2016@SFに参加してきたので最新事例などを紹介しつつデ...
ビッグデータ関連Oss動向調査とニーズ分析
ビッグデータ関連Oss動向調査とニーズ分析
HiveとImpalaのおいしいとこ取り
HiveとImpalaのおいしいとこ取り
Gcpug tokyo february 2016
Gcpug tokyo february 2016
Hadoopエコシステムの最新動向とNTTデータの取り組み (OSC 2016 Tokyo/Spring 講演資料)
Hadoopエコシステムの最新動向とNTTデータの取り組み (OSC 2016 Tokyo/Spring 講演資料)
SparkやBigQueryなどを用いたモバイルゲーム分析環境
SparkやBigQueryなどを用いたモバイルゲーム分析環境
Cloudera World Tokyo 2015 Oracleセッション資料 「ビッグデータ/IoTの最新事例とHadoop活用の勘所」
Cloudera World Tokyo 2015 Oracleセッション資料 「ビッグデータ/IoTの最新事例とHadoop活用の勘所」
Impala + Kudu を用いたデータウェアハウス構築の勘所 (仮)
Impala + Kudu を用いたデータウェアハウス構築の勘所 (仮)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
Apache Atlasの現状とデータガバナンス事例 #hadoopreading
Apache Atlasの現状とデータガバナンス事例 #hadoopreading
Hadoop Conference Japan_2016 セッション「顧客事例から学んだ、 エンタープライズでの "マジな"Hadoop導入の勘所」
Hadoop Conference Japan_2016 セッション「顧客事例から学んだ、 エンタープライズでの "マジな"Hadoop導入の勘所」
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
Apache Hadoopの現在と未来
Apache Hadoopの現在と未来
Yahoo! JAPANでのHadoop利用について
Yahoo! JAPANでのHadoop利用について
Viewers also liked
Impalaチューニングポイントベストプラクティス
Impalaチューニングポイントベストプラクティス
Yahoo!デベロッパーネットワーク
Cloudera Impalaをサービスに組み込むときに苦労した話
Cloudera Impalaをサービスに組み込むときに苦労した話
Yukinori Suda
Hadoop導入事例 in クックパッド
Hadoop導入事例 in クックパッド
Tatsuya Sasaki
Cloudera impalaの性能評価(Hiveとの比較)
Cloudera impalaの性能評価(Hiveとの比較)
Yukinori Suda
20140708 オンラインゲームソリューション
20140708 オンラインゲームソリューション
Takahiro Inoue
Hadoop Conference Japan 2009 #1
Hadoop Conference Japan 2009 #1
Rakuten Group, Inc.
基礎から学ぶ超並列SQLエンジンImpala #cwt2015
基礎から学ぶ超並列SQLエンジンImpala #cwt2015
Cloudera Japan
リクルートにおけるhadoop活用事例+α
リクルートにおけるhadoop活用事例+α
Recruit Technologies
お見合いで趣味を聞かれたときに 「IoTとビッグデータを少々」と答えたいSEが読む資料
お見合いで趣味を聞かれたときに 「IoTとビッグデータを少々」と答えたいSEが読む資料
Monta Yashi
Business Innovation cases driven by AI and BigData technologies
Business Innovation cases driven by AI and BigData technologies
DataWorks Summit/Hadoop Summit
Investment in Yahoo! JAPAN's dataplatform and business growth by big data
Investment in Yahoo! JAPAN's dataplatform and business growth by big data
DataWorks Summit/Hadoop Summit
Impala use case @ Zoosk
Impala use case @ Zoosk
Cloudera, Inc.
金融機関でのHive/Presto事例紹介
金融機関でのHive/Presto事例紹介
Amazon Web Services Japan
1000台規模のHadoopクラスタをHive/Tezアプリケーションにあわせてパフォーマンスチューニングした話
1000台規模のHadoopクラスタをHive/Tezアプリケーションにあわせてパフォーマンスチューニングした話
Yahoo!デベロッパーネットワーク
NetflixにおけるPresto/Spark活用事例
NetflixにおけるPresto/Spark活用事例
Amazon Web Services Japan
SEGA : Growth hacking by Spark ML for Mobile games
SEGA : Growth hacking by Spark ML for Mobile games
DataWorks Summit/Hadoop Summit
Amebaにおけるレコメンデーションシステムの紹介
Amebaにおけるレコメンデーションシステムの紹介
cyberagent
Hadoop’s Impact on Recruit Company
Hadoop’s Impact on Recruit Company
Recruit Technologies
Oracle Big Data SQL3.1のご紹介
Oracle Big Data SQL3.1のご紹介
オラクルエンジニア通信
Sparkを活用したレコメンドエンジンのパフォーマンスチューニング&自動化
Sparkを活用したレコメンドエンジンのパフォーマンスチューニング&自動化
Nagato Kasaki
Viewers also liked
(20)
Impalaチューニングポイントベストプラクティス
Impalaチューニングポイントベストプラクティス
Cloudera Impalaをサービスに組み込むときに苦労した話
Cloudera Impalaをサービスに組み込むときに苦労した話
Hadoop導入事例 in クックパッド
Hadoop導入事例 in クックパッド
Cloudera impalaの性能評価(Hiveとの比較)
Cloudera impalaの性能評価(Hiveとの比較)
20140708 オンラインゲームソリューション
20140708 オンラインゲームソリューション
Hadoop Conference Japan 2009 #1
Hadoop Conference Japan 2009 #1
基礎から学ぶ超並列SQLエンジンImpala #cwt2015
基礎から学ぶ超並列SQLエンジンImpala #cwt2015
リクルートにおけるhadoop活用事例+α
リクルートにおけるhadoop活用事例+α
お見合いで趣味を聞かれたときに 「IoTとビッグデータを少々」と答えたいSEが読む資料
お見合いで趣味を聞かれたときに 「IoTとビッグデータを少々」と答えたいSEが読む資料
Business Innovation cases driven by AI and BigData technologies
Business Innovation cases driven by AI and BigData technologies
Investment in Yahoo! JAPAN's dataplatform and business growth by big data
Investment in Yahoo! JAPAN's dataplatform and business growth by big data
Impala use case @ Zoosk
Impala use case @ Zoosk
金融機関でのHive/Presto事例紹介
金融機関でのHive/Presto事例紹介
1000台規模のHadoopクラスタをHive/Tezアプリケーションにあわせてパフォーマンスチューニングした話
1000台規模のHadoopクラスタをHive/Tezアプリケーションにあわせてパフォーマンスチューニングした話
NetflixにおけるPresto/Spark活用事例
NetflixにおけるPresto/Spark活用事例
SEGA : Growth hacking by Spark ML for Mobile games
SEGA : Growth hacking by Spark ML for Mobile games
Amebaにおけるレコメンデーションシステムの紹介
Amebaにおけるレコメンデーションシステムの紹介
Hadoop’s Impact on Recruit Company
Hadoop’s Impact on Recruit Company
Oracle Big Data SQL3.1のご紹介
Oracle Big Data SQL3.1のご紹介
Sparkを活用したレコメンドエンジンのパフォーマンスチューニング&自動化
Sparkを活用したレコメンドエンジンのパフォーマンスチューニング&自動化
Similar to 20130313 OSCA Hadoopセミナー
メッセージングプラットフォーム Zimbra の紹介とその活用術 - JJUG ナイトセミナー2013/3
メッセージングプラットフォーム Zimbra の紹介とその活用術 - JJUG ナイトセミナー2013/3
日本Javaユーザーグループ
Beginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning Hadoop
DataWorks Summit
リクルート式Hadoopの使い方
リクルート式Hadoopの使い方
Recruit Technologies
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
YusukeKuramata
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
Takahiro Inoue
Hadoop, NoSQL, GlusterFSの概要
Hadoop, NoSQL, GlusterFSの概要
日本ヒューレット・パッカード株式会社
Java Clientで入門する Apache Kafka #jjug_ccc #ccc_e2
Java Clientで入門する Apache Kafka #jjug_ccc #ccc_e2
Yahoo!デベロッパーネットワーク
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
Recruit Technologies
Yahoo! JAPANとRiak
Yahoo! JAPANとRiak
Yahoo!デベロッパーネットワーク
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
Recruit Technologies
20100930 sig startups
20100930 sig startups
Ichiro Fukuda
泥臭い運用から、プログラマブルインフラ構築(に行きたい)
泥臭い運用から、プログラマブルインフラ構築(に行きたい)
Akihiro Kuwano
Yahoo! JAPANのコンテンツプラットフォームを支えるSpring Cloud Streamによるマイクロサービスアーキテクチャ #jsug #sf_52
Yahoo! JAPANのコンテンツプラットフォームを支えるSpring Cloud Streamによるマイクロサービスアーキテクチャ #jsug #sf_52
Yahoo!デベロッパーネットワーク
ビッグデータ処理データベースの全体像と使い分け - 2017年 Version -
ビッグデータ処理データベースの全体像と使い分け - 2017年 Version -
Tetsutaro Watanabe
TokyoWebminig カジュアルなHadoop
TokyoWebminig カジュアルなHadoop
Teruo Kawasaki
Apache Kafkaによるログ転送とパフォーマンスチューニング - Bonfire Backend #2 -
Apache Kafkaによるログ転送とパフォーマンスチューニング - Bonfire Backend #2 -
Yahoo!デベロッパーネットワーク
0151209 Oracle DDD OracleとHadoop連携の勘所
0151209 Oracle DDD OracleとHadoop連携の勘所
オラクルエンジニア通信
Hadoop事始め
Hadoop事始め
You&I
乗り遅れるな!IBMが本気で取り組む新世代クラウドサービスを徹底解説
乗り遅れるな!IBMが本気で取り組む新世代クラウドサービスを徹底解説
Kimihiko Kitase
20120303 _JAWS-UG_SUMMIT2012_エキスパートセッションEMR編
20120303 _JAWS-UG_SUMMIT2012_エキスパートセッションEMR編
Kotaro Tsukui
Similar to 20130313 OSCA Hadoopセミナー
(20)
メッセージングプラットフォーム Zimbra の紹介とその活用術 - JJUG ナイトセミナー2013/3
メッセージングプラットフォーム Zimbra の紹介とその活用術 - JJUG ナイトセミナー2013/3
Beginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning Hadoop
リクルート式Hadoopの使い方
リクルート式Hadoopの使い方
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
今注目のSpark SQL、知っておきたいその性能とは 20151209 OSC Enterprise
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
MongoDBを用いたソーシャルアプリのログ解析 〜解析基盤構築からフロントUIまで、MongoDBを最大限に活用する〜
Hadoop, NoSQL, GlusterFSの概要
Hadoop, NoSQL, GlusterFSの概要
Java Clientで入門する Apache Kafka #jjug_ccc #ccc_e2
Java Clientで入門する Apache Kafka #jjug_ccc #ccc_e2
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
Yahoo! JAPANとRiak
Yahoo! JAPANとRiak
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
20100930 sig startups
20100930 sig startups
泥臭い運用から、プログラマブルインフラ構築(に行きたい)
泥臭い運用から、プログラマブルインフラ構築(に行きたい)
Yahoo! JAPANのコンテンツプラットフォームを支えるSpring Cloud Streamによるマイクロサービスアーキテクチャ #jsug #sf_52
Yahoo! JAPANのコンテンツプラットフォームを支えるSpring Cloud Streamによるマイクロサービスアーキテクチャ #jsug #sf_52
ビッグデータ処理データベースの全体像と使い分け - 2017年 Version -
ビッグデータ処理データベースの全体像と使い分け - 2017年 Version -
TokyoWebminig カジュアルなHadoop
TokyoWebminig カジュアルなHadoop
Apache Kafkaによるログ転送とパフォーマンスチューニング - Bonfire Backend #2 -
Apache Kafkaによるログ転送とパフォーマンスチューニング - Bonfire Backend #2 -
0151209 Oracle DDD OracleとHadoop連携の勘所
0151209 Oracle DDD OracleとHadoop連携の勘所
Hadoop事始め
Hadoop事始め
乗り遅れるな!IBMが本気で取り組む新世代クラウドサービスを徹底解説
乗り遅れるな!IBMが本気で取り組む新世代クラウドサービスを徹底解説
20120303 _JAWS-UG_SUMMIT2012_エキスパートセッションEMR編
20120303 _JAWS-UG_SUMMIT2012_エキスパートセッションEMR編
Recently uploaded
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
iPride Co., Ltd.
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
Toru Tamaki
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
taisei2219
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
Hiroki Ichikura
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
Toru Tamaki
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Toru Tamaki
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Yuma Ohgami
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
sugiuralab
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
Ryo Sasaki
Recently uploaded
(9)
SOPを理解する 2024/04/19 の勉強会で発表されたものです
SOPを理解する 2024/04/19 の勉強会で発表されたものです
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
論文紹介:Content-Aware Token Sharing for Efficient Semantic Segmentation With Vis...
TSAL operation mechanism and circuit diagram.pdf
TSAL operation mechanism and circuit diagram.pdf
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
【早稲田AI研究会 講義資料】3DスキャンとTextTo3Dのツールを知ろう!(Vol.1)
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Automated Classification of Model Errors on ImageNet
論文紹介:Semantic segmentation using Vision Transformers: A survey
論文紹介:Semantic segmentation using Vision Transformers: A survey
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
Open Source UN-Conference 2024 Kawagoe - 独自OS「DaisyOS GB」の紹介
スマートフォンを用いた新生児あやし動作の教示システム
スマートフォンを用いた新生児あやし動作の教示システム
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
[DevOpsDays Tokyo 2024] 〜デジタルとアナログのはざまに〜 スマートビルディング爆速開発を支える 自動化テスト戦略
20130313 OSCA Hadoopセミナー
1.
AmebaサービスにおけるHadoop活用事例 株式会社サイバーエージェント アメーバ事業本部
Ameba Technology Laboratory 福田 一郎
2.
株式会社サイバーエージェント
2 自己紹介 【名前】 福田一郎(@toutou) 【出身】 鳥取県米子市 【経歴】 • 2008年4月 サイバーエージェント入社 • Amebaサービスの運用 • Ameba Piggの運用,開発 • 2010年3月~ 統合ログ解析基盤Patriot開発 • 2011年4月~ Ameba Technology Laboratory開設@秋葉原 • Hadoop,HBase,SolrなどのOSS • 大規模データ分散処理技術を中心に
3.
Ameba事業
4.
株式会社サイバーエージェント
4 会社概要 社名 株式会社サイバーエージェント 本社 東京都渋谷区道玄坂一丁目12番1号 代表者 代表取締役社長 藤田 晋 設立 1998年3月18日 加盟団体 新経済連盟 一般社団法人ソーシャルゲーム協会 一般社団法人モバイルコンテンツ審査・運用監視機構 安心ネットづくり促進協議会 モバイル・コンテンツ・フォーラム 社団法人日本広告業協会 インターネット広告推進協議会 社団法人日本広告審査機構
5.
株式会社サイバーエージェント
5 事業内容 Ameba事業 ソーシャルゲーム事業 インターネット広告事業
6.
株式会社サイバーエージェント
6 Ameba事業 ー PC向けサービス
7.
株式会社サイバーエージェント
7 Ameba事業 ー スマートフォンプラットフォーム
8.
株式会社サイバーエージェント
8 Ameba事業 ー ソーシャルゲーム
9.
株式会社サイバーエージェント
9 Ameba事業 ー コミュニティサービス
10.
Ameba Technology Laboratory
11.
株式会社サイバーエージェント
11 【概略】 Ameba Technology Laboratory • 2011年4月 秋葉原ダイビル8階に開設 • メンバー:約20名
12.
株式会社サイバーエージェント
12 【領域】 • 各サービスのログ集約 大規模 • 準リアルタイムログ収集 データ処理 • 各種指標の集計,結果表示 基盤 • グラフ構造向けDB (Hadoop,HBase) • 汎用JSONデータストア レコメンド フィルタリング 検索 データマイニング (Solr) ブログ コメント ブログ ゲーム コミュニティ メッセージ プロフィール コミュニティ アプリ 掲示板 Amebaなう ブログ ニュース
13.
Hadoop導入事例
14.
株式会社サイバーエージェント
14 Ameba × Hadoop • 2007年~ アメブロ アクセス解析 • Hadoop0.13.1 • MapReduce,HDFS • 2009年~ Ameba Pigg • ログ集約サーバ(HDFS) • 2010年~ Patriot • Amebaサービス全体のログ集約,解析基盤 • CDH3系 Hadoop Conference Japan • Hive がキッカケ • 2012年~ Hornet • オンライン用途でのグラフデータ構造を扱うデータストア • CDH4系 • HBase
15.
株式会社サイバーエージェント
15 主にレコメンド向け Patriotで扱うデータ アクセス グラフ 属性データ 行動ログ ログ データ 会員ID 各種投稿 PV コミュニティ系 プロフィール ゲーム利用 セッション サービスの アイテム購入 UserAgent つながり情報 課金 利用しているアプリ 情報 HDFSに集約 Hiveを用いて集計
16.
株式会社サイバーエージェント
16 ログ転送(SCP) MySQLレプリ 【Logサーバ】 Ameba システム構成 ログの一時集約 サービス ログ整形 Hiveインポート HiveJobをキック ログのリアルタイム転送 (Flume) 【Batchサーバ】 集計サマリをPut Jobスケジューラ (HBase) Hadoop クラスタ サマリView レコメンドデータ (自作WebUI) 作成サーバ アドホックHiveクエリ (自作WebUI)
17.
株式会社サイバーエージェント
17 Patriot利用実態 ゲームコンサル データマイニング ゲーム/コミュニティ 課金統括部門 エンジニア プロデューサ マーケティング部門 WebView アドホッククエリ システム サービス担当 エンジニア 連携 Daily定型ジョブ(Hive)だけで7000以上
18.
株式会社サイバーエージェント
18 PAC3 • 自作ジョブスケジューラ(Ruby) • Hiveクエリ単位で依存関係を張ることが可能 • 設定はRuby DSLで記述 • 結果を異なるデータストアに格納する記述が可能 • Hive → MySQL • Hive → HBase • Hive → Hive
19.
株式会社サイバーエージェント
19 Hadoopクラスタの統合 SPプラットフォーム Ameba Patriot Patriot (CDH3u0) (CDH3u3) ノード:約60台 ノード:約50台 Dell:R410 Dell:R410 ネットワークの統合 Dell:R720xd(2U) 統合Patriot 【HDD】 (CDH4.2) 3TB×12(SATA) 300GB×2(SAS/OS) ノード:30台~ 【RAM】64GB 【CPU】8コア(HT)×2 Hadoopに向いたサーバの登場
20.
株式会社サイバーエージェント
20 HBaseの利用 低レイテンシでのRead/Write バックエンドにHDFS 列指向分散データストア • PatriotのサマリDB • Hornet • グラフ構造を扱うデータストア • 分散Lock機能(Zookeeperを利用) • JSON Persister • JavaオブジェクトをJSONデータとして永続化するフレームワーク • Javaオブジェクトを直接save,loadするシンプルなAPI • Indexも指定可能 • データストア層をHBase ⇔ MySQLと切り替え可能
21.
株式会社サイバーエージェント
21 Hornet(概要) 目的 • 大規模なグラフデータに対して高速に追加・更新処理ができる • シンプルなクエリを高速に(隣接ノードが取れれば良い) • オンライン処理 データモデル Name Suzuki • プロパティグラフ Follow 2 Age 28 date 2012/01/02 1 Friend Name Fukuda Age 28 Friend 3 Name Yasuda Age 26
22.
株式会社サイバーエージェント
22 その他のHadoop関連プロダクトの利用 • Flume • ログをTailしてHDFSやHBaseに流す • GrowthForecastでリアルタイムにアクセス数をグラフ化 • ラボ内にコミッター • Impala • Hiveより高速にクエリ実行が可能 • 検証しているところ • データマイニングエンジニアが探索的なクエリを実行する(検討中) • Blackhawk • HBaseをSQLライクな言語で扱うためのフレームワーク • 自作
23.
株式会社サイバーエージェント
23 Hadoopの採用理由 • Webサービスが生み出すデータは膨大 • ゲーム/コミュニティサービスが次々にリリース • どれだけデータ量が増えるか予想することが難しい • 利用ユーザ数も増加する(サービスが増えればプロデューサも増える) • データが増えたらノードを増やせば良い • エコシステム(関連プロダクト)の充実 • HBase,Hive,Zookeeperなど
24.
株式会社サイバーエージェント
24 CDHの採用理由 • 必要となる各種モジュールがパッケージングされている • Hadoop関連プロダクトはVersionを合わせるのが至難の業 • インストールが簡単 • NameNode HA • CDH4系から • Apacheにも取り込まれるがCDHの方が早くリリースされる • JobTracker HA • CDH4.2から • Impalaなど新しいプロダクト • 必要とされるものが積極的に作られ,取り込まれる
25.
株式会社サイバーエージェント
25 Cloudera Enterpriseの採用理由 • 2012年下旬から採用している • CDHに関するサポートを得られる • Hadoop関連プロダクトは多岐にわたる • Hadoop,HBase,Zookeeper,Hive,Pig ... • 全てのプロダクトに精通することは不可能に近い • OSSなのでコミュニティで訊けば良いが... • Cloudera Manager • Hadoop環境構築がより簡単に • 運用も楽に • システム監視もできる • エンタープライズ向け機能の充実 • HA,BDR(バックアップ・ディザスタリカバリ回り), Navigator(データ監査とアクセス制御) • BtoCでもオンライン用途でHBaseを使うようになり必要性を感じた
26.
株式会社サイバーエージェント
26 Hadoop関連プロダクト まとめ/将来展望 として登場 or 連携 一連の流れをHadoop関連プロ の可能性 ダクトで解決できている 高度な処理 オンラインで オンライン処理 高度な分析 HBase (ex.Jubatus) 非定型処理 Flume 適用範囲拡大が 定型処理 WebUIからの Impala 期待される Hiveクエリ実行 Map/Reduce Hive Rなどを用いた より低レイテンシでの 高度な分析 クエリ実行が可能
27.
株式会社サイバーエージェント
27 Hadoop採用を検討中の皆様へ • Hadoopはかなり安定している • OSS(Apacheライセンス)である • データ増加への恐怖がなくなる • 先進技術はHadoopのそばで生まれている • Hadoopのサポートをする企業の増加 • まずはデータを集められる環境整備 • ニーズは現場からどんどん出てくる • まずやってみる → 共通化など効率を考える • HBaseも用途によっては非常に有用
28.
ありがとうございました
Download now