![自己紹介 ,[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],[object Object],Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止](data:image/gif;base64,R0lGODlhAQABAIAAAAAAAP///yH5BAEAAAAALAAAAAABAAEAAAIBRAA7)
Recommended
More Related Content
What's hot
What's hot (20)
Viewers also liked
Similar to Hadoop～Yahoo!Japanの活用について
Similar to Hadoop～Yahoo!Japanの活用について (20)
Hadoop～Yahoo!Japanの活用について
- 1. Hadoop ～ Yahoo! JAPAN の活用について～ 2011/01/15 ヤフー株式会社 R&D 統括本部 角田直行、吉田一星
- 5. Introduction Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
- 6. 有名なネットサービス Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 月間 496 億 7100 万 PV 1 日 5000 万 のつぶやき 商品数 6800 万 月間ユーザ数 5 億 人 各サービスとも日々成長を続けています
- 10. Hadoop とは Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
- 13. Hadoop とは Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 大きく MapReduce と HDFS ( 分散ファイルシステム ) に分かれる
- 14. Hadoop MapReduce Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 長時間かかる巨大な処理を複数台のマシンに分散 ・・・ ・・・
- 15. Hadoop HDFS Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 ・巨大なファイルを複数台に分割 ・複数サーバの各 HDD を 1 つの HDD のように扱える
- 16. Hadoop 関連プロダクト Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 大規模データ処理用スクリプト言語 Pig Hive Facebook が開発 扱いが一般データベースに似ている A = load 'passwd' using PigStorage(':'); B = foreach A generate $0 as id; dump B; CREATE TABLE pokes (foo INT, bar STRING); SELECT a.foo FROM pokes a;
- 17. Hadoop 関連プロダクト Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 Hadoop 上に構築された列指向データベース Google BigTable のクローン HBase 機械学習ライブラリ Hadoop でスケール可 Mahout 複数の MapReduce ジョブなどを 実行制御するワークフロー Oozie
- 18. Hadoop の事例紹介 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
- 19. Hadoop を活用している会社 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 など・・・ 増え続けています！
- 20. Yahoo! Inc. での事例紹介 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
- 22. Yahoo! Inc トップページ Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
- 23. Yahoo! Inc トップページ Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 広告最適化 検索 インデックス
- 24. Yahoo! Inc トップページ Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 広告最適化 コンテンツ 最適化 検索 インデックス スパムフィルター コンテンツ 管理 コンテンツ 最適化
- 26. Yahoo! JAPAN での事例 Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
- 35. Hadoop のメリット・デメリット Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
- 42. まとめ Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止
- 44. TechBlog Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 http://techblog.yahoo.co.jp/
- 45. Hadoop Hack Night Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止 2010 年 3 月、 8 月に開催
- 46. ご静聴ありがとうございました！ Copyright © 2010 Yahoo Japan Corporation. All Rights Reserved. 無断引用・転載禁止