Weitere ähnliche Inhalte Ähnlich wie 情報爆発シンポジウム infoplosion (20) Mehr von Rakuten Group, Inc. (20) 情報爆発シンポジウム infoplosion1. 国際シンポジウム
国際シンポジウム
情報爆発を えて」
「情報爆発を越えて」
クラウドとHPCIによる
クラウドとHPCIによる
たなイノベーション
新たなイノベーション
ビジネスでの状況と
での状況
ビジネスでの状況と方向性
Rakuten Inc. Masaya Mori Jan. 16th, 2012
2. Introduction
• まさや)
森 正弥 (もり まさや)
• 楽天株式会社 執行役員
• 楽天技術研究所 所長
• アーキテクチャ関連部署 部署長 Masaya Mori
– クラウド関連
Twitter: @emasha
– 検索・データ解析基盤
2
3. クラウドは本格的な普及状態に
クラウドは本格的な普及状態に突入
•“全米の約70%の企業が何らかの形でクラウドを利用” The Economist
全米の 70%の企業が らかの形 クラウドを利用
全米
• “パブリッククラウドは反動期、プライベートクラウドは流行期 Gartner
パブリッククラウドは反動期、プライベートクラウドは流行期”
ガートナーの
ガートナーのハイプサイクル
• E-Commerce においては、普及のスピードが最も速い
においては、普及のスピードが
•Netflix の全面移行、Amazon の全面移行
Netflix 全面移行、
• 東日本大震災以降、BCP対策としての導入例(ケンコーコム)も増加
東日本大震災以降、BCP対策としての導入例 ケンコーコム)
対策としての導入例( 3
4. 「今のクラウド」のキーワード
クラウド」
•パブリックとプライベート
ハイブリッド設計
•オンプレミスとの連携
•CloudStack、OpenStack、
コモディティ化
•Eucalyptus、CloudFoundry
•Hadoop、NoSQLの台頭
ビッグデータ •実空間情報の統合
4
5. 「今のクラウド」のキーワード
クラウド」
•パブリックとプライベート
ハイブリッド設計
•オンプレミスとの連携
•パブリックとプライベートの連携
パブリックとプライベートの
パブリック
•パブリックを使う、いや、使わない、という二項対立ではない
パブリックを
パブリック いや、 わない、という二項対立ではない
二項対立
•IT基盤戦略のポートフォリオをどう作るか
IT基盤戦略
IT基盤戦略のポートフォリオをどう
をどう作
•情報系・参照系・2.0系のパプリック vs. 基幹系のプライベート
情報系・参照系・2.0系
情報系 基幹系の
•繁忙期、ピーク期におけるトランザクションの爆発に対応
繁忙期、
繁忙期 ピーク期におけるトランザクション 爆発に
トランザクションの
•海外展開での連携 (ネットワークのレイテンシ、各種法令対応)
海外展開での
海外展開での連携 ネットワークのレイテンシ、各種法令対応)
• 全体戦略としては、IT基盤全体設計ができるアーキテクト人材の確保
全体戦略としては IT基盤全体設計ができるアーキテクト人材の
としては、 基盤全体設計ができるアーキテクト人材
5
6. 「今のクラウド」のキーワード
クラウド」
•CloudStack、OpenStack、
コモディティ化
•Eucalyptus、CloudFoundry
•プライベート基盤構築のコモディティ化
プライベート基盤構築のコモディティ化
プライベート基盤構築
•各種オープンソース化しており、技術のコモディティ化が進行
各種オープンソース化しており、技術のコモディティ化
各種オープンソース
•利用するクラウドから、自分たちでも作るクラウドが本格化
利用するクラウドから
利用するクラウドから、自分たちでも
たちでも作 クラウドが
•CloudStack のオープンソース化
CloudStack オープンソース化
•OpenStack の継続的リリース、コミュニティの拡大
OpenStack 継続的リリース コミュニティの
リリース、
•老舗 Eucalyptus もメジャーバージョン3に
老舗 メジャーバージョン3
•PaaS基盤 CloudFoundry の登場
PaaS基盤
PaaS
• 選択と集中の加速
選択と集中の
• パブリックと役割分担した開発生産性を意識した基盤が構築可能に
パブリックと役割分担した開発生産性を意識した基盤が構築可能に
した開発生産性 した基盤
6
7. 「今のクラウド」のキーワード
クラウド」
•CloudStack、OpenStack、
コモディティ化
•Eucalyptus、CloudFoundry
•プライベート基盤構築のコモディティ化
プライベート基盤構築のコモディティ化
プライベート基盤構築
•“Open Compute Project Facebook
Open Project”
•インフラをスケールさせるハードウェアの設計や仕様の公開
インフラを
インフラ スケールさせるハードウェアの設計や仕様の
させるハードウェア
•不要な機能や部品を排し、高い効率性と妥当なコストの実現
不要な
不要 機能や部品を 効率性と妥当なコストの
• 大規模なクラウド基盤の知識も共有が進む
大規模なクラウド基盤の知識も共有が
基盤
7
8. 「今のクラウド」のキーワード
クラウド」
•Hadoop,NoSQLの台頭
ビッグデータ
•実空間情報の統合
•そもそもの情報の活用例
そもそもの情報の
そもそもの情報
•Last.fm
Last.fm
•230カ国以上に3000万人以上のユーザ
230カ国以上に3000万人以上の
230 万人以上
•膨大なユーザの嗜好を分析,個々人にあった音楽を推薦・提供.
膨大な
膨大 ユーザの嗜好を分析, にあった音楽 推薦・提供.
音楽を
•毎日1000万回以上の視聴情報を解析
毎日1000万回以上の
毎日1000万回以上 視聴情報を
•Pandora Radio
Pandora
•ユーザデータに加え,曲の旋律,歌詞,声質,楽器,拍子,コード進
ユーザデータに
ユーザデータ 旋律,歌詞,声質,楽器,拍子,コード進
行等を かく解析
行等を細かく解析
•ユーザの評価を組み合わせ,よりよい曲を提供
ユーザの
ユーザ 評価を わせ,よりよい曲
1億人以上のユーザを 成長を
•1億人以上のユーザを持ち,成長を続ける
• 情報解析のビジネス価値の発見
情報解析のビジネス価値
価値の
8
9. 「今のクラウド」のキーワード
クラウド」
•Hadoop,NoSQLの台頭
ビッグデータ
•実空間情報の統合
•スーパーDB、レコメンド、パーソナライズ
スーパーDB、レコメンド、
スーパーDB
•データマイニング、NLP、統計による価値の創出
データマイニング、NLP、統計による価値の
データマイニング による価値
• 情報解析のビジネス価値の発見、情報解析の重要性
情報解析のビジネス価値 発見、情報解析の
価値の
9
10. 「今のクラウド」のキーワード
クラウド」
•Hadoop,NoSQLの台頭
ビッグデータ
•実空間情報の統合
•情報爆発
情報爆発
•インターネット接続回線合計トラフィック 11Gbps以上
インターネット接続回線合計トラフィック 11Gbps以上
インターネット接続回線合計
•PV 1億、年間流通総額 1兆円 (グループ2.3兆円)
PV 1億 グループ2.3兆円)
2.3兆円
•ユーザー数 8000万、商品数 8800万、レビュー 7000万
ユーザー数
ユーザー 8000万 8800万 7000万
•一日数百GB以上のトランザクション、アクセスログ、検索ログ
一日数百GB以上の
一日数百GB以上 トランザクション、アクセスログ、検索ログ
• 情報解析基盤の大規模化
情報解析基盤の
• 大規模システムの構築・運用技術は必須
大規模システム 構築・運用技術は
システムの
10
11. 「今のクラウド」のキーワード
クラウド」
•Hadoop,NoSQLの台頭
ビッグデータ
•実空間情報の統合
•大規模基盤の活用・構築
大規模基盤の活用・
大規模基盤
•クラウドの普及、技術のコモディティ化を踏まえ
クラウドの普及、技術のコモディティ化
クラウド
•パブリッククラウドの活用、プライベートの構築
パブリッククラウドの
パブリッククラウド 活用、プライベートの
•Hadoopクラスターの構築、NoSQLの活用・構築
Hadoopクラスター
Hadoopクラスターの構築、NoSQLの活用・
• レコメンド、ターゲティング広告、検索改善、ログ解析での活用
レコメンド、ターゲティング広告 検索改善、ログ解析での活用
広告、 解析での
• OSSの活用、貢献、開発が進む
OSSの活用、貢献、開発が
11
12. 楽天プロダクトランキング
楽天プロダクトランキング
■処理内容
・ランキングデータ集計 サーチエンジン 購買履歴 製品マスタDB
製品マスタDB
マスタ
・製品ページ用データ生成
■データ量
データ量 検索ワード 価格 売上件数 売上高 製品名 製品コード
・1日/1億レコード
・1日/300GB レビュー 商品件数 売上率 購買時間帯 スペック 発売日
■M/R 処理時間
・1時間半
■ノード数
ノード数
・70台
RAN Calculate
DB
Rakuten Product
12
13. 検索での関連語提示や辞書構築での活用
検索での関連語提示や辞書構築での活用
での関連語提示 での
クラスターから検索解析用のHiveにつなげ
関連語の提示や辞書構築等での活用
月 250GBのデータを解析
suggest batch
server
Suggest
Index
sync analyzed update search index
data
Shared Hadoop
Cluster NGS Hive dictionary batch 検索エンジン
Server
NGS common
Dictionary
platform for hive Index
update search index
13
14. 「今のクラウド」のキーワード
クラウド」
•Hadoop,NoSQLの台頭
ビッグデータ
•実空間情報の統合
•実空間情報の統合
実空間情報の
実空間情報
•スマートフォンの普及、Online To Offline サービスの胎動
スマートフォンの普及、
スマートフォン サービスの
•Shopkick, ShopSavvy, CheckPoints、Milo
Shopkick, CheckPoints、
•トヨタの自動車クラウド
トヨタの
トヨタ 自動車クラウド
•位置情報,走行距離・状態、使用傾向の収集・解析
位置情報,
位置情報 走行距離・状態、使用傾向の収集・
•ナビでリアルタイム情報推薦,適した自動車ローン商品の開発
ナビで
ナビ リアルタイム情報推薦 情報推薦, した自動車ローン商品自動車ローン商品の
• 実空間情報の統合による、更なる情報爆発・ビッグデータ
実空間情報の統合による
による、 なる情報爆発
情報爆発・
• 次世代の情報解析基盤・情報ネットワークの整備が急務に
次世代の情報解析基盤・情報ネットワーク 整備が急務に
ネットワークの 14
15. 「今のクラウド」のキーワード
クラウド」
•パブリックとプライベート
ハイブリッド設計
•オンプレミスとの連携
•CloudStack、OpenStack、
コモディティ化
•Eucalyptus、CloudFoundry
•Hadoop、NoSQLの台頭
ビッグデータ •実空間情報の統合
• クラウドはビジネスに着実に浸透、高度な全体設計が要求される
クラウドはビジネスに着実に浸透、高度な全体設計が要求される
• ビッグデータ活用の価値増大と基盤構築、更なる情報爆発への対応
ビッグデータ活用 価値増大と基盤構築、 なる情報爆発への対応
活用の 情報爆発への
15