Weitere ähnliche Inhalte
Ähnlich wie Cloud Native Hadoop #cwt2016 (20)
Mehr von Cloudera Japan (10)
Kürzlich hochgeladen (11)
Cloud Native Hadoop #cwt2016
- 12. 12© Cloudera, Inc. All rights reserved.
• HDFS support only(HBase, Navigator auditing & lineage)
• I/O intensive なジョブ(Spark ML ジョブの反復的な繰り返しなど)
• S3 をバックアップとして都度 HDFS にコピーする Hybrid 型
• 中間データは HDFS に書き、最終結果を S3 に格納する Hybrid 型
ストレージオプション – HDFS & Hybrid (+S3)
S3
Run jobStart Cluster Stop Cluster
Copy to HDFSStart Cluster Run Job Copy to S3 Stop Cluster
HDFS
1 hour
Time
S3 Only
Hybrid
- 17. 17© Cloudera, Inc. All rights reserved.
Cloudera Director ができること
• クラスターの作成・終了
• インスタンスの追加・削除
• AWS プラグイン
• GCP プラグイン
• Azure プラグイン
• サービスの DB 作成
• ヘルスチェックと利⽤情報(ダッ
シュボード)
• bootstrap スクリプトの実⾏
• クラスター作成後、終了前にカス
タムスクリプトを実⾏
• HA クラスターの作成
• Kerberos クラスターの作成
• H2(組み込みの DB)または
MySQL/MariaDB を Director DB
に利⽤可能
• spot / preemptible インスタンス
の利⽤可能
• マルチクラウド、マルチリージョ
ンサポート
- 20. 20© Cloudera, Inc. All rights reserved.
Cloudera Director Client Bootstrap Demo
• For Mac: https://github.com/tsuyo/cloudera-boot
• Check AWS console
• docker run (~20min.)
• Browse cluster.conf
• Check CM http://<ip_address>:7180
• Create a Hive external table to data on S3 (by Hue)
• Check worker IP
• Query the table (by beeline)