Hadoop User Conference 2014のHueのセッション資料です

1. HADOOPの標準GUI
HUEの
最新情報
Tatsuo Kawasaki
kawasaki@cloudera.com
Hadoop User Conference 2014, Jul 8, 2014

2. HUE以前
基本的な操作はコマンド
ラインから
エンジニア、パワーユー
ザー以外には敷居が高い

3. HUE以後
Hadoop用のGUI
ブラウザから操作
・Windowsでも
・Macでも
・Linuxでも
その気になれば、タブ
レットやスマホでも！

4. HUEの目標
APACHE HADOOPで
データを分析するための
ウェブインタフェース
シンプル＆統合
無料＆オープンソース
̶> ビッグデータを多くの人に

5. おおまかな概要
Hadoop
Web Server
あなた、同僚、
IE9を使っている友人でさえも ;)

6. オープンソース
3350 のコミット
38 人のコントリビュータ
698 のスター
245 のフォーク
github.com/cloudera/hue

7. 開発コアチーム
Join
us
at
team.gethue.com
Romain
Rigaux
Enrico
Ber5
Chang
Abraham
Elmahrek
Amstel

8. トーク
ミートアップとイベント:
NYC,
Paris,
LA,
Tokyo,
SF,
Stockholm,
Vienna,
San
Jose,
Singapore,
Budapest…
近日予定:
London,
West
coast
AROUND
THE WORLD
避暑
Nov
13
Koh
Chang,
Thailand
May
14
Curaçao,
Netherlands
An5lles
Nov
14
Goa,
India

9. トレンド: 成長
gethue.com

10. HISTORY
HUE 1
ブラウザ内でデスクトッ
プのような機能を実現し
ていたが、かなり遅く、
メモリリークもあり、IE
には適していなかった。
しかし、その当時
(2009-2010)は明らか
に先進的だった。

11. HISTORY
HUE 2
いたるところがTwitter
のブートストラップによ
る最初のフラット構造な
実装
HUE 2.5
自動補完とドラッグ＆ド
ロップのような新しい良
い機能を追加し、ユー
ザーエクスペリエンスを
改善した新しいアプリ

12. HISTORY
HUE 3 ALPHA
提案されたデザイン。
うまくいかなかった

13. HISTORY
HUE 3.5
新しいUI、いくつかの新
しいアプリ、これまでで
最もユーザーフレンド
リーな機能

14. HISTORY
HUE 3.6+
そして今…
データを検索、探索する
ための全く新しい方法

15. どちらのバージョンを使うべきか?
その後の2500以上のコミット、
新しいUI、インタラクティブな
検索、SQL、ダッシュボード…
1∼2年古いバージョンで、
Hive0.12以前に依存して
いる場合にのみ使用する
HUE 2.X
HUE 3.X

16. どのディストリビューションを使うべきか?
先進的なプレビュー版 最も安定し、コンポー
ネント間での確認もな
されている
非常に新しい
GITHUB
CDH / CM
TARBALL
ハッカー 先進的なユーザー 一般ユーザー

17. どこにHUEを配置するべきか? 1台のマシン

18. どこにHUEを配置するべきか?
クラスタの外

19. どこにHUEを配置するべきか? クラスタの内側

20. Python 2.4 2.6
パッケージを使用する場合。
ソースからビルドする場合は
その他の packagesが必要
SERVER
CLIENT
ウェブブラウザ
IE 9+, FF 10+, Chrome,
Safari
必要なものは?
Hi
there,
I’m
“just”
a
web
server.

21. HUEのサービスは?
ページ、および静的コ
ンテンツも提供するプ
ロセス
1 SERVER
1 DB
クッキー、保存したク
エリ、ワークフロー用
Hi
there,
I’m
“just”
a
web
server.

22. HUEの設定方法
HUE.INI
core-site.xmlに似ている
が、.INI形式の構文
場所?
/etc/hue/conf/hue.ini
または
$HUE_HOME/desktop/conf/
pseudo-distributed.ini
[desktop]
[[database]]
# Database engine is typically one of:
# postgresql_psycopg2, mysql, or sqlite3
engine=sqlite3
## host=
## port=
## user=
## password=
name=desktop/desktop.db

23. 認証
データベース
(SQLite, MySQL,
…)にLogin/
Passwordを管理
SIMPLE ENTERPRISE
LDAP (最も使用され
ている), OAuth,
OpenID, SAML

24. DBバックエンド

25. LDAPバックエンド
Integrate
your
employees:
LDAP
How
to
guide

26. ユーザー
ユーザーまたはユー
ザーのグループに、権
限を付与、破棄できる
管理者 ユーザー
標準ユーザー + 権限

27. グループのリストと権限
権限ができること:
- アプリ(例: Hiveエ
ディタ)へのアクセス
を許可
- アプリからデータを
修正 (例: Hiveテーブ
ルのDROPや、
HBaseブラウザでセ
ルを編集）
設定 ‒ アプリケーションと権限
A
list
of
permissions

28. 実行中の権限
「test」ユーザーは
「hive」権限のみを持つ
「hiveonly」グループに
属している
設定 ‒ アプリケーションと権限

29. どのようにHUEはHADOOPとやり取りするのか
YARN
JobTracker
Oozie
Hue Plugins
LDAP
SAML
Pig
HDFS
HiveServer2
Hive
Metastore
Cloudera
Impala
Solr
HBase
Sqoop2
Zookeeper

30. RPC CALL
全てのHADOOPコンポーネントに
HDFSの例
WebHDFS
REST
DN
DN
DN
…
DN
NN
hp://localhost:50070/webhdfs/v1/<PATH>?op=LISTSTATUS

31. HOW
hue.iniにHadoop API
の全てのホストとポー
トをリスト
HBaseとHiveの例
Full
list
[hbase]
# Comma-separated list of HBase Thrift servers for
# clusters in the format of '(name|host:port)'.
hbase_clusters=(Cluster|localhost:9090)
[beeswax]
hive_server_host=host-abc
hive_server_port=10000
RPC CALL
全てのHADOOPコンポーネントに

32. HTTPS
SSL DB
SSL WITH HIVESERVER2
さらに多く …
AUDITING
セキュリティ
KERBEROS

33. 2つのHueインスタンス
HA proxy
Multi DB
パフォーマンス: ウェブ
サイトのようにほとんど
がRPCコール
高可用性
HOW

34. Impala, Hiveの統合,
Spark (Shark も)
対話的なSQLエディタ
MapReduce、メタス
トア、HDFSを統合
SQL
WHAT

35. Solr&Cloudを統合
カスタムできる対話的
なダッシュボード
ドラッグ＆ドロップ
ウィジェット (チャー
ト、タイムライン…)
SEARCH（検索）
WHAT

36. シンプルなカスタムク
エリ言語
HBaseフィルタ言語を
サポート
選択、コピー＆ペース
ト
自動補完のヘルプメ
ニュー
HBASEブラウザ
WHAT

37. DEMO
TIME

38. まとめ
Hueでプロキシーユーザーと
してHadoop Service APIを
有効化
各サービスAPIを示すよう
にhue.iniを設定
@gethue や hue-user
マシンにHueを
インストール
LDAPバックエンドを使用
インストール 設定有効化
ヘルプLDAP

39. 次の6ヶ月のロードマップ
Sentry
Search, Spark, SQL
多くのダッシュボード!
Oozie v2
内部コンポーネントの統
合 (HBase <-> Search,
インデックス作成ウィ
ザード、ドキュメントの
権限), Hadoop Web
apps SDK
あなたのアイデアは？
WHAT

40.
…GIVE CLOUDERA MANAGER A TRY!
vimeo.com/91805055
設定が難しい…

41. 何か間違っている?
learn.gethue.com

42. インストールせずに試してみる
demo.gethue.com

43. TWITTER
@gethue
USER
GROUP
hue-­‐user@
WEBSITE
hp://gethue.com
LEARN
hp://learn.gethue.com
THANK YOU!
翻訳版ブログ公開中
hp://gethue.com/blog/?lang=ja