Weitere ähnliche Inhalte
Ähnlich wie Hadoop最新事情とHortonworks Data Platform (20)
Hadoop最新事情とHortonworks Data Platform
- 3. 3 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
自己紹介
à 大浦 譲太郎 TwiGer:@JOOOURA
à 5歳児と8歳児の父
à サーバ、ストレージのシステム営業を経て2011年に
フラッシュメモリストレージ企業の日本法人立ち上げに
参画。Evangelist、プリセールスSE、広報、営業など一通り
をカバー
エンタープライズフラッシュの代名詞ともなるioDriveシ
リーズを日本国内の通信キャリア、金融機関、WEBサービ
ス事業者、アドテク、DC事業者に多数導入。
à 2016年1月より、ホートンワークスジャパンの二人目の営
業として参画。
現在はエヴァンジェリスト活動及びエンタープライズ向け
セールス、パートナー支援を行なっている。
- 6. 6 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
About Hortonworks
お客様との歩み
• ~800 社 (2016年2月現在)
• 152 社は 2015年第三四半期で
• 2015年10月NASDAQへ上場: HDP
The Leader in Connected Data
Platforms
• Hortonworks DataFlow for data in moon
• Hortonworks Data Pla]orm for data at rest
• Powering new modern data applicaons
Partner for Customer Success
• Leader in open-source community, focused on
innovaon to meet enterprise needs
• Unrivaled support subscripons
Founded in 2011
Yahoo! で初代の Hadoop 開発を手
がけたアーキテクト、デベロッパー、オ
ペレータ 24名によって創立
1000+
E M P L O Y E E S
1500+
E C O S Y S T E M
PA R T N E R S
- 7. 7 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Our Model: Drive an Enterprise-focused Roadmap
1. Innovate Exis?ng Projects
– Hive/Snger, YARN, HDFS, common ops & security via Ambari & Ranger
2. Incubate New Projects
– Metron (was OpenSOC), Ranger, Knox, Atlas, Falcon, Ambari, Tez, etc.
3. Acquire IP & Contribute
– Acquired XASecure and created Apache Ranger; contributed OpenSOC
4. Partner & Deliver Joint Solu?ons
– Microsom, EMC, HP, SAS, Pivotal, Red Hat, Teradata, etc.
5. Rally the Ecosystem
– Fast SQL via Snger iniave, Data Governance iniave, ODPi
DataAccess
(batch,interactive,realtime)
Integration&
GovernanceOperationsSecurity
Apache Project
Hortonworks
CommiPers
Hortonworks
PMC
HWX % of
CommiPers
Hadoop 29 24 31%
Accumulo 2 2 9%
Calcite 6 3 43%
HBase 8 5 17%
Hive 19 11 38%
NiFi 5 5 42%
Phoenix 5 5 22%
Pig 5 5 24%
Slider 12 12 100%
Spark 1 0 2%
Storm 4 4 19%
Tez 15 15 44%
Atlas 7 0 35%
Falcon 7 5 41%
Flume 1 1 4%
Ka[a 0 0 0%
Sqoop 1 1 4%
Ambari 39 30 76%
Oozie 4 2 22%
Zookeeper 2 1 13%
Knox 12 2 80%
Ranger 13 11 76%
TOTAL 197 144
Source: Apache Somware Foundaon. As of October 5, 2015.
A commi'er is someone who has “earned their stripes” within the Apache community and has the ability
to commit code directly to their corresponding Apache project source code repository
- 29. 29 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Others
ISV Engines
YARN : Data Operating System
DATA ACCESS
1 ° ° ° ° ° ° ° ° °
° ° ° ° ° ° ° ° ° °
°
N
Batch
MapReduce
Script
Pig
Search
Solr
SQL
Hive
NoSQL
HBase
Accumulo
Phoenix
Stream
Storm
In-memory
Spark
TezTez Tez Slider Slider
HDFS Hadoop Distributed File System
DATA MANAGEMENT
YARNの柔軟なAPIによりリソー
スが抽象化され、様々なアプリ
ケーションが共存できるように
なった。
HDFSはマルチテナントな巨⼤な
データストアとなった。
YARN – Hadoop2の登場
- 30. 30 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Others
ISV Engines
YARN : Data Operating System
DATA ACCESS
1 ° ° ° ° ° ° ° ° °
° ° ° ° ° ° ° ° ° °
°
N
Batch
MapReduce
Script
Pig
Search
Solr
SQL
Hive
NoSQL
HBase
Accumulo
Phoenix
Stream
Storm
In-memory
Spark
TezTez Tez Slider Slider
HDFS Hadoop Distributed File System
DATA MANAGEMENT
YARNの柔軟なAPIによりリソー
スが抽象化され、様々なアプリ
ケーションが共存できるように
なった。
HDFSはマルチテナントな巨⼤な
データストアとなった。
YARN これにより、様々な組織や部署の
ひとが共⽤Hadoopクラスタを使
うようになった。
Division A Division B
- 32. 32 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
YARN Architecture
• Cluster Operating System
• Enable’s Generic Data Processing Tasks with ‘Containers’
• Big Compute (Metal Detectors) for Big Data (Hay Stack)
• Resource Manager
• Global resource scheduler
• Node Manager
• Per-machine agent
• Manages the life-cycle of container & resource monitoring
• Application Master
• Per-application master that manages application scheduling and task execution
• E.g. MapReduce Application Master
• Container
• Basic unit of allocation
• Fine-grained resource allocation across multiple resource types
• (memory, cpu, disk, network, gpu etc.)
- 38. 38 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Hortonworks Data Pla0orm
YARN: Data Operating System
(Cluster Resource Management)
1 ° ° ° ° ° ° °
° ° ° ° ° ° ° °
ApachePig
° °
° °
° ° °
° ° °
HDFS
(Hadoop Distributed File System)
GOVERNANCE BATCH, INTERACTIVE & REAL-TIME DATA ACCESS
Apache Falcon
ApacheHive
Cascading
ApacheHBase
ApacheAccumulo
ApacheSolr
ApacheSpark
ApacheStorm
Apache Sqoop
Apache Flume
Apache Kafka
SECURITY
Apache Ranger
Apache Knox
Apache Falcon
OPERATIONS
Apache Ambari
Apache Zookeeper
Apache Oozie
Hortonworks Data Platform
- 49. 49 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
Others
ISV Engines
YARN : Data Operating System
DATA ACCESS
1 ° ° ° ° ° ° ° ° °
° ° ° ° ° ° ° ° ° °
°
N
Batch
MapReduce
Script
Pig
Search
Solr
SQL
Hive
NoSQL
HBase
Accumulo
Phoenix
Stream
Storm
In-memory
Spark
TezTez Tez Slider Slider
HDFS Hadoop Distributed File System
DATA MANAGEMENT
YARNの柔軟なAPIによりリソー
スが抽象化され、様々なアプリ
ケーションが共存できるように
なった。
HDFSはマルチテナントな巨⼤な
データストアとなった。
YARN これにより、様々な組織や部署の
ひとが共⽤Hadoopクラスタを使
うようになった。
Division A Division B
- 53. 53 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
HDFS
Typical Flow – Authenticate through Kerberos or LDAP
HiveServer 2
A B C
KDC
Login into Hive
Hive gets
Namenode (NN)
service cket
Hive creates map
reduce using NN
ST
Client gets
service cket for
Hive
Beeline
Client
Security set up with Hortonworks Data Platform
Acve
Directory
Hiveserver2はKerberosもしくはLDAP認証を⾏える
※カスタムな認証も実装可能
- 54. 54 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
HDFS
Typical Flow – Add Authorization through Ranger
HiveServer 2
A B C
KDC
Hive gets
Namenode (NN)
service cket
Column level
access control,
auding
Ranger
Beeline
Client
File level access
control
Acve
Directory
Import users/
groups from
LDAP
Login into Hive using AD
password
Security set up with Hortonworks Data Platform
- 55. 55 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
HDFS
Typical Flow – Firewall, Route through Knox Gateway
HiveServer 2
A B C
KDC
Use Hive ST,
submit query
Hive gets
Namenode (NN)
service cket
Hive creates map
reduce using NN
ST
Ranger
Knox gets service
cket for Hive
Knox runs as proxy
user using Hive ST
Original request
w/user id/
password
Client gets
query result
Beeline
Client
Apache
Knox
Acve
Directory
Security set up with Hortonworks Data Platform
- 56. 56 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
HDFS
Typical Flow – Add Wire and File Encryption
HiveServer 2
A B C
KDC
Use Hive ST,
submit query
Hive gets
Namenode (NN)
service cket
Hive creates map
reduce using NN
ST
Ranger
Knox gets service
cket for Hive
Knox runs as proxy
user using Hive ST
Original request
w/user id/
password
Client gets
query result
SSL
Beeline
Client
SSL SASL
SSL SSL
Apache
Knox
Acve
Directory
Security set up with Hortonworks Data Platform