ライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とは

ライトプランで利⽤可能な分析基盤
「IBM Analytics Engine (IAE)」とは
DSX x IAE x Object Storage でデータ基盤を構築しよう
ホートンワークスジャパン
マーケティングディレクター
北瀬公彦

2
Hortonworks 会社概要
創⽴ 2011年 Yahoo!のApache Hadoop
オリジナルチームのメンバー24 ⼈のエンジニアが設⽴
役員 CEO: ロブ・バーデン、COO:スコット・デイビッドソン
オープンソースソフトウェアへ100%コミット
Apache Hadoop プロジェクトへの貢献世界⼀
2011年創業、マイクロソフト社 (Azure HDInsight)と提携
2014年 9⽉⽇本法⼈ホートンワークスジャパン株式会社設⽴
12⽉ NASDAQ上場(NASDAQ: HDP)
2015年創業以来最速で売上$100Mを達成
Apache NiFiのOnyara社買収し、HDFを市場投⼊
2016年 Billingが$270M越す、HDC for AWSを市場投⼊
2016年 DellEMC社と提携
2017年 6⽉主⼒製品新版HDP 2.6、HDF 3.0を市場投⼊
6⽉ IBM社と提携
9⽉新製品・サービス HCPとDPSを市場投⼊
会社概要実績
次世代データプラットフォームのデファクトスタンダードを提供する
オープンソースソフトウェア企業の世界的リーダー
受注実績 $ 270M （前年同期⽐
+62.7%）
売上実績 $ 184.5M（前年同期⽐
+51.4%）
3Q17/3Q16 Subscription Revenue Growth:
64% YoY
2016年度
$ 13.1 $ 18.1 $ 20.9 $ 25.6 $ 27.6 $ 31.0 $ 32.5 $ 35.6
$ 42.1 $ 45.8
$ 53.2
$ 9.2
$ 11.9
$ 11.3
$ 11.9
$ 13.7
$ 12.6
$ 15.1
$ 16.4
$ 13.9
$ 16.0
$ 15.8
Q1 Q2 Q3 Q4 Q1 Q2 Q3 Q4 Q1 Q2 Q3
2015 2016 2017

3
14:55 [Room 2]
IBM Cloud DBaaS の概要と事例紹介
野間愛⼀郎 : IBM, Cloud Software & Analytics
15:45 [Room 2]
DSXでデータ・サイエンス
河⽥⼤ : IBM, アナリティクス・テクニカル・セールス
14:30 [Room 1]
ライトプランで利⽤可能な分析基盤「Analytics Engine」とは
北瀬公彦 : ホートンワークスジャパン, マーケティングディレクター
本⽇のデータ関連サービスのセッション紹介

4 © Hortonworks Inc. 2011 – 2016. All Rights Reserved
⽣成されるデータの急増
出典: IDC's Data Age 2025 study, sponsored by Seagate
https://www.seagate.com/files/www-content/our-story/trends/files/data-age-2025-infographic-2017.pdf

データの⽣成場所が個⼈から企業へ

リアルタイムデータの増加

AIシステムにより利⽤されるデータの増加

データを取り巻く
環境の激変に
対応可能ですか？

ビッグデータ分析環境の例
データの収集
Hortonworks DataFlow
データの蓄積、分析
Hortonworks Data Platform
Hadoop
Weekly / Monthly etc)
EDW
Hadoop
EDW
データ
アプリケーション
データ
アナリスト
データ
サイエンティスト
データ
エンジニア

Category OSS AWS Azure Google IBM
ETL NiFi, Sqoop, Flume, etc Amazon Data Pipeline Azure Data Factory
Azure Data Catalog
Cloud DataPrep Data Connect
メッセージング
システム
Kafka Amazon Kinesis Azure Event Hub Cloud Pub/Sub IBM Message Hub
ビッグデータ
分散処理
Hadoop
Spark
Amazon EMR Azure HDInsight Cloud DataProc
Cloud Dataflow
IBM Analytics Engine
(IAE)
リアルタイム
データ処理
Storm Amazon Kinesis Azure Stream Analytics Cloud Dataflow Streaming Analytics
NoSQL MongoDB, CouchDB,
HBase, Cassandra, etc
Amazon DynamoDB Azure CosmosDB
Azure Time Series
Insights
Cloud Datastore
Cloud BigTable
IBM Cloudant
データウェアハウス Hive / Druid Amazon Redshift Azure SQL
Datawarehouse
BigQuery IBM Db2 Warehouse
on Cloud
クエリエンジン Hive, Impala, Presto Amazon Athena Azure Data Lake
Analytics
BigQuery BigInsights for Apache
Hadoop (Big SQL)
BI Superset, etc Amazon QuickSight PowerBI Google Data Studio Cognossなど、
UnmanagedなBI製品を
利用
データサイエンス Zeppelin
Jupyter Notebook
Amazon Machine
Learning
Azure Machine
Learning
Cloud DataLab IBM Data Science
Experience
マシーンラーニング Amazon Machine
Learning
Azure Machine
Learning
Cloud Machine
Learning Services
IBM Watson Machine
Learning
参考: https://ilyas-it83.github.io/CloudComparer/
クラウドサービスの紹介
ビッグデータ・アナリティクス
注意:
カバーできていない他のOSS、クラウドサービスもありますが、
作成者の視点により主要サービスのみカバーしています。

ストリーム
データ転送
分散
ファイル
システム
データ
ウェアハウス
Business
Intelligence
分散処理データ
サイエンス
バルク
データ転送
アドホック
クエリー
マシン
ラーニング
DB
DB
NoSQL
Sensor
Sensor
収集蓄積処理分析⽤データ可視化・分析・機械学習ソース
ビッグデータ分析のための
データパイプライン
リアルタイム
処理

NiFi, Kafka
HDFS Hive / Druid
Superset
Hadoop /
Spark ZeppelinSqoop
Hive QL / LLAP
Storm, Spark
Streaming
Spark MLlibな
どの機械学習
ライブラリを
使用して開発
DB
DB
Sensor
Sensor
ストリームデータ転送
バルクデータ転送
ビッグデータ関連OSSの紹介
OSS ビッグデータ・アナリティクス
注意:
カバーできていない他のOSSもありますが、
Mongo DB
HBase,
Cassandra

ここの話
IBM
Message Hub
IBM
Object Storage
IBM Db2
Warehouse
on Cloud
Cognossなど、
Unmanagedな
BI製品を利用
IBM Data
Science
Experience
IBM
Data Connect
それぞれの
サービスに
付属
IBM Watson
Machine
Learning
DB
DB
IBM
Cloudant
IBM Analytics
Engine (IAE)
Sensor
Sensor
ストリームデータ転送
バルクデータ転送
クラウドサービスの紹介
IBM ビッグデータ・アナリティクス
注意:
カバーできていないサービスもありますが、
IBM
Streaming
Analytics

14
IBM Analytics Engine とは
Ã マネージド Hadoop / Spark サービス
– Hortonworks Data Platform (HDP) ベースに開発され、2017年11⽉にGA）
Ã IBM Open Platform for Hadoop (IOP) や
BigInsights for Apache Hadoop の後継
– IOPはすでにService Retired
– BigInsights for Apache Hadoop もまもなくService Retired
• Service Retirement Announce Date: November 7, 2017
• End of Marketing Date: December 7, 2017
• End of Support Date: November 7, 2018
Source: https://www.ibm.com/blogs/bluemix/2017/11/deprecation-of-biginsights-for-apache-hadoop-basic-plan/

15
IBM Analytics Engine 1.0 Spark (Free)

16
IBM Analytics Engine 1.0 Spark and Hadoop (Free)

17
IBM Data Science Experience (DSX) とは
Ã データサイエンスに携わる全てのユーザ様向けのプラットフォーム
Ã データ分析に必要な環境をAll In Oneで装備し、分析のサイクルを⼀気通貫
Ã データサイエンスを組織としてまわすために必要なコラボレーション機能
Ã Sparkを梱包しているためビッグデータ処理も対応
多様なデータ・ソースへ
のアクセス機能
Python, R, SPSS ⾃動化された機械学習 API化

データサイエンス / 機械学習テクノロジースタック
DSX x IAE による
Find Share Collaborate
common data, pipelines and projects
IBM Data Science Experience
DATA SYSTEMSPlatforms
On-Premise Private Cloud Cloud
Security
Operations
Governance
& Integration
°1 ° ° ° ° ° ° °
° ° ° ° ° ° ° ° °
° ° ° ° ° ° ° ° N
YARN : Data Operating System
Script
Pig
SQL
Hive
NoSQL
HBase
Stream
Strom
In-Mem
Spark
HDFS
(Hadoop Distributed File System)
Others
BigSQL
Clickstream
Web & Social
Geolocation
Sensor
& Machine
Server
Logs
Unstructured
Data Sources
Apache Spark 内蔵
IBM Analytics Engine
（Apache Hadoop /
Spark 占有環境）
Powered by Hortonworks 拡
張
可
能

19
デモスクリプト
Ã IBM Analytics Engineでクラスタを作成
Ã 作成されたクラスタの確認
Ã IBM Data Science Experienceで、プロジェクトの作成
Ã Object Storage (S3)でバケットの作成
Ã Sparkサービスの作成
Ã IAEとDSXの連携
Ã Jupyter NotebookでNotebookの作成
Ã サンプルNotebookを実⾏

20
参考情報
Ã Web
– https://www.ibm.com/cloud/analytics-engine
Ã YouTube
– https://www.youtube.com/watch?v=Qa2Zq0NkokM
– https://www.youtube.com/watch?v=uf1aNmbfGZk
Ã 関連記事
– https://japan.zdnet.com/article/35109884/

21
北瀬公彦
KIMIHIKO KITASE
http://blogs.itmedia.co.jp/kkitase
@kkitase
ホートンワークスジャパンマーケティングディレクター
クラウド利⽤促進機構総合アドバイザー
facebook.com/kkitase
kkitase@gmail.com
何かあればあとでご連絡ください

ライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とは

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Was ist angesagt?

Was ist angesagt? (20)

Ähnlich wie ライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とは

Ähnlich wie ライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とは (20)

Mehr von Kimihiko Kitase

Mehr von Kimihiko Kitase (20)

ライトプランで利用可能な分析基盤「IBM Analytics Engine (IAE)」とは