db techshowcase 2018 最⾼のデータプラットフォームを、最短でつくる⽅法

IBM Analytics
IBM Analytics
最⾼のデータプラットフォームを、
最短でつくる⽅法
⽇本アイ・ビー・エム株式会社
クラウド事業本部
四元菜つみ（ynatsumi@jp.ibm.com）

3出典: https://www.ibm.com/watson/jp-ja/use-cases/
出典: 2018年6⽉12⽇ THINK JAPAN 発表資料
2018年7⽉10⽇報道発表事例
採⽤広がる IBM Watson 国内採⽤

AI(IBM Watson) 導⼊が⽬指したゴールと現実
データから現状を紐解く洞察を導き出すデジタルによる変⾰と挑戦
勘と経験を頼りにした
慣習から脱却
効率化・コスト削減
予測/収益の最適化、
判断の⾃動化
新しいビジネス・モデル
判断のリアルタイム化
結果
競合他社に対しての
優位性を⾒出す
マーケット・
リーダーの地位を確⽴
データの価値
何が/なぜ起きたのかを
理解する
セルフサービス型 BI
何が/なぜ起きているのかを導
き出す
AI活⽤に向けた第⼀歩
機械学習/深層学習
BA
業務への適⽤と統合
ほとんどのお客様はこのステップ
データ
が無い
4

なぜデータがAIには使えないのか？
よくある例
5
ETL
データウェアハウス
マート
クラウドで、さくっと
ウェアハウス/マート
基幹システムの
データ
マート
マート
データが信⽤できない..
⼤事なのは「量より質」

AI Ready を実現するための必要プロセスと要件
集める、繋げる、
データにアクセス
組織を横断して複数の
データソースからデー
タを集め、つなぐ
データベースのプロビ
ジョニング、データへ
のアクセスを統合し制
御する
自動分類の機能で、
メタデータを取り込み
用語とルールを割り当
てる
分析のための
データの理解・
準備
データの理解、浄化、
準備を進める。データ
準備の流れを見える化
する
構造化データ、非構造
化データの両方に対応
できるオープンスタン
ダードなフレームワー
クを利用する
パフォーマンスの高い
エンジンでのデータの
統合と変換を実行する
データの定義と
規定。予測モデル
の作成
機械学習、深層学習、
最適化、その他の高度
な数理モデルを作成す
る
IBMフレームワークと
オープン・ソース・
ツールを使用して、プ
ログラム的または視覚
的にモデルを設計する
データを視覚化する。
ダッシュボードとビジ
ネスレポートを作成す
る
モデルの管理
と配備
開発、テスト、ステー
ジング、本番展開のそ
れぞれの環境にモデル
を配備し管理する
SLAを使用し、オンラ
イン、バッチ、スト
リーミング用に、自動
拡張機能を用いて、モ
デルを展開する
モデルのパフォーマン
スを監視する。再ト
レーニングと再展開を
ローリングアップグ
レードで自動的に実行
する
AIへのデータ活⽤、
アプリの作成
信頼できる統制モデルを
アプリケーション、ダッ
シュボード、および運用
システムに組み込む
データの検索
ポリシーに従ってユー
ザーにデータへのアク
セス権限を付与する
検索のための索引を生
成する。来歴・履歴、
閾値、データ品質に基
づいてデータと資産の
見える化する
カタログ内のデータと
分析資産を検索する
6
収集
Any
Data
分析
Anyone
データ整備 Any AI

データ整備を⽀援するEnterprise Catalog
Enterprise Catalog
ビッグデータ
クラウド上の
データ
ソーシャル
オープンデータ
デバイス
IoT
⾃動
分類
カタログ
管理
メタ
データ
学習データ
学習モデル
モニター
共有
ルール
検索
⽤語辞書
ガバナンス
Any Data Any AI
Anyone
Any AIデータ整備分析 Anyone収集 Any Data
SPSS
Watson Machine
Learning
Cognos Analytics
Jupyter Notebook R Studio
Watson Knowledge
Catalog
データ構造の理解
（メタデータの管理）
どのように作られたかを管理
（リネージュ/来歴）
データ利⽤者がわかる⾔葉
（ビジネスグロッサリー）

統合データプラットフォームのためのパブリック・クラウド基盤（フルマネージド）
Watson Studio
8
Machine Learning / Deep Learning as a Service
Watson Studio
統計解析ツール・機械学習・ディープラーニング / ダッシュボード(BI) / Watson API連携など
Knowledge Catalog
データガバナンス
※ポリシー管理
データ・リファイナリ
※データ連携加⼯
Watson Data Kits
※拡張機能計画
データ・カタログ
※データ台帳
モデル・ガバナンス、
トレース&来歴
※拡張機能計画
HadoopObject Store (IaaS)
外部
ストレージ
RDBMS オンプレ
Object Store
25GBの無償枠
Data Store
データ準備、加⼯、蓄積、分析、分析、機械学習、深層学習/AIまでのフルサイクル
Any AIデータ整備分析 Anyone収集 Any Data

ハイブリッド＆マルチクラウド
Data
Metadata
ML Models
IBM Cloud
Private for Data
(IBM Cloud Private)
IBM Watson
Studio
(IBM Cloud
Public)
Machine Learning
Deep Learning
Knowledge / Data
Machine Learning
Deep Learning
Knowledge / Data
ICP for Data
Kubernetes
コンテナ
Machine Learning
Deep Learning
Knowledge / Data
AWS
Azure
Google
:
IBM Cloud
オンプレミスパブリック･クラウド
Kubernetes
コンテナ
Kubernetes
コンテナ
Machine Learning
Deep Learning
Knowledge / Data
Machine Learning
Deep Learning
Knowledge / Data
お客様のデータとアプリケーションは、オンプレミスでも
パブリック・クラウドでも最適な場所に置き、移動ができる
9
Full Managed

アプリ
開発者
業務の専⾨家
BIツール
データ
サイエン
ティスト
Enterprise Catalog
次世代のデータプラットフォーム on Cloud
基幹
データ
オンプレミス
3rd Party
データ
ログ
データ
アプリ
BackEnd
DB
業務に適⽤
Warehouse
ビジネス
アナリスト
オープン
データ

あらゆる
データ
可⽤性も⼤事
ハイパフォーマンス
リソースは伸縮⾃在
メンテ楽がbetter
オンプレ
無しは
あり得ない

集める、繋げる、
データにアクセス
分析のための
データの理解・準備
データの定義と規定
予測モデルの作成
モデルの管理
と配備
AIへのデータ活⽤ア
プリの作成
データの検索
IBMが提供する「あらゆるデータストア」
Cloudant
Cloudant Local
EvenStore
Elasticsearch
Redis
MondoDB
JanusGraph
RabbitMQ
Scylla
RethinkDB
NoSQL
Db2
Db2 Hosted
Db2 on Cloud
Db2 Warehouse
IIAS
MySQL
PostgreSQL
Relational DB
IBM Cloud Object
Storage
(on-Premises)
Object Storage
IBM Analytics Engine
Hadoop
IBM Cloud Object
Storage
(Cloud)
IBM Hosted Analytics
with Hortonworks
HDP
HDF
SQL Query
Db2 Warehouse on Cloud
⿊字はオンプレ提供
⾚字はクラウドサービス

（余談）実はこんなのも、IBM持ってます
SQL Query
IBM Cloud Object Storage(ICOS)上のデータへ
標準SQLを投げてデータ分析
IBM Analytics Engine
HadoopのSaaSサービス

⾃分の使いたいサービスは別のクラウドサービスで⼗分、という⽅に..
「使い始めた”あと”のこと」を、考えてみませんか？
ü 他社環境へのデータ転送（outbound）は
圧倒的に低コスト
ü ベンダーロックインの⼼配なし
IBM Cloud
⼤⼿クラウド
ベンダー
インターネット
Outbound
無償枠
仮想サーバー 250GB/⽉/台
物理サーバー 500GB/⽉/台
1GB/⽉
情報系
オンプレミス
Asperaで超⾼速に
データ転送
2018/9/15時点

IBM Analytics
Warehouse(分析⽤途のバックエンド)
Db2 Warehouse
on Cloud
アプリのバックエンドとして
データをためる / やりとりする
Db2 on Cloud

© 2018 IBM Corporation
事実：データベースに対するIBMの投資
35年
メインフレーム(z)
のDb2
44年
SQLへの投資
25年
オープン系
(Linux等)のDb2
15年
運⽤⾃動化への取
り組み
12年
⾼速DWHエンジン
“インメモリカラムナ”
1,500件以上
企業様での
クラウドサービスDb2
導⼊実績

Db2 on Cloud
すぐ使えるダウンタイムゼロの
リソース拡張
⾼可⽤性も担保
３DBレプリケーション
HAの設定もクリック１回！
たった3分でデプロイ完了
3分…実測値(9/19)

HA
Db2 on Cloud
たった3分で
デプロイ完了/すぐ使える
すぐ使える

Db2 on Cloud HAについて
• メンテナンス、および⾮常時ダウンタイムの極⼩化ー99.99% uptime SLA
• プライマリの設定が⾃動的にWarmスタンバイに反映
• ローリングアップデートにより、メンテナンス時間を極⼩化
Automatic Client Reroute
フェイルオーバー時はプライマリからスタンバイに
⾃動的にルーティングü 常時監視
ü ⾃動ファイルオーバー
Transaction Log Record
Shipping
スタンバイプライマリ

1 (4GB) 2 (8GB) 4 (16GB) 16 (64GB) 32 (128G)
2 GB 10 Gb 25 GB 50 GB 100
GB
250
GB
500
GB
1 TB 2 TB 4 TB
CPUとMemoryのセットを拡張＆縮退
Storageを拡張
Db2 on Cloud ダウンタイムゼロのリソース拡張
$ ibmcloud cf update-service Db2-vl -c
'{"storage_gb":25,"email":"ynatsumi@jp.ibm.com","scale_time":0}'
DBサービス名
ストレージを25GBへ何分後？（０ならすぐ）
ibmcloud cf update-service Db2-vl -c
'{"ram_gb":8,"email":"ynatsumi@jp.ibm.com","scale_time":0}'
メモリを8GBへ（同時にCPUも増える）

ダラスDC
東京DC
•希望するデータ・センターにDBをレプリケーション
•フェイルオーバー/フェイルバックはWEB GUIで操作 or API経由
同期(Sync)
Async(⾮同期)
BIクエリ
OLTP
アプリ処理によって
⾒る先のDBを
変えて負荷分散
⾼可⽤性も担保
３DBレプリケーション
Db2 on Cloud
curl -X POST -k https://dashdb-txn-flex-yp-dal10-292.services.dal.bluemix.net/db2oc-
agent/dr/takeover?mode=force -H 'Authorization: Bearer <token>'
DR先のURL
graceful:データロスが無いように、auto：最終的には強制的に、force：最初から強制的に

Db2 on Cloud：Enterprise向けクラウドDBの最適解
機能 Db2 on Cloud 商⽤ O社某商⽤DB 某クラウドDB 某OSS DB
直感的な操作かつ短時間での
リソーススケール
Yes
(HA構成利⽤でダウンタイム無し)
Yes Yes No No
ワンクリックによる災対環境
へのフェイルオーバーおよび
リカバリ
Yes No Yes No No
トランザクショナルDBで列
指向テーブルの作成可否
Yes
Yes
但し要追加オプション
Yes No No
他社データベースへのフェデ
レーション・データ仮想化
Yes
No
別SWと組み合わせが必要 No No Yes
データの変更履歴取得と過去
データへのアクセス（監査、
コンプラ対応、開発⽤途）
Yes
Time Travel Query
Yes No No No
プロシージャ利⽤可否 Yes Yes No No Yes
最もクラウドの優位性（リソースの柔軟性、別環境へのフェイルオーバー）を活かした機能と、
エンタープライズユースを踏まえた機能の両⽅を持ち合わせているのは、IBMの他１社のみ。

（補⾜）”Any Data”対応フェデレーション機能
MySQL
Db2
Hadoop(Hive)
従来 IBM
Oracle
顧客情報
過去データ
部⾨データ
売上データ
MySQL
Db2
Hadoop(Hive)
Oracle
他社含めDBへの接続ドライバを
Db2内に搭載（標準機能）
あたかも全てのデータがDb2にあるかのように他
社DB内データへアクセス
都度、
各DBに接続
常にDb2に
接続
データベースごとに接続を変えてアクセス
扱いたいデータの場所を常に意識する必要があり管理が煩雑
Db2

l ビル建物が⾼くなればなるほど、稼働が停⽌すれば利⽤者に迷
惑がかかり、⼈の流れが⽌まってしまう。つまり、⼀回の機器
故障やサービスの中断がもたらす対応コストも増⼤。
l 世界中のエレベータ/エスカレータ約110万台
をリモートで監視および管理する仕組みを構築。機器情報を
収集＆分析できる基盤をIBMクラウド上に構築。
l データ蓄積部分でDb2 on Cloudを活⽤
l サービス停⽌時間を⼤幅削減。
課題
ソリューションと効果
KONE Corp.
世界中のエレベータやエスカレータの保全⾼度化/顧客価値向上

ハイパフォーマンスクラウドDWH
DBA不要 / 完全⾃動運⽤ハイパフォーマンス機械学習をビルドイン
おーとのます？
いまさら..
特許が結集した
インメモリカラムナ
SQL

ハイパフォーマンスを実現する “インメモリカラムナ”
元データ列の
絞り込み
⾏の
絞り込み
完了
ロード
元データが⼤きくても、必要なデータだけをメモリ上で圧縮したまま
処理するから⾼速
SIMD活⽤
並列処理
処理に必要な
データ
メモリ上
(*)
圧縮率4倍、対象列のデータ量 20%、対象⾏のデータ量 20% とした場合のIO効率のイメージ
元データ量を
100とすると… 25
(平均4倍圧縮)
5 1
(I/O、メモリ上)

列の絞り込み：カラムナ技術 ID ⽀店売上 yyy
売上を集計したい
↓
売上のカラム(＝列)だけに
アクセス
⾏の絞り込み：データスキッピング⽇付お客様ID
2018/8/1 205
2018/8/2 115
2018/8/4 100
2018/8/4 700
2018/8/5 100
2018/8/6 700
2018/8/9 850
A Max 8/2
Min 8/1
C
B Max 8/5
Min 8/4
Max 8/9
Min 8/6
8⽉5⽇のデータにアクセスしたい
↓
該当するデータブロックにのみ
を読み込み
• データのブロックごと（A・B・C）値の最⼩値/最⼤値を⾃動的に収集
• 従来は索引で対応のためメンテナンス⼯数がネックに。
ハイパフォーマンスを実現する “インメモリカラムナ”

• データベース構築・運⽤管理作業の
完全⾃動化
• インメモリカラムナでチューニングレ
スかつハイパフォーマンス
• ダウンタイム無しにリソースの
拡⼤/縮⼩が可能
HW、OS、DB
セットアップ構築
パッチ適⽤
バージョンUP
これらすべてが⾃動化、だからDBA不要
ログローテ、
不要データ削除
セキュアで
⾼性能な構成
リソース
拡⼤縮⼩
統計情報取得バックアップ
テーブル作成
データロード
監視と障害対応

チューニング
データベース管理から解放され、データ利活⽤に集中。運⽤コストも削減。
Amazon redshift
統計情報の更新（ANALYZE）
ハウスキーピング（VACUUM）
・列圧縮タイプの⾒直し
バックアップ⾃動
・ソートキーの⾒直し
・分散キーの⾒直し
パッチの適⽤⾃動
データベースの拡張
ノードの構成変更
チューニング
統計情報の更新は⾃動
ハウスキーピングは⾃動
・列圧縮タイプの設定は必要なし
バックアップ⾃動
・ソートキーは必要なし
・分散キーの設定は⾃動
パッチの適⽤⾃動
データベースの拡張
GUI（スライドバー）で即時反映
DBA不要
管理者の負担軽減
インフラ運⽤を意識
最低でも1⼈の運⽤担当/DBA → DBA不要! (例:1⼈⽉ 200万円削減)
※弊社独⾃調査
IBM Db2 Warehouse on Cloud
週に1回
1⽇1回
⽉次で検討
（２週間）
⽉1回⽉1回

1
2
2
31
他社と⽐較して３倍も迅速にデータ分析がスタート
しかも、チューニングレスで最初から⾮常に⾼速
３倍簡単&迅速
1. SQL クライアントのドライバとツールを
PCにインストール
2. Amazon S3を作成
3. Amazon redshiftサービスを作成
4. ファイアウォールルールの決定
5. IAM ロールを作成するステップ
6. PCに保存されているデータをS3にアップ
ロードする
7. redshiftへのアクセス設定
8. redshiftに接続
9. テーブル定義を作成する
10.テーブルを作成する
11.S3 からデータをredshiftにロード
12.作成したテーブルにクエリを実⾏
1. Db2 WoCを作成する
2. Db2 WoCにWEBブラウザで接続する
3. PCからWEBブラウザでを使ってデータをロード
4. WEBブラウザからクエリを実⾏

機械学習をビルドイン
SQL
データの移動を
排除
使い慣れたインターフェース
In-DBで処理
⼤量データの
やり取り

https://www.ibm.com/support/knowledgecenter/ja/SS6NHC/com
.ibm.swg.im.dashdb.analytics.doc/doc/explorer_pkg_ibmdbr.html
https://pypi.org/project/ibmdbpy/

• Db2 Warehouse
on Cloud
• Db2 on Cloud
IBM Integrated
Analytics System
Db2 Warehouse
Db2
クラウドサービスアプライアンス
コンテナだから
あらゆるクラウド&オンプレミス
Db2
エンジン
強⼒なDBエンジンをそのまま、様々な稼働環境に展開
他社
クラウド
IBM
Cloud
ü エンタープライズユースに必要な機能完全装備
ü インメモリカラムナで⾼速DWH処理
ü ハイブリッドクラウド対応
オンプレ
稼働インフラを問わないハイブリッド/マルチクラウド対応のDBエンジン
共通SQLインターフェースだからアプリケーション可搬性も担保

IBM Analytics
Warehouse(分析⽤途のバックエンド)
Db2 Warehouse
on Cloud
アプリのバックエンドとして
データをためる / やりとりする
Db2 on Cloud
Enterprise
Catalog
üAI活⽤で業界をリードしてきたIBMだからこそたどり着いた
「Enterprise Catalog」という答え
üクラウドの柔軟性/拡張性（技術的＆ライセンス）
üあらゆるファイルシステムに対応（Any Data）
üすぐに使える、⾼可⽤性/ハイパフォーマンス Db2

IBM Cloud
Db2 on Cloud, SQL queryなど多数のサービスを搭載した「IBM Cloud」に
新しいアカウント・タイプが登場
「IBM Cloud ライト・アカウント」
https://qiita.com/tags/db2
https://bit.ly/2xsMfR2

db techshowcase 2018 最⾼のデータプラットフォームを、最短でつくる⽅法

db techshowcase 2018 最⾼のデータプラットフォームを、最短でつくる⽅法

Recommended

Recommended

More Related Content

What's hot

What's hot (18)

Similar to db techshowcase 2018 最⾼のデータプラットフォームを、最短でつくる⽅法

Similar to db techshowcase 2018 最⾼のデータプラットフォームを、最短でつくる⽅法 (20)