SlideShare ist ein Scribd-Unternehmen logo
1 von 27
Downloaden Sie, um offline zu lesen
(C) 2018 ZEAL Corporation. All Rights Reserved.
現場の”今”を知る、
これからのビッグデータ分析・活用のすすめ
リアルタイムデータ分析の最新動向と取り組み方
株式会社ジール 鈴木祐司
2018/3/8
(C) 2018 ZEAL Corporation. All Rights Reserved.
本日の内容1
※本資料に掲載された製品名、会社名、及びロゴは各社の商標または登録商標です。
ターゲット
・ 業務を改善する取り組みについて情報収集してるけどみつからない・・・
・ そもそもデータ分析ってよくわからない・・・
・ Hadoop環境はあるけど、いまいち活用できていない・・・
ゴール
・ データ分析の”これまで”と、”これから”できるようになることを知っていただく
・ 貴社業務の中で、「こんなことができたら効果ありそう!」を考えるきっかけとなる
はじめに
2
(C) 2018 ZEAL Corporation. All Rights Reserved.
会社概要3
■会社名 株式会社 ジール (英文名:ZEAL Corporation )
■設立 2012年7月 (事業継承に伴う新法人設立の為。母体は1991年設立)
■資本 1億円
■所在地 【本社】東京都品川区上大崎二丁目13番17号 目黒東急ビル6階
【大阪支社】大阪府吹田市豊津町1番18号 エクラート江坂ビル5階
■事業内容 BI/DWH/CPMコンサルティング事業
BI/DWH/CPMインテグレーション事業
BI/DWH/CPMソフトウェアライセンス・ハードウェアの販売及び保守
アウトソーシング事業 (一般労働者派遣:派13-305385)
■従業員数 251名(2018年2月1日現在)
■代表取締役社長 岡部 貴弘
■沿革 (事業継承前)
1991年 株式会社ジール創業
(事業継承後)
2012年 株式会社DHI(旧:株式会社ジール)より事業承継
AVANTグループ(旧:DIVAグループ)へ編入
2013年 本社を品川に移転
2014年 本社を目黒に移転
2017年 大阪支社を開設
JQA-IM0563
https://www.zdh.co.jp/
(C) 2018 ZEAL Corporation. All Rights Reserved.
ジールの強み・特徴4
■ ジールはBIが一般に認知される以前から、『国内唯一のBI/DWH専業のソリューションベンダー』として
業界をリードして参りました。そこから生まれた他社にない強みをご紹介いたします。
900社以上との取引実績、「情報系ならZEAL」
✓製造業
✓流通業
✓小売業
✓製薬業
✓金融業
✓通信業
✓建設業
✓医療機関
✓公共
POINT 2
BIは多種多様なお客様から必要とされており、これまでにも多くの実績がございます。
ジールは業種を問いません。
Business Intelligence歴25年以上
日本でBIが認知されていない頃から注目し、長期に渡りBIに専業して参りました。
お客様との数多くの経験から、豊富な開発ノウハウや業務知識を有しております。
→(例) 統合業績管理・予算編成システム、統合原価管理・分析システム、
顧客・商品・販売分析システム 等
POINT 1 ※吸収分割会社の年数を含む
主要BI/CPMベンダーとプライムパートナーPOINT 3
•Adaptive Insights Solution Partner
•IBM BusinessPartner
•Infor Partner
•Microsoft Gold Partner
•Oracle Gold Partner
•SAP Business Objects Silver Partner
•SAS Consulting Partner
(C) 2018 ZEAL Corporation. All Rights Reserved.
自己紹介
す ず き ゆ う じ
鈴木 祐司
5
経歴
IT一筋13年
・ソフトウェア開発
・サーバーインフラ構築
・自社製品企画・開発
・情報活用 [現職]
情報活用の大衆化
ミッション
“分析”の敷居を下げ、お客
様のビジネスに貢献するお
手伝いをすること
現職では、小売業、流通業、製造業等、様々なお客様の情報活用のお手伝いをしており
ます。DWH構築、BIツール導入、ダッシュボード設計・・・最近ではクラウドサービスを利用した
機械学習による予測や、AI関連サービスの活用などもご支援しております。
技術のビジネス活用
興味分野
・自然言語処理
・Big Data
・IoT (IoTシステム技術検定 中級)
・AI / Cognitive Service
6 目次
<第一部>
 これまでを知り、これからを考える。 データ分析・活用のすすめ
 情報活用の歴史
 データ分析の発展
 リアルタイムデータ分析で何が変わる?
 ユースケースを考える
 DEMO
<第二部>
 クラウドで始めるビッグデータ分析の第一歩
 Hadoop + Zoomdata On Azure
 ビッグデータとお付き合いするためのソリューション@Microsoft Azure
 DEMO
<第一部>
これまでを知り、これからを考える
データ分析・活用のすすめ
7
(C) 2018 ZEAL Corporation. All Rights Reserved.
情報活用の歴史8
「勘と経験に基づく意志決定から、データに基づく意志決定へ」
一部のアナリストのためだけではなく、エンドユーザが自ら利用できる
分析環境を実現したものがビジネスインテリジェンス(BI)
1960s
基幹業務システム
の整備
1970s
MIS
(経営情報システム)
1980s
DSS
(意思決定支援システム)
1990s
Business
Intelligence
(C) 2018 ZEAL Corporation. All Rights Reserved.
データ分析(BI)の発展9
過去データ抽出/
定型レポート
過去データの
非定型検索/集計
データ
ディスカバリ
統計的手法の導入
低
高
リアルタイムデータの
活用
分
析
の
高
度
化
何をすべきか?観測
何故おこったのか?分析
何がおこったのか?可視化
従来の構造化データ中心
新しいデータタイプ中心
モバイル
ソーシャル
クリックストリーム
フォレンジック
センサー
IoT
Etc.
何がおこるか?予測
(C) 2018 ZEAL Corporation. All Rights Reserved.
リアルタイムデータ分析で何が変わる?
現場が”今”行う判断も、データ(事実)を起点に行えるようになります
→ 情報を知るまでの時間サイクルが短くなり、知る得る範囲も広くなります
10
集計時点(例:前日)の情報は把握可能。
しかし、当日の情報は自分の見える範囲のみ。
Before:過去からの推測Before
集計時点(例:前日)の情報に加えて、
当日の情報も同じ範囲で見えるようになる。
After:過去からの推測+今を観測After
(C) 2018 ZEAL Corporation. All Rights Reserved.
小売業のユースケースを考える
複合商業施設にて、効果的なタイムセールを実施する
→ 全店舗の在庫と今の売り上げから、適切な品目を適切な店舗で実施
→ 個客の属性や、人を集めたい場所でタイムセールを実施
11
✓製造業
✓流通業
✓小売業
✓製薬業
✓金融業
✓通信業
✓建設業
✓医療機関
✓公共
他業界では…?
(C) 2018 ZEAL Corporation. All Rights Reserved.
DEMO12
デモをご覧ください
<第二部>
クラウドで始めるビッグデータ分析の第一歩
13
(C) 2018 ZEAL Corporation. All Rights Reserved.
Hadoopに関するイメージ14
つまりHadoopは「はやい、やすい、うまい(簡単)」なんです
データ量が非常に大きいのですが、高額なアプライアンスDBを用意しなくてはいけませんか?
また、Hadoopはバッチ処理のイメージが強く、アドホックな分析には向かないイメージがありますが?
Q1.
Hadoopは導入するのに敷居が高そうなイメージなんですが?Q2.
Hadoopは複数台のマシン準備が必要で調達、初期設定に時間がかかりそうですが?Q3.
そんなことはありません。確かにRDB技術者に比べてエンジニア数は少ないですが、
ShellコマンドとGUIで容易に導入が可能です。
いいえ、クラウド環境であれば映画を一本みるころには調達、初期設定は終わっています。
しかも、小さく始めて必要に応じてスケールすることも可能になります。
いいえ、大量データを分析することが目的というならば、必ずしも高額なアプライアンスDBを用意する必要はありません。
また、Hadoopのエコシステムは、大容量バッチ処理はもちろん、アドホック分析も守備範囲です。
(C) 2018 ZEAL Corporation. All Rights Reserved.
システム構成図15
Microsoft Azure
管理
Cloudera Director
データ
Azure Data Lake Store
取込
デモ会場
利用
ブラウザ
参照参照
Zoomdata
分析
作成
削除
基盤(Hadoop)
Cloudera Manager Master Nodes Worker Nodes Edge Nodes
(Optional)
(C) 2018 ZEAL Corporation. All Rights Reserved.
システム構成図(補足)16
Microsoft Azure
管理
Cloudera Director
作成
削除
データ
Azure Data Lake Store
取込
デモ会場
利用
ブラウザ
参照参照
Zoomdata
分析基盤(Hadoop)
Cloudera Manager Master Nodes Worker Nodes Edge Nodes
(Optional)
データ
・件数:2億件
・サイズ:46GB
・ファイル:CSV
1台 3台 1台
サーバースペック(1台あたり)
・DS13_V2 Standard
- vCPU :8
- MEM :56GB
- SSD :112GB
1台 1台
サーバースペック(1台あたり)
・DS5_V2 Promo
- vCPU :16
- MEM :56GB
- SSD :112GB
(C) 2018 ZEAL Corporation. All Rights Reserved.
システム構築フロー
構築の流れ
17
作業概要
主な操作
作業時間
1.データの準備
✓ 自社ネットワークから
ADLS(米国東部)へ
46GBのCSVファイルアップ
ロードに2時間程度
✓ 分析に利用するCSVを
ADLSにアップロード
➢ コマンド
(PowerShell)
✓ データのアップロード
2.管理サーバの作成
✓ 初回のみ2時間程度
✓ Azure VMを作成
✓ DNS・ネットワーク・Azure
の自動操作権限の設定
✓ Directorインストール
➢ ブラウザ
➢ コマンド(SSH)
✓ Directorのセットアップ
3.分析基盤の作成
✓ 約18分で構築完了
✓ 約15分でデータ取込完了
✓ DirectorのWeb画面から、
各種サーバー設定を入力
し、CDHクラスタを構築
➢ ブラウザ
✓ 分析環境にデータ取込
➢ コマンド(SSH)
✓ データ格納形式を指定
(Parquet[パーケイ])
✓ 基盤の作成指示
✓ データ取込
✓ チューニング
4.分析サーバの作成
✓ 約30分で構築完了
✓ 数分で接続設定は完了
✓ Azure VMを作成
✓ Zoomdataインストール
✓ 分析基盤への接続設定
➢ ブラウザ
➢ コマンド(SSH)
✓ Zoomdataのセットアップ
(C) 2018 ZEAL Corporation. All Rights Reserved.
(参考)Cloudera DirectorをAzureに構築18
(C) 2018 ZEAL Corporation. All Rights Reserved.
(参考)Cloudera Managerの設定画面19
(C) 2018 ZEAL Corporation. All Rights Reserved.
(参考)CDHクラスタの作成画面20
(C) 2018 ZEAL Corporation. All Rights Reserved.
(参考)クラスタの各サーバー台数の設定21
(C) 2018 ZEAL Corporation. All Rights Reserved.
(参考)作成中の画面22
(C) 2018 ZEAL Corporation. All Rights Reserved.
DEMO23
デモをご覧ください
本日のまとめ
24
(C) 2018 ZEAL Corporation. All Rights Reserved.
まとめ
リアルタイムデータ分析は現場の”今”を支援
25
1
2
3
クラウドで簡単に小さくはじめ、大きく育てる
これまでも、これからも、情報活用はジールへ
Zoomdataでビッグデータとリアルタイムデータを現場で活用。分析は現場にこそ必要
Hadoopもクラウドならお手軽に。今後のAzure関連サービスとの連携もスムーズに
検討段階からでもお気軽にご相談ください。全力でご支援いたします!
(C) 2018 ZEAL Corporation. All Rights Reserved.
03-5422-8477 sales-info@zdh.co.jp
http://www.zdh.co.jp/contact/

Weitere ähnliche Inhalte

Was ist angesagt?

【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
Developers Summit
 
大規模サイトを支えるビッグデータプラットフォーム技術
大規模サイトを支えるビッグデータプラットフォーム技術大規模サイトを支えるビッグデータプラットフォーム技術
大規模サイトを支えるビッグデータプラットフォーム技術
Yahoo!デベロッパーネットワーク
 
Hadoop Conference Japan 2013 Winter オープニングスライド
Hadoop Conference Japan 2013 Winter オープニングスライドHadoop Conference Japan 2013 Winter オープニングスライド
Hadoop Conference Japan 2013 Winter オープニングスライド
hamaken
 
D24 ビックデータへの苦難と、国産データベースの挑戦 自社従来比100倍の性能に挑む、超高速データベースエンジンHitachi Advanced Dat...
D24 ビックデータへの苦難と、国産データベースの挑戦 自社従来比100倍の性能に挑む、超高速データベースエンジンHitachi Advanced Dat...D24 ビックデータへの苦難と、国産データベースの挑戦 自社従来比100倍の性能に挑む、超高速データベースエンジンHitachi Advanced Dat...
D24 ビックデータへの苦難と、国産データベースの挑戦 自社従来比100倍の性能に挑む、超高速データベースエンジンHitachi Advanced Dat...
Insight Technology, Inc.
 
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
Recruit Technologies
 
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラムビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
Recruit Technologies
 

Was ist angesagt? (20)

並列データベースシステムの概念と原理
並列データベースシステムの概念と原理並列データベースシステムの概念と原理
並列データベースシステムの概念と原理
 
Cloudera World Tokyo 2015 Oracleセッション資料 「ビッグデータ/IoTの最新事例とHadoop活用の勘所」
Cloudera World Tokyo 2015 Oracleセッション資料 「ビッグデータ/IoTの最新事例とHadoop活用の勘所」Cloudera World Tokyo 2015 Oracleセッション資料 「ビッグデータ/IoTの最新事例とHadoop活用の勘所」
Cloudera World Tokyo 2015 Oracleセッション資料 「ビッグデータ/IoTの最新事例とHadoop活用の勘所」
 
Hadoopカンファレンス20140707
Hadoopカンファレンス20140707Hadoopカンファレンス20140707
Hadoopカンファレンス20140707
 
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
【17-E-3】Hadoop:黄色い象使いへの道 ~「Hadoop徹底入門」より~
 
大規模サイトを支えるビッグデータプラットフォーム技術
大規模サイトを支えるビッグデータプラットフォーム技術大規模サイトを支えるビッグデータプラットフォーム技術
大規模サイトを支えるビッグデータプラットフォーム技術
 
Hadoopの概念と基本的知識
Hadoopの概念と基本的知識Hadoopの概念と基本的知識
Hadoopの概念と基本的知識
 
はやわかりHadoop
はやわかりHadoopはやわかりHadoop
はやわかりHadoop
 
Hadoopカンファレンス2013
Hadoopカンファレンス2013Hadoopカンファレンス2013
Hadoopカンファレンス2013
 
並列分散処理基盤Hadoopの紹介と、開発者が語るHadoopの使いどころ (Silicon Valley x 日本 / Tech x Business ...
並列分散処理基盤Hadoopの紹介と、開発者が語るHadoopの使いどころ (Silicon Valley x 日本 / Tech x Business ...並列分散処理基盤Hadoopの紹介と、開発者が語るHadoopの使いどころ (Silicon Valley x 日本 / Tech x Business ...
並列分散処理基盤Hadoopの紹介と、開発者が語るHadoopの使いどころ (Silicon Valley x 日本 / Tech x Business ...
 
Hadoop Conference Japan 2013 Winter オープニングスライド
Hadoop Conference Japan 2013 Winter オープニングスライドHadoop Conference Japan 2013 Winter オープニングスライド
Hadoop Conference Japan 2013 Winter オープニングスライド
 
Hadoop ~Yahoo! JAPANの活用について~
Hadoop ~Yahoo! JAPANの活用について~Hadoop ~Yahoo! JAPANの活用について~
Hadoop ~Yahoo! JAPANの活用について~
 
D24 ビックデータへの苦難と、国産データベースの挑戦 自社従来比100倍の性能に挑む、超高速データベースエンジンHitachi Advanced Dat...
D24 ビックデータへの苦難と、国産データベースの挑戦 自社従来比100倍の性能に挑む、超高速データベースエンジンHitachi Advanced Dat...D24 ビックデータへの苦難と、国産データベースの挑戦 自社従来比100倍の性能に挑む、超高速データベースエンジンHitachi Advanced Dat...
D24 ビックデータへの苦難と、国産データベースの挑戦 自社従来比100倍の性能に挑む、超高速データベースエンジンHitachi Advanced Dat...
 
WebDB Forum 2013
WebDB Forum 2013 WebDB Forum 2013
WebDB Forum 2013
 
WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料WebDB Forum 2012 基調講演資料
WebDB Forum 2012 基調講演資料
 
基幹業務もHadoop(EMR)で!!のその後
基幹業務もHadoop(EMR)で!!のその後基幹業務もHadoop(EMR)で!!のその後
基幹業務もHadoop(EMR)で!!のその後
 
S01 t3 data_engineer
S01 t3 data_engineerS01 t3 data_engineer
S01 t3 data_engineer
 
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
分散処理基盤ApacheHadoop入門とHadoopエコシステムの最新技術動向(OSC2015 Kansai発表資料)
 
ビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラムビッグデータ活用支援フォーラム
ビッグデータ活用支援フォーラム
 
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
リクルートのビッグデータ活用基盤とビッグデータ活用のためのメタデータ管理Webのご紹介
 
FluentdやNorikraを使った データ集約基盤への取り組み紹介
FluentdやNorikraを使った データ集約基盤への取り組み紹介FluentdやNorikraを使った データ集約基盤への取り組み紹介
FluentdやNorikraを使った データ集約基盤への取り組み紹介
 

Ähnlich wie 現場の”今”を知る、これからのビッグデータ分析・活用のすすめ

Tableauが魅せる Data Visualization の世界
Tableauが魅せる Data Visualization の世界Tableauが魅せる Data Visualization の世界
Tableauが魅せる Data Visualization の世界
Takahiro Inoue
 
スモールデータから始めるHadoop
スモールデータから始めるHadoopスモールデータから始めるHadoop
スモールデータから始めるHadoop
jem_3
 

Ähnlich wie 現場の”今”を知る、これからのビッグデータ分析・活用のすすめ (20)

Beginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning HadoopBeginner must-see! A future that can be opened by learning Hadoop
Beginner must-see! A future that can be opened by learning Hadoop
 
Tableauが魅せる Data Visualization の世界
Tableauが魅せる Data Visualization の世界Tableauが魅せる Data Visualization の世界
Tableauが魅せる Data Visualization の世界
 
Hadoop ecosystem NTTDATA osc15tk
Hadoop ecosystem NTTDATA osc15tkHadoop ecosystem NTTDATA osc15tk
Hadoop ecosystem NTTDATA osc15tk
 
分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 (オープンソースカンファレンス 2015 Tokyo/Spring 講...
分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 (オープンソースカンファレンス 2015 Tokyo/Spring 講...分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 (オープンソースカンファレンス 2015 Tokyo/Spring 講...
分散処理基盤Apache Hadoop入門とHadoopエコシステムの最新技術動向 (オープンソースカンファレンス 2015 Tokyo/Spring 講...
 
Bussiness man drupal_20160704
Bussiness man drupal_20160704Bussiness man drupal_20160704
Bussiness man drupal_20160704
 
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
Hadoop上の多種多様な処理でPigの活きる道 (Hadoop Conferecne Japan 2013 Winter)
 
Hadoopデータ基盤とMulti-CloudなML基盤への取り組みの紹介
Hadoopデータ基盤とMulti-CloudなML基盤への取り組みの紹介Hadoopデータ基盤とMulti-CloudなML基盤への取り組みの紹介
Hadoopデータ基盤とMulti-CloudなML基盤への取り組みの紹介
 
スモールデータから始めるHadoop
スモールデータから始めるHadoopスモールデータから始めるHadoop
スモールデータから始めるHadoop
 
IBM版Hadoop - BigInsights/Big SQL (2013/07/26 CLUB DB2発表資料)
IBM版Hadoop - BigInsights/Big SQL (2013/07/26 CLUB DB2発表資料)IBM版Hadoop - BigInsights/Big SQL (2013/07/26 CLUB DB2発表資料)
IBM版Hadoop - BigInsights/Big SQL (2013/07/26 CLUB DB2発表資料)
 
Drupal si 20160704
Drupal si 20160704Drupal si 20160704
Drupal si 20160704
 
Japan it 20160707short
Japan it 20160707shortJapan it 20160707short
Japan it 20160707short
 
Drupal Market in Japan @ 「DrupalCon 2016 New Orleans」情報交換会
Drupal Market in Japan @ 「DrupalCon 2016 New Orleans」情報交換会 Drupal Market in Japan @ 「DrupalCon 2016 New Orleans」情報交換会
Drupal Market in Japan @ 「DrupalCon 2016 New Orleans」情報交換会
 
Strata conference 2012
Strata conference 2012Strata conference 2012
Strata conference 2012
 
データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門データ分析を支える技術 DWH再入門
データ分析を支える技術 DWH再入門
 
Hadoop~Yahoo!Japanの活用について
Hadoop~Yahoo!Japanの活用についてHadoop~Yahoo!Japanの活用について
Hadoop~Yahoo!Japanの活用について
 
ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展ビッグデータ&データマネジメント展
ビッグデータ&データマネジメント展
 
D1-2-S07 オンプレミスのデータウェアハウス基盤を BigQuery へ
D1-2-S07 オンプレミスのデータウェアハウス基盤を BigQuery へD1-2-S07 オンプレミスのデータウェアハウス基盤を BigQuery へ
D1-2-S07 オンプレミスのデータウェアハウス基盤を BigQuery へ
 
リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例リクルートを支える横断データ基盤と機械学習の適用事例
リクルートを支える横断データ基盤と機械学習の適用事例
 
チームトポロジーから学び、 データプラットフォーム組織を考え直した話.pptx
チームトポロジーから学び、 データプラットフォーム組織を考え直した話.pptxチームトポロジーから学び、 データプラットフォーム組織を考え直した話.pptx
チームトポロジーから学び、 データプラットフォーム組織を考え直した話.pptx
 
Hadoop Conference Japan 2009 #2
Hadoop Conference Japan 2009 #2Hadoop Conference Japan 2009 #2
Hadoop Conference Japan 2009 #2
 

現場の”今”を知る、これからのビッグデータ分析・活用のすすめ

  • 1. (C) 2018 ZEAL Corporation. All Rights Reserved. 現場の”今”を知る、 これからのビッグデータ分析・活用のすすめ リアルタイムデータ分析の最新動向と取り組み方 株式会社ジール 鈴木祐司 2018/3/8
  • 2. (C) 2018 ZEAL Corporation. All Rights Reserved. 本日の内容1 ※本資料に掲載された製品名、会社名、及びロゴは各社の商標または登録商標です。 ターゲット ・ 業務を改善する取り組みについて情報収集してるけどみつからない・・・ ・ そもそもデータ分析ってよくわからない・・・ ・ Hadoop環境はあるけど、いまいち活用できていない・・・ ゴール ・ データ分析の”これまで”と、”これから”できるようになることを知っていただく ・ 貴社業務の中で、「こんなことができたら効果ありそう!」を考えるきっかけとなる
  • 4. (C) 2018 ZEAL Corporation. All Rights Reserved. 会社概要3 ■会社名 株式会社 ジール (英文名:ZEAL Corporation ) ■設立 2012年7月 (事業継承に伴う新法人設立の為。母体は1991年設立) ■資本 1億円 ■所在地 【本社】東京都品川区上大崎二丁目13番17号 目黒東急ビル6階 【大阪支社】大阪府吹田市豊津町1番18号 エクラート江坂ビル5階 ■事業内容 BI/DWH/CPMコンサルティング事業 BI/DWH/CPMインテグレーション事業 BI/DWH/CPMソフトウェアライセンス・ハードウェアの販売及び保守 アウトソーシング事業 (一般労働者派遣:派13-305385) ■従業員数 251名(2018年2月1日現在) ■代表取締役社長 岡部 貴弘 ■沿革 (事業継承前) 1991年 株式会社ジール創業 (事業継承後) 2012年 株式会社DHI(旧:株式会社ジール)より事業承継 AVANTグループ(旧:DIVAグループ)へ編入 2013年 本社を品川に移転 2014年 本社を目黒に移転 2017年 大阪支社を開設 JQA-IM0563 https://www.zdh.co.jp/
  • 5. (C) 2018 ZEAL Corporation. All Rights Reserved. ジールの強み・特徴4 ■ ジールはBIが一般に認知される以前から、『国内唯一のBI/DWH専業のソリューションベンダー』として 業界をリードして参りました。そこから生まれた他社にない強みをご紹介いたします。 900社以上との取引実績、「情報系ならZEAL」 ✓製造業 ✓流通業 ✓小売業 ✓製薬業 ✓金融業 ✓通信業 ✓建設業 ✓医療機関 ✓公共 POINT 2 BIは多種多様なお客様から必要とされており、これまでにも多くの実績がございます。 ジールは業種を問いません。 Business Intelligence歴25年以上 日本でBIが認知されていない頃から注目し、長期に渡りBIに専業して参りました。 お客様との数多くの経験から、豊富な開発ノウハウや業務知識を有しております。 →(例) 統合業績管理・予算編成システム、統合原価管理・分析システム、 顧客・商品・販売分析システム 等 POINT 1 ※吸収分割会社の年数を含む 主要BI/CPMベンダーとプライムパートナーPOINT 3 •Adaptive Insights Solution Partner •IBM BusinessPartner •Infor Partner •Microsoft Gold Partner •Oracle Gold Partner •SAP Business Objects Silver Partner •SAS Consulting Partner
  • 6. (C) 2018 ZEAL Corporation. All Rights Reserved. 自己紹介 す ず き ゆ う じ 鈴木 祐司 5 経歴 IT一筋13年 ・ソフトウェア開発 ・サーバーインフラ構築 ・自社製品企画・開発 ・情報活用 [現職] 情報活用の大衆化 ミッション “分析”の敷居を下げ、お客 様のビジネスに貢献するお 手伝いをすること 現職では、小売業、流通業、製造業等、様々なお客様の情報活用のお手伝いをしており ます。DWH構築、BIツール導入、ダッシュボード設計・・・最近ではクラウドサービスを利用した 機械学習による予測や、AI関連サービスの活用などもご支援しております。 技術のビジネス活用 興味分野 ・自然言語処理 ・Big Data ・IoT (IoTシステム技術検定 中級) ・AI / Cognitive Service
  • 7. 6 目次 <第一部>  これまでを知り、これからを考える。 データ分析・活用のすすめ  情報活用の歴史  データ分析の発展  リアルタイムデータ分析で何が変わる?  ユースケースを考える  DEMO <第二部>  クラウドで始めるビッグデータ分析の第一歩  Hadoop + Zoomdata On Azure  ビッグデータとお付き合いするためのソリューション@Microsoft Azure  DEMO
  • 9. (C) 2018 ZEAL Corporation. All Rights Reserved. 情報活用の歴史8 「勘と経験に基づく意志決定から、データに基づく意志決定へ」 一部のアナリストのためだけではなく、エンドユーザが自ら利用できる 分析環境を実現したものがビジネスインテリジェンス(BI) 1960s 基幹業務システム の整備 1970s MIS (経営情報システム) 1980s DSS (意思決定支援システム) 1990s Business Intelligence
  • 10. (C) 2018 ZEAL Corporation. All Rights Reserved. データ分析(BI)の発展9 過去データ抽出/ 定型レポート 過去データの 非定型検索/集計 データ ディスカバリ 統計的手法の導入 低 高 リアルタイムデータの 活用 分 析 の 高 度 化 何をすべきか?観測 何故おこったのか?分析 何がおこったのか?可視化 従来の構造化データ中心 新しいデータタイプ中心 モバイル ソーシャル クリックストリーム フォレンジック センサー IoT Etc. 何がおこるか?予測
  • 11. (C) 2018 ZEAL Corporation. All Rights Reserved. リアルタイムデータ分析で何が変わる? 現場が”今”行う判断も、データ(事実)を起点に行えるようになります → 情報を知るまでの時間サイクルが短くなり、知る得る範囲も広くなります 10 集計時点(例:前日)の情報は把握可能。 しかし、当日の情報は自分の見える範囲のみ。 Before:過去からの推測Before 集計時点(例:前日)の情報に加えて、 当日の情報も同じ範囲で見えるようになる。 After:過去からの推測+今を観測After
  • 12. (C) 2018 ZEAL Corporation. All Rights Reserved. 小売業のユースケースを考える 複合商業施設にて、効果的なタイムセールを実施する → 全店舗の在庫と今の売り上げから、適切な品目を適切な店舗で実施 → 個客の属性や、人を集めたい場所でタイムセールを実施 11 ✓製造業 ✓流通業 ✓小売業 ✓製薬業 ✓金融業 ✓通信業 ✓建設業 ✓医療機関 ✓公共 他業界では…?
  • 13. (C) 2018 ZEAL Corporation. All Rights Reserved. DEMO12 デモをご覧ください
  • 15. (C) 2018 ZEAL Corporation. All Rights Reserved. Hadoopに関するイメージ14 つまりHadoopは「はやい、やすい、うまい(簡単)」なんです データ量が非常に大きいのですが、高額なアプライアンスDBを用意しなくてはいけませんか? また、Hadoopはバッチ処理のイメージが強く、アドホックな分析には向かないイメージがありますが? Q1. Hadoopは導入するのに敷居が高そうなイメージなんですが?Q2. Hadoopは複数台のマシン準備が必要で調達、初期設定に時間がかかりそうですが?Q3. そんなことはありません。確かにRDB技術者に比べてエンジニア数は少ないですが、 ShellコマンドとGUIで容易に導入が可能です。 いいえ、クラウド環境であれば映画を一本みるころには調達、初期設定は終わっています。 しかも、小さく始めて必要に応じてスケールすることも可能になります。 いいえ、大量データを分析することが目的というならば、必ずしも高額なアプライアンスDBを用意する必要はありません。 また、Hadoopのエコシステムは、大容量バッチ処理はもちろん、アドホック分析も守備範囲です。
  • 16. (C) 2018 ZEAL Corporation. All Rights Reserved. システム構成図15 Microsoft Azure 管理 Cloudera Director データ Azure Data Lake Store 取込 デモ会場 利用 ブラウザ 参照参照 Zoomdata 分析 作成 削除 基盤(Hadoop) Cloudera Manager Master Nodes Worker Nodes Edge Nodes (Optional)
  • 17. (C) 2018 ZEAL Corporation. All Rights Reserved. システム構成図(補足)16 Microsoft Azure 管理 Cloudera Director 作成 削除 データ Azure Data Lake Store 取込 デモ会場 利用 ブラウザ 参照参照 Zoomdata 分析基盤(Hadoop) Cloudera Manager Master Nodes Worker Nodes Edge Nodes (Optional) データ ・件数:2億件 ・サイズ:46GB ・ファイル:CSV 1台 3台 1台 サーバースペック(1台あたり) ・DS13_V2 Standard - vCPU :8 - MEM :56GB - SSD :112GB 1台 1台 サーバースペック(1台あたり) ・DS5_V2 Promo - vCPU :16 - MEM :56GB - SSD :112GB
  • 18. (C) 2018 ZEAL Corporation. All Rights Reserved. システム構築フロー 構築の流れ 17 作業概要 主な操作 作業時間 1.データの準備 ✓ 自社ネットワークから ADLS(米国東部)へ 46GBのCSVファイルアップ ロードに2時間程度 ✓ 分析に利用するCSVを ADLSにアップロード ➢ コマンド (PowerShell) ✓ データのアップロード 2.管理サーバの作成 ✓ 初回のみ2時間程度 ✓ Azure VMを作成 ✓ DNS・ネットワーク・Azure の自動操作権限の設定 ✓ Directorインストール ➢ ブラウザ ➢ コマンド(SSH) ✓ Directorのセットアップ 3.分析基盤の作成 ✓ 約18分で構築完了 ✓ 約15分でデータ取込完了 ✓ DirectorのWeb画面から、 各種サーバー設定を入力 し、CDHクラスタを構築 ➢ ブラウザ ✓ 分析環境にデータ取込 ➢ コマンド(SSH) ✓ データ格納形式を指定 (Parquet[パーケイ]) ✓ 基盤の作成指示 ✓ データ取込 ✓ チューニング 4.分析サーバの作成 ✓ 約30分で構築完了 ✓ 数分で接続設定は完了 ✓ Azure VMを作成 ✓ Zoomdataインストール ✓ 分析基盤への接続設定 ➢ ブラウザ ➢ コマンド(SSH) ✓ Zoomdataのセットアップ
  • 19. (C) 2018 ZEAL Corporation. All Rights Reserved. (参考)Cloudera DirectorをAzureに構築18
  • 20. (C) 2018 ZEAL Corporation. All Rights Reserved. (参考)Cloudera Managerの設定画面19
  • 21. (C) 2018 ZEAL Corporation. All Rights Reserved. (参考)CDHクラスタの作成画面20
  • 22. (C) 2018 ZEAL Corporation. All Rights Reserved. (参考)クラスタの各サーバー台数の設定21
  • 23. (C) 2018 ZEAL Corporation. All Rights Reserved. (参考)作成中の画面22
  • 24. (C) 2018 ZEAL Corporation. All Rights Reserved. DEMO23 デモをご覧ください
  • 26. (C) 2018 ZEAL Corporation. All Rights Reserved. まとめ リアルタイムデータ分析は現場の”今”を支援 25 1 2 3 クラウドで簡単に小さくはじめ、大きく育てる これまでも、これからも、情報活用はジールへ Zoomdataでビッグデータとリアルタイムデータを現場で活用。分析は現場にこそ必要 Hadoopもクラウドならお手軽に。今後のAzure関連サービスとの連携もスムーズに 検討段階からでもお気軽にご相談ください。全力でご支援いたします!
  • 27. (C) 2018 ZEAL Corporation. All Rights Reserved. 03-5422-8477 sales-info@zdh.co.jp http://www.zdh.co.jp/contact/