データマネジメントの歴史やビッグデータ＋IoTシステムによるデータ分析のアーキテクチャや、データマネジメントの問題点など

1. データマネジメント概論
ーダベンポート、AWS、そしてデータサイエンティストー
中小企業診断士
岡野 道太郎

2. データマネジメントの歴史
• データベース（ツリー、ネットワーク）
• RDB：コッド博士→ラリー・エリソン（Oracle)
• データウェアハウス：ビル・インモン
• テラデータ
• データアナリティクス／データマイニング
• ダベンポート
• ビッグデータ解析＋IoT
• データアナリティクス３．０

3. データアナリティクスのアーキテクチャ
• 全体像：
※IoTの場合、RDBで
なくNoSQLを使うこ
とも
※生産現場でアナロ
グのカウンタ、メー
タは機械学習（深層
学習）を使ってデジ
タル化可能
※センサ、PLCとGW
のつなぎはRS-485の
有線等、まだある

4. 技術的ポイントを個別に
• RDBとデータウェアハウス
• データウェアハウスは更新が遅いものが多いため、トランザクション処理に
間に合わない。そこで、トランザクション処理は更新が早いRDB(MｙSQL
等）で行い、そのデータを後でまとめてデータウェアハウス（RedShift,テラ
データ等）に送る。その際データ変換に使うのがETLツールで Talendが有名
• データウェアハウスはNoSQL系を使うのが多い。NoSQLはこのほかにセッ
ションの代わりとして使うものがある（ Redis,Memcached等）
• SQLでWindow関数が出てきて、データは扱いやすくなった
• BIツールとデータ分析
• 現場の人などがデータを使った分析をするにはOLAP/BIツールがいい(ドリル
ダウン、ダイス、スライス）有名どころはTableau,QlikView
• データアナリストが分析する場合はSPSS、RやScikit learnを使う

5. 技術的ポイントを個別に（つづき）
• 通信
• 端末からクラウドへもっていくならAWS IoT経由→AWS Lambdaで送り、そ
こからAWS RDSと考えがちだが、これはアンチバターン
• https://qiita.com/teradonburi/items/86400ea82a65699672ad →NoSQLの利用
• 理屈ではソラコムの３G USBドングルを使えば、端末からAWS IoTにアク
セスはできる。ただ、料金や端末の性能を考えたときは、それがベストな選
択かどうかは？
• 生産現場はPLC＋RS485の有線→インターネットでない（IoTでない）
• なんでもインターネットで接続する必要ある（インターネットは高くつくことも）？
• クラウド
• どこをクラウドにもっていくか（なんでもAWS？）
• 端末・GW
• PoCならラズパイでOKだが、実務ではラズパイだと電源・価格で問題

6. 話題
• 昔、イトーヨーカドーがデータ分析で有名になった
• 仮説検証
• アカデミック的には、仮説発見と仮説検証の２つがある
• 仮説発見にはグラウンデッド・セオリー：アナログでは・・・・
• 現場とデータアナリストの間に・・・
1. 金儲けする方法を教えろ
2. 市場はどうなっていて、この商品はウケるのか？（STP分析）
3. ウケるための要因抽出（（探索的）因子分析・コレポン）
4. Scikit learnで因子分析する
→2が現場、３がアナリストが理想だが、実際は１で手放される・・・

7. 話題（つづき）
• セクシーな仕事はデータサイエンティスト！
• その一方でマーケターは昔ほど評価されないが、データサイエンティ
ストとマーケターの統計解析手法は異なる（主成分か因子分析か）
• モデルの考え方の違い
• 過去のデータからモデルを作る：データサイエンティスト
• モデルは誤差から真の値を救い出すためのフィルタ：マーケター
• 本当に、本当に・・・IoTなら５Gなの？
• 通信料考えてる？（通信量は考えてると思うけど）
• ローカル５Gやるの、やらないならどうするの？
• 「無線は切れる」が本来前提
• 通信を高度化すると、端末が肥大に→電源の確保
→結局、採算合うの？