Empfohlen
Weitere ähnliche Inhalte
Was ist angesagt?
Was ist angesagt? (20)
Ähnlich wie Elasticsearchの機械学習機能を使ってみた
Ähnlich wie Elasticsearchの機械学習機能を使ってみた (20)
Kürzlich hochgeladen
Kürzlich hochgeladen (10)
Elasticsearchの機械学習機能を使ってみた
- 2. 2 目次 １ はじめに ・自己紹介 ・前回発表 ２ Elasticsearch ・Elasticsearchとは ・Elasticsearchの機械学習機能の歴史 ３ 実行環境 ・環境構築 ・テストデータ作成 ４ 実行結果 ・データの概要把握(Data Visualizer) ・教師なし学習のための機械学習ジョブの作成 ・異常値検出(Anomaly Detection) ・将来予測(Forecast) ・教師あり学習のための機械学習ジョブの作成 ・外れ値検知(Outlier Detection) ・教師あり学習の分類(Classification) ５ まとめ
- 3. 3 １ はじめに ・自己紹介 2001/4 株式会社日立システムアンドサービス 2015/4 株式会社日立製作所 2017/4∼ SOMPOシステムイノベーションズ株式会社（出向中） 金融機関向け業務システム開発に携わり、設計・開発・テストなどを経験。 開発言語はJava・COBOLなど。 現在はSOMPOグループの未来革新PJTで、DB周辺を担当。DB製品はIBM DB2。 → 今話題の人工知能(Artificial Intelligence)とは何か？ Elasticsearchの機械学習機能(Machine Learning)とは何か？が動機となり取り組みました。 ・前回発表 2019/6 第3回MUIT社との技術交流会 Elasticsearchを使ってTwitter監視アプリの作成！NoSQL活用のススメ 発表資料はSlideShareで公開しています。 ・2020年3月末で出向解除になります。 ありがとうございました。
- 4. 4 ２ Elasticsearch ・Elasticsearchとは Wikipediaから引用 7.6 / 2020年2月11日 ElasticsearchはApache Luceneをベースとした、Javaで書かれた 全文検索ソフトウェアである。2010年2月にShay Banonによって 初版がリリースされた。オープンソースだが、現在はElastic社が中 心になって開発が進められている。 圧倒的な全文検索スピードと利便性を誇る。Elasticsearchの内部 ではApache Luceneの全文検索をフル活用している。スケーラブ ル，スキーマレス，マルチテナント（SaaS）を特徴とする。JSON 形式でデータを保管するドキュメント型データベース。 検索エンジン業界では最も人気がある。著名な導入例として、 Facebook, Netflix, GitHub, 日本経済新聞社, RICOH（社内基盤監視） などがある。
- 5. 5 ・Elasticsearchの機械学習機能の歴史 Qiitaの@yutaka_unoさんの記事から引用 2016/10 Ver.5.0 行動分析技術プロバイダのPrelert社の買収(2016/9) 2017/05 Ver.5.4 Elastic Machine Learningのリリース(2017/3) 2017/12 Ver.6.1 Kibanaでデータの概要把握(Data Visualizer) → 9ページ 異常値検出(Anomaly Detection) → 11ページ 将来予測(Forecast) → 13ページ 2018/02 Ver.6.2 日時フィルタ(Calendar Management)の追加 2018/06 Ver.6.3 ソースコードの公開 2018/08 Ver.6.4 Kibanaでサンプルデータの公開 2018/11 Ver.6.5 KibanaのGUIからデータ取り込みの実現 → 8ページ 2019/01 Ver.6.6 注釈(Annotation)の追加 2019/06 Ver.7.2 データ形式の変換(Data Frames) 2019/08 Ver.7.3 外れ値検知(Outlier Detection) → 15ページ 2019/10 Ver.7.4 教師あり学習の回帰分析(Regression) 2019/12 Ver.7.5 教師あり学習の分類(Classification) → 16ページ
- 6. 6 今回（2020/3） ・Mac OS 10.15.2 ・Elastic Stack ・Elasticsearch 7.6.0 ・Kibana 7.6.0 ・Machine Learning Trial ・Logstash 7.6.0 ・Metricbeat 7.6.0 ・Java SE 12.0.1 ３ 実行環境 ・環境構築 Elastic Cloud（Elastic社提供のクラウド環境）ではなくオンプレミスで環境構築。 公式サイトからダウンロード。 前回発表時（2019/6） ・Mac OS 10.14.1 ・Elastic Stack ・Elasticsearch 7.0.0 ・Kibana 7.0.0 ・Logstash 7.0.1 ・Metricbeat 7.1.0 ・Java SE 12.0.1 ＜今回使用した製品＞ ・Elasticsearch Logstashなどから転送されたデータを JSON形式で保管するデータベース。 ・Kibana Elasticsearchに格納されたデータを ブラウザで可視化するGUIツール。 Machine Learning機能は30日間無料 トライアル版を使用。 ・Elastic Cloudでは、ほぼ全ての 最新機能を使用できます。
- 7. 7 ・テストデータ作成 Kaggle（カグル・https://www.kaggle.com）は企業や研究者がデータを投稿し、世界中の統計家や データ分析家がその最適モデルを競い合う、予測モデリング及び分析手法関連プラットフォーム。 Kaggleからデータセット（CSV形式）をダウンロードして、KibanaのGUIから取り込み、 Elasticsearchに格納しました。 <Dataset> COVID-19 Complete Dataset(Updated every 24hrs) 世界の都市別の新型コロナウィルスの 感染者数、死亡者数、回復者数のデータ <Acknowledgements> WHO Coronavirus disease (COVID-2019) situation reports ①データセットのダウンロード ・注目度が高いと思い選びました。 43,650 Downloads(3/15時点)
- 11. ・異常値検出(Anomaly Detection) 機械学習機能が、過去の異常と比較するとどうなのか、これまでの異常よりも異常性が高いかどうか、 その他のデータと比較するとどうなのかを考慮して、異常の可能性を0∼100のスケールで正規化します。 この値をAnomaly Scoreとして表示します。 ・日本の感染者数の異常値検出 Warning(0∼24)のみ。 Anomaly Score = 2 (Top Score, 2/21) 11 ・中国の感染者数の異常値検出 Warning(0∼24)のみ。 Anomaly Score = 2 (Top Score, 2/27) ・アメリカの感染者数の異常値検出 Warning(0∼24)・Minor(25∼49)・Major(50∼74)を検出。 Anomaly Score = 70 (Top Score, 2/23)
- 16. ・教師あり学習の分類(Classification) Elasticserchではブーストツリー回帰モデル(Boosted Tree Regression Model)と呼ばれるアルゴリズムを 使用しています。分類には２クラス分類(Binary Classification)と多クラス分類(Multi Class Classification) があります。Elasticsearch Ver.7.6 では２クラス分類のみ実行できます。 分類APIは、混同行列(Confusion Matrix)を作成するための値を返します。 ・２クラス分類のみ実行可能なので、どの ような機能かを知るために、日本と中国の データを使って実行しました。 ・分類モデルを作成してみました。結果は１ レコードを除いて正解しています。モデルの 修正（学習）は、今回はできませんでした。 16 ・左列からテストデータが訓練に使用され たかどうか、分類モデルが推測した国名、実 際の国名を表しています。
- 17. 17 ５. まとめ ・Elasticsearchの機械学習機能は、機械学習の知識がなくても簡単に利用できます。 コーディングも不要です。実行しながら勉強することができました。 機械学習機能を分析してみると、目的に応じて機械学習のアルゴリズムを選択する必要があることに 気付きました。 ・Elasticsearchはデータ収集と検索速度を長所とするDB製品です。 収集したデータをどのように活用していくかがポイントです。 ①データ収集 → ②可視化 → ③分析 → ④活用 → ⑤自動化 前回発表(2019/6)では②可視化まで、今回は③分析まで実行してみました。 ・社外イベントのElasticsearch勉強会、Elasticsearchハンズオンセミナーに参加しました。 ２ヶ月に１回程度、２∼３時間の頻度で、開催されています。 ①Elastic Cloudの基礎的な使い方、②最新バージョンの紹介などのテーマがあリました。