東北大学AIE - 機械学習入門編

1. 機械学習入門 - Data によって作られる世界への入り口 - 畠山大有 | Daiyu Hatakeyama | @dahatake Architect && Software Engineer && Applied Data Scientist (目指している) Microsoft Japan

3. 蒸気や電気ソフトウェア (+AI) AI

4. Perception Cognition

6. Text (OCR) “(1) Validate enrichment pipeline”

7. Tags “throwing”, “ball”, “girl”, “grass”, “basketball” Caption “A girl throwing a ball”

8. Entities Persons “Anita Christiansen”, “Conrad Nuber”, Locations “Bothell”, “Woodinville” Organization “Litware Insurance Corp.”

10. 1950 1960 1970 1980 1990 2000 2010

11. 手法

12. Machine Learning 教師あり学習教師無し学習強化学習 Classification Regression Clustering Reward-based 種類カテゴリアルゴリズムの例・故障分類・販促効果分類利用例・売上予測・需要予測・セグメンテーション・顧客グルーピング・メールキャンペーン・自動運転・自立型ビル管理

13. -0.5 -0.4 -0.3 -0.2 -0.1 0 0.1 0.2 -0.6 -0.4 -0.2 0 0.2 0.4 error error 3 2 1 0 -1 -2 -3 -4 -3 -2 -1 0 1 2 3 4 ・売上予測・需要予測・品質管理・不良品分析・故障予測・チャーン分析・販促効果測定・与信分析・セグメンテーション・顧客グルーピング・メールキャンペーン値ラベル

14. Goal: 分類を予測する教師あり学習ゴールの例: このクレジットカードは不正か? Class 1 Class 2 2つ以上でも良い

16. Goal: 値を予測する教師あり学習ゴールの例: 来月この製品は何個売れるか?

17. • 車の各種情報から車の価格を予測する • ブランド • 燃料タイプ (ガソリン, ディーゼル) • 吸気タイプ (ターボ, NA) • ドアの数 (2ドア, 4ドア) • 車体 (セダン, ワゴン, ハードトップ) • 駆動方式 (FWD, RWD, 4WD) • エンジン位置 (フロント, リア) • ホイールの大きさ • シリンダーの数 • 車体の長さ, 幅, 高さ・・・など

18. Goal: 構造を理解する教師無し学習ゴールの例: 私たちの顧客セグメントはどうなっているのか? Cluster 1 Cluster 2 Cluster 3

19. • あやめの「がく片の長さ」「がく片の幅」のみの情報でデータの類似性から100個のあやめを2種類に分類する • 訓練用の答えデータを必要としない教師なし学習がく片の幅がく片の長さデータの類似性から 2 種類に分類する

21. 学習時と推論時学習時のフロー予測時のフローデータ準備アルゴリズム & パラメータ選択学習評価予測特徴量エンジニアリングモデル結果特徴量抽出既存データ新しいデータ学習により作成された「ロジック（IF文など）」「関数」のようなものデータやモデルに応じて色々な構造＆アルゴリズムが用意されているモデルに対して、新たなデータを入力して、予測/ 分類結果を得る

22. “Hello World” MNIST https://keras.io/examples/vision/mnist_convnet/

23. 利用ライブラリーの設定

24. データセット (学習用のデータ) の読み込み # the data, split between train and test sets # Scale images to the [0, 1] range # Make sure images have shape (28, 28, 1) # convert class vectors to binary class matrices

25. Neural Network の設定

26. 学習の実行

27. 学習したモデルのテスト (評価)

28. 中核部分はこの分量です

29. <Python> Modelの保存出力された Model <C#>Model の読み込み <C#>Model の利用 (実行)

30. プログラミングと機械学習

31. 2 + 3 = 5

32. 2 + 3 = 5 簡単大変…

33. 2 + 3 = 5 簡単大変…

34. それぞれの写真: 猫? Yes/No

35. Program = Algorithm 人が書くタスクの仕様の定義アルゴリズムは固定アルゴリズムは容易に説明できるソフトウェアが書く目的: 汎化アルゴリズムはデータに依存アルゴリズムは時間とともに変わる

36. Program = Algorithm ソフトウェアが書く目的: 汎化アルゴリズムはデータに依存アルゴリズムは時間とともに変わる Algorithm Algorithm 人が書くタスクの仕様の定義アルゴリズムは固定アルゴリズムは容易に説明できる

37. Program = Algorithm 人が書くタスクの仕様の定義アルゴリズムは固定アルゴリズムは容易に説明できるソフトウェアが書く目的: 汎化アルゴリズムはデータに依存アルゴリズムは時間とともに変わる実世界の全てを想定して、プログラミングするのは、難しい…

38. ドアの後ろに人がいます入ってくる人は、男性 / 女性のどちらでしょうか? 既知の情報は以下のみ年齢: 35歳年収: 600万円有給残数: 12日 F (性別) = (0.03 * 年齢) + (0.07 * 年収) – (0.04 * 有給残数) + 0.05 = (0.03 * 3.5) + (0.07 * 6.0) – (0.04 * 1.2) + 0.05 = 0.41 0.5 よりも小さいから = 女性

39. Data を元にロジックが作られる意味

40. 推論デプロイメントデータの準備モデル構築・学習世界中の研究者の論文とコードも公開されているどんなデータが準備できるか? アプリケーションのどこにモデルを利用すべきか?

41. Data Alpha Go Zero

42. Code と Data の関係

43. 独占権威

44. • オープンに共有される深層学習の研究 • 論文、サンプルコード、データセット変革の速度競争領域

46. 引用: http://www.ics.kagoshima-u.ac.jp/~fuchida/edu/algorithm/sort-algorithm/

47. 引用: https://twitter.com/fchollet/status/1052228463300493312

48. Data ML Code Configuration Data Collection Data Verification Feature Extraction Machine Resource Management Analysis Tools Process Management Tools Serving Infrastructure Monitoring “Hidden Technical Debt in Machine Learning Systems,” Google NIPS 2015

49. • 何を意味しているのか? • いつ、どこで、取得したのか? • 入手漏れが無いのか? • 項目同士に関連があるのか? • 欠損や例外がどれだけ含まれているのか?

50. http://tylervigen.com/spurious-correlations

51. https://www.researchgate.net/publication/8258751_Momentous_sprint_at_the_2156_Olympics

52. 万能なものは無い

54. 成果物であるモデルの評価の考え方

55. ①True Positive（真陽性） : 100%に近いほど良好 ⇒A/(A+C) ②False Positive（偽陽性） : 0%に近いほど良好 ⇒B/(B+D) ③True Negative : 100%に近いほど良好 ⇒D/(B+D) ④False Negative : 0%に近いほど良好 ⇒C/(C+D) ⑤Accuracy（正解率） : 100%に近いほど良好 ⇒「○」「×」を正しく予測できた割合 ⇒(A+D)/(A+B+C+D) : 100%に近いほど良好 ⑥Precision（適合率） : 100%に近いほど良好 ⇒A/(A+B) ⑦Recall（再現率） : 100%に近いほど良好 ⇒①に同じ ⑧F1 Score :1.0に近いほど良好 ⇒⑥、⑦の複合指標 ⇒2×(⑥×⑦)/(⑥+⑦) 検証用データ推論で得た分類 ○ × 正解の分類 ○ A件 C件 × B件 D件正解が「○」のデータ推論で「○」とされたデータ A件 C件 B件 D件推論結果の例主な評価指標

56. Karugamoが写っているのに、モデルは推論できなかった -> モデルの見逃しあり[推論] なし[推論] あり[正解] XX XX なし[正解] XX XX

57. Karugamo でないものに、 Karugamo と推論 ->モデルの過検知？あり[推論] なし[推論] あり[正解] XX XX なし[正解] XX XX

58. 再現率(Recall) 適合率 (Precision) ヒット数↑ ノイズ ↑ 精度↑ 漏れ↑ 再現率、適合率の最適なブレイクポイント

59. 精度プログラミング機械学習アプローチ演繹的帰納的。つまりブラックボックスは残る機能保証 (≒ 精度): Function Test 可能訓練データ次第。ただ、統計の域を出ない性能保証: Performance Test 可能可能妥当性確認試験: Validation Test 可能やってみないと、わからない https://www.slideshare.net/hironojumpei/ai-129527593

61. 機械学習を行うのに必要なもの大量のデータデータに対する知見データ分析の知識・経験データ分析ツール・基盤 × × × 大量の分析用データを保持している分析用データの中身を理解している分析内容やデータに適してアルゴリズムを把握している大量データを分析できるツールを持ち使いこなせる最も重要

62. 数年前だと… コンサル費用数千万 + 数か月誰でも数分でできる襟あり RALPH LAUREN Cognitive Services Custom Vision

63. 会員数 4,150 名全国 6 都市で 36 回イベント開催福岡大阪広島名古屋東京札幌オンライン・オフライン含めた機械学習教育講座の全国での推進機械学習 SI エコシステム日本最大の AI コミュニティ https://dllab.connpass.com/

64. • AI や機械学習の最新のトレーニング • 概要・基礎・チュートリアル • 自分に適した、トレーニングコースの作成 • AI Business School • Conversational AI • AI Services • Machine Learning • Autonomous System • Responsible AI aischool.microsoft.com

65. Step-by-Step Learning Achievements スムーズな学習環境  無料  日本語対応  ブラウザーのみ。ハンズオン環境も含めて  ダウンロード可能なサンプルコード  Product/Service, 技術レベル, job role, などに応じたガイダンス  Videos, チュートリアル, ハンズオン  スキルアップを促す  ユーザープロファイル毎にカスタマイズ www.microsoft.com/learn

66. Open Source Repo Link Azure ML Notebook Examples Azure Machine Learning 公式サンプルコード https://aka.ms/ml-notebooks BERT Large 自然言語モデル BERT のサンプルコード http://aka.ms/azure-bert Microsoft Recommenders レコメンデーションサンプルコード http://aka.ms/recommenders LightGBM LightGBM トップページ https://aka.ms/lightgbm Natural Language Recipies 自然言語サンプルコード https://aka.ms/nlp-recipes ONNX ONNX トップページ https://aka.ms/onnx ONNX RT ONNX Runtimeトップページ https://aka.ms/onnx-rt Kubeflow & MLOps Kubeflow + Azure ML + DevOps サンプルコード https://aka.ms/kubeflow-and-mlops Azure Open Datasets Azure Open Datasets Webページ https://aka.ms/azure-open-datasets Azure ML Free Trial Azure フリートライアル https://aka.ms/amlfree Azure ML Docs Azure Machine Learning ドキュメント https://aka.ms/azureml-ja-docs

67. Invent with purpose.

東北大学AIE - 機械学習入門編

東北大学AIE - 機械学習入門編

Recomendados

Más contenido relacionado

Was ist angesagt?

Was ist angesagt?(20)

Similar a 東北大学AIE - 機械学習入門編

Similar a 東北大学AIE - 機械学習入門編(20)

Más de Daiyu Hatakeyama

Más de Daiyu Hatakeyama(20)

Último

Último(13)

東北大学AIE - 機械学習入門編