Amazon ML（あるいは他社のサービス）の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね
•Als PPTX, PDF herunterladen•
13 gefällt mir•4,807 views
2016年3月12日に行われたJAWSDAYS2016で流しの機械学習屋Mr.TがAmazon MLについて発表したスライドです。この世に実体が存在しないMr.Tの代わりに私のアカウントでアップロードしています http://jawsdays2016.jaws-ug.jp/speaker/421 ※同じイニシャルTですが、立花の作成したスライドではございません。
Empfohlen
Weitere ähnliche Inhalte
Mehr von Takuya Tachibana
Mehr von Takuya Tachibana (20)
Amazon ML（あるいは他社のサービス）の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いてほしいですね
- 5. QAmazon ML 触ったことは？ 何かしらソリューションにした チュートリアルやった マネジメントコンソールを開いた CLIでaws mach[TAB]と打った 何もしていない
- 7. Amazon Machine Learning Amazon Machine Learning は、 どのスキルレベルの開発者でも、 機械学習テクノロジーを 簡単に使用できるようになるサービス Amazon Machine Learning をちゃんと知 るAbout Amazon Machine Learning
- 8. Amazon ML 4つの概念 About Amazon Machine Learning ML Models Datasourcesのデータを使って、 機械学習のモデルを作成する。 Datasources 機械学習に利用するデータを用意する。 S3、RedShift、(RDS)に入っている必 要がある。このデータは学習にも検証に も使われる。 Evaluations Datasourcesのデータを利用して、 モデルの精度を検証する。 Prediction 作成されたML Modelを利用して 予測を行う。 バッチとAPIでのリアルタイムの2種 類が行える。 Datasource作成：ただのデータのままではなくて、機械学習で扱える形で保存する。 ML Modelの作成：Datasourceのデータの特徴を見つけ出し、利用できる形にする。 Evalution: ML Modelの精度をテストデータを用いて検証する。 Prediction: ML Modelを使って予測を行う。 Amazon ML 利用の流れ
- 9. Datasource S3 from Redshift from RDS from Datasource S3,Redshift,RDSに格納されているデータに、MLとし ての型(Type)を付ける事と予測の対象(Target)を指定 することで、MLで使える形とする。 From RDS RDSからクエリで取り出す (Management Consoleには無 い) From Redshift Redshiftからクエリで取り出す。 From S3 S3にあるデータを利用する。 Datasourceの作成 About Amazon Machine Learning
- 10. Datasource 4つのColumn TypeAbout Amazon Machine Learning Categorical 数値や文字列のように、不特 定多数の値ではなく、 特定多数(少数)の値が入って くる。型は文字列でも数値で も可。 Text 文字列のデータ 予測の対象(Target)には使えな い。 Binary 2種類のみ許される。 (Yes or No) Numeric 数値型のデータ
- 11. ML model typeAmazon Machine Learningでは 3種類の予測モデルを作成出来る。 1. Regression(Numeric) 2. Multiclass Classification(Categorical) 3. Binaryclass Classificatoion (Binary) DatasourceのTargetのTypeによって自動 で変わる。 ML Modelの作成 About Amazon Machine Learning
- 12. ML Model About Amazon Machine LearningRegression 数値型の予測 TargetがNumericの時に作られるモデル。 ビールの売上予測 売上 湿度 Aug 9 - 2015 Aug 30 - 2015 TO DONE
- 13. ML Model About Amazon Machine Learning
- 15. RMSE Regression の検証 About Amazon Machine Learning - Evaluation
- 16. Macro average F1 score Mulcticlass Clasification の検 証About Amazon Machine Learning - Evaluation
- 17. Binaryclass Classification の検証 About Amazon Machine Learning - Evaluation
- 18. Amazon ML 4つの概念 About Amazon Machine Learning ML Models Datasourcesのデータを使って、 機械学習のモデルを作成する。 Datasources 機械学習に利用するデータを用意する。 S3、RedShift、(RDS)に入っている必 要がある。このデータは学習にも検証に も使われる。 Evaluations Datasourcesのデータを利用して、 モデルの精度を検証する。 Prediction 作成されたML Modelを利用して 予測を行う。 バッチとAPIでのリアルタイムの2種 類が行える。 Datasource作成：ただのデータのままではなくて、機械学習で扱える形で保存する。 ML Modelの作成：Datasourceのデータの特徴を見つけ出し、利用できる形にする。 Evalution: ML Modelの精度をテストデータを用いて検証する。 Prediction: ML Modelを使って予測を行う。 Amazon ML 利用の流れ
- 19. ML Modelの チューニング
- 20. Maximum number of data passes Regularization [type | ammount ] Recipe チューニング方法 チューニングの方法 About Amazon Machine Learning - tuning Amazon ML でのチューニング
- 21. 特徴を検出する回数 モデルを作成するにあたり、何回もこの関 連性が強いかな?どうかな? みたいな事をする。基本多い方が正確に 1 収束したらそこで終了 あるところで、あ、これだみたいなしっくり来る ところがある。 それを検知した場合自動で終了 2 Maximum number of data passes Amazon Machine Learning
- 22. L1 None 正則化 複雑すぎるモデルを使うと、訓練用のデー タの癖に影響を受けやすい。 それをさらっといい感じにする。 L2 Regularization Type | AmmountAbout Amazon Machine Learning
- 23. Recipeを制する者 は Amazon Machine Learningを制す Recipe Amazon Machine Learning 日本初
- 26. groups: Recipeのフォーマット Amazon Machine Learning groups:{ “group2”: ”group(ALL_CATEGORICAL, ALL_BINARY)”, “group3”: “group_remove( ALL_CATEGORICAL, title,subject)" }
- 27. assignments: Recipeのフォーマット Amazon Machine Learning "assignments": { "binned_age": "quantile_bin(age,30)", "c_g_interaction": "cartesian(country, gender)"
- 28. Data Transformations Recipeのフォーマット Amazon Machine Learning ngram(var1, 3) osb(var1, 5) lowercase(var1) no_punct(var1) normalize(ALL_NUMERIC)
- 29. outputs: Recipeのフォーマット Amazon Machine Learning "outputs": [ "ALL_NUMERIC" , “group1”, “lowercase(var2), var3 ]
- 30. recipe Recipeのフォーマット Amazon Machine Learning { "groups": { "NUMERIC_VARS_QB_100": "group('RecordID')", "NUMERIC_VARS_QB_20": "group('CostBeforeTax', 'UsageQuantity','TotalCost','BlendedRate','TaxAmount')", "NUMERIC_VARS_QB_10": "group('RateId')" }, "assignments": {}, "outputs": [ "ALL_CATEGORICAL", "quantile_bin(NUMERIC_VARS_QB_100,100)", "quantile_bin(NUMERIC_VARS_QB_20,20)", "quantile_bin(NUMERIC_VARS_QB_10,10)", "ALL_TEXT” ] }
- 31. Amazon ML 4つの概念 About Amazon Machine Learning ML Models Datasourcesのデータを使って、 機械学習のモデルを作成する。 Datasources 機械学習に利用するデータを用意する。 S3、RedShift、(RDS)に入っている必 要がある。このデータは学習にも検証に も使われる。 Evaluations Datasourcesのデータを利用して、 モデルの精度を検証する。 Prediction 作成されたML Modelを利用して 予測を行う。 バッチとAPIでのリアルタイムの2種 類が行える。 Datasource作成：ただのデータのままではなくて、機械学習で扱える形で保存する。 ML Modelの作成：Datasourceのデータの特徴を見つけ出し、利用できる形にする。 Evalution: ML Modelの精度をテストデータを用いて検証する。 Prediction: ML Modelを使って予測を行う。 Amazon ML 利用の流れ
- 32. REAL TIME PREDICTION API経由でのその場でのPrediction実行 BATCH PREDICTION S3においてあるファイルからのバッチ実行 日次などで一気に予測したい場合に有用
- 33. THANK YOU FOR YOUR ATTENTION
Hinweis der Redaktion
- 機械学習はなんとなーくわかってて、Amazon ML（あるいは他社のサービス）の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いて欲しいですね
- 機械学習はなんとなーくわかってて、Amazon ML（あるいは他社のサービス）の簡単なデモレベルはやったことあるけど、それっきりってエンジニアに聞いて欲しいですね ほら、やったことない人ばっかりだ。 ターゲット明確にしたけど、やっぱりやったことない人だらけ それでいいんですよ。それが普通です
- メールの振り分けとかね
- 使いはじめる前に 本当に満足行く精度が一発で出ることなんてほとんど無い。 使い物にするためには、チューニングが必要。
- チューニングは3種類 選ぶだけで精度が出るかもしれないチューニング、 最後にお金で解決するチューニング。 努力で解決するチューニング
- もし、検証の段階ではいい感じなのに、実運用に乗せてみたらうまくいかないなと思ったら、 レギュラリゼーションを試してみる。 おそらくデモデータで試しているうちは使う必要無い。
- // Orthogonal Sparse Bigram
- 使いはじめる前に 本当に満足行く精度が一発で出ることなんてほとんど無い。 使い物にするためには、チューニングが必要。