ml5.js と google AutoML Visionで簡単に画像分類をしようとしたけど、上手く行かなかった話。

1. 簡単に機械学習（画像）を
使おうと思ったけど、
駄目だった話

2. もやし工房
石黒 光茂
@koike_moyashi
mitsushige.ishiguro
もやし工房

3. 機械学習
画像認識
これ系は楽しそうだけど難しそう

4. • 色々難しい事は抜きにして、
画像分類や、ハードウェアを動かしてみたい。
• できればラズパイやノートPCで使いたい。
希望

5. 希望 ラーメン二郎の画像を機械学習により9割以上の精度で見分けるシステムが
GoogleのCloud AutoML Visionを用いて開発される
https://gigazine.net/news/20180403-google-noodle-machine-learning/

6. 希望 AIを使ったキュウリの自動選別
https://www.slideshare.net/ikemkt/ai-119187344

7. TensorFlow（テンサーフロー）

8. メジャーなのはpython → 環境作成＆応用がちょっと面倒（私の知識では）

9. TensorFlow.js

10. 環境構築はしなくても良いが、なんだか難しい感じ…

11. もっと簡単に使えるものは無いか…

12. ml5.js tensorflow.jsのラッパー https://ml5js.org/

13. 使い方 → cdnから読むだけ簡単

14. https://github.com/ml5js/ml5-examples/blob/master/p5js/ImageClassification/ImageClassification_Video/sketch.js
Webカメラ→画像認識の例（全部でこれだけ）

15. デモ

16. ml5.jsの目的
ml5.jsは、多くのアーティスト、創造的なコーダー、学生が機械学習に親しみやすいようにすることを
目的としています。
このライブラリは、ブラウザーの機械学習アルゴリズムとモデルへのアクセスを提供し、
他の外部依存関係なしにTensorFlow.jsの上に構築します。
→あれこれできるわけでは無いけど、
そんなに詳しくない人も機械学習使って楽しんでいこうよ
って理解した

17. • Web系との親和性が高い
ビジュアル系のいろんなライブラリと組み合わせるとか
• スマホでもそのまま動く（内容によるけど）
• JavaJavaScriptで動くハードウェアやゲーム
obniz、enchant.jsなど
• 今回の例では画像だが、音やテキストもサポートしてる
• 簡単だけど、自由度は限られる
• 今のところnode.jsはサポートしていない
何ができるのか？

18. 機械学習のざっくりした流れ
機械学習実践のプロセス ～概要から基本的な実践～
https://qiita.com/subretu/items/ad691bcd9fe58584b027

19. 機械学習のざっくりした流れ
機械学習実践のプロセス ～概要から基本的な実践～
https://qiita.com/subretu/items/ad691bcd9fe58584b027
ml5.jsでは
モデル作成 / 運用
のどちらもできる

20. 機械学習のざっくりした流れ
機械学習実践のプロセス ～概要から基本的な実践～
https://qiita.com/subretu/items/ad691bcd9fe58584b027
モデル作成
・ブラウザでポチポチ
・専用のプログラム書く
→ちょっと面倒

21. モデル作るの面倒
モデルを使うところだけにしたい

22. Vision AI (Google Cloud Machine Learning)

23. Cloud AutoML → 簡単に作れる（と説明に書いてある）

24. ベータ版料金
AutoML Vision カスタム画像分類を、毎月 10 モデルまでの
トレーニングに、1 ノード時間分無料で試すことができます。
料金（数が多くなければ無料内でいける ※今の所）
https://cloud.google.com/vision/automl/pricing?hl=ja

25. 使い方 (画像をフォルダに入れる→zip→マウスでポチポチ→良い感じにしてくれる）

26. 結果 → TensorFlow.js形式のモデルをダウンロードできる

27. ml5.jsで使ってみた→エラー

28. ml5.jsで作ったjsonと中身が全然違うような....
↑ AutoML Visionのtensorflow.jsエクスポート ↑ ml5.jsで作成

29. AutoML & tensorflow.jsサンプル → AutoML用のjsをよんでる
https://cloud.google.com/vision/automl/docs/tensorflow-js-tutorial?hl=ja

30. tensorflow.js→動く
ml5.js→動かん
結局tensorflow.jsでやりたいことはできたけど...

31. • お気軽にはできなかったけど、
お気軽じゃ無い方法ではちゃんと動く。
• そのうちより簡単に使えるようにはなりそう。
結論

32. ml5.js exampleの日本語訳+解説
https://himco.jp/
ml5.jsを使った授業のスライドやサンプル
https://yoppa.org/
参考