Recommended
More Related Content
What's hot
What's hot (20)
Similar to ［オープンキャンプin南島原2020］深層学習を使ってキュウリ選別機作ってみた
Similar to ［オープンキャンプin南島原2020］深層学習を使ってキュウリ選別機作ってみた (20)
［オープンキャンプin南島原2020］深層学習を使ってキュウリ選別機作ってみた
- 2. 自己紹介 2 小池 誠 ● キュウリ農家 ○ 個人でキュウリ選別機の開発 ● 組込みエンジニア ○ 町工場のIT化のお手伝い ● CQ出版インターフェース誌 ○ IT農業の記事寄稿
- 5. 年間を通してきゅうりを栽培・出荷 ○ ほ場面積：約40a ○ 家族経営（３人＋パート２人） ○ 周年栽培（３作／年） 5
- 6. そろそろ農繁期
- 12. そんな時・・・ ● AlphaGo 対 イ・セドル九段のニュースを見る ｴイ・・・アイ・・・？
- 13. そんな時・・・ ● AlphaGo 対 イ・セドル九段のニュースを見る ｴイ・・・アイ・・・？ ● TensorFlowがオープンソース化 自由にAIが作れる？
- 14. そんな時・・・ ● AlphaGo 対 イ・セドル九段のニュースを見る ｴイ・・・アイ・・・？ ● TensorFlowがオープンソース化 自由にAIが作れる？ ● MNISTやってみた なんか簡単にできたぞ
- 15. つまり
- 16. つまり
- 17. 知識０からやってみた ● きっかけはMNIST ○ 当時のTensorFlow(v0.6.0)は今ほど使いやすくなかった ○ ただチュートリアルはしっかりしていた（＝写経から始めた） ● 始めからキュウリでやろうとした訳ではなかった ○ 新しい技術への好奇心→やってみた ○ 頭の片隅で常々感じていたキュウリ農家の課題 キュウリ画像でもMNISTで きるんじゃね！ →キュウリ等級選別機の開発がスタート
- 18. キュウリの選果作業とは ● 長さ,太さ,曲がり具合,色などにより等級を分ける作業 ● 我が家では９等級に分類 ● 大産地でないとほとんど手作業 18
- 19. 対象は自然物。定量的な選別基準があるわけではない ● 長年の経験（主観）生産者のこだわり →習得に時間がかかる ● 毎日同じ基準で分けている＝信頼 →作業者間での統一が重要 なかなか難しい選果作業 秀品 B品 秀品 B品 秀品 B品 秀品 B品 特に品質の判断が難しい 人間と同じ基準で選別することができないだろうか 19
- 20. ● 2016年から開発を初める ● 現在，試作３号機まで開発 キュウリ選果機開発の歩み 試作１号機（２０１６年２月） 試作２号機（２０１６年８月） 試作３号機（２０１７年８月） 20
- 21. 試作１号機（2016年） ● とにかくやってみる ● 試作１号機誕生 ○ Webカメラをスタンドに固定 ○ 上からキュウリの画像をとる 【ハード】 ・Webカメラ Logicool C270（1,500円） ・アルミのパイプ（数百円） ・結合パーツ（３Dプリンターで印刷。数十円） ・固定用ボルト（数百円） 【ソフト】 ・カメラ制御：OpenCV ・機械学習：TensorFlow 制作期間：1週間 制作費：約3000円 21
- 22. 教師データの収集 ● ディープ・ラーニングには大量の教師データが必要 ○ とは言え・・・ 試作１号機では， ● 2475枚（１クラスにつき275枚） ● 背景に白い厚紙 ● なるべく位置を揃える 22
- 23. 学習した結果 80％の正答率 教師画像 ： 2475枚 正答率に対する考察 ● 同じ時期の画像であったため， 少ない画像で学習できた ● 浅いネットワークから始めたた め，過学習を抑制できた 23
- 26. 教師データ集め 集めた画像 ： 8500組 解像度：80x80x3 ラベル：10種類 教師画像 ： 7000組 テスト用画像 ： 1500組 ２ヶ月間ほどかかった 26
- 27. 学習結果 91.6％の正答率 ● データを増やした効果 ● カメラを増やした効果 ● 照明を追加した効果 教師画像 ： 8500枚 27
- 29. 【補足】DIY的モノづくりの広がり ● メイカームーブメント ○ 2005年 Makeマガジン創設者Dale Doughertyが提唱 ○ DIY愛好家がインターネットで繋がった（ノウハウの共有） ○ デジタル工作機の普及 ● オープンソース文化 ○ 誰でも新しい技術にアクセスし利活用できる環境 ○ OS，各種ツール，ライブラリなど一式揃っている ○ オープンデータや教育（MOOCs)も ● インターネット商取引の普及 ○ 世界中から部品を買うことができる 元々農家はDIYが得意だった（農具やハウスなど） 農家とメイカー文化はとても馴染む 29
- 30. 完成 制作期間：5ヶ月 制作費：約7万円 30 ● 台に置いたキュウリを撮影 ● 機械学習で等級を推定 ● ベルトコンベアへ送り出す ● 等級の箱の前まで運ぶ ● アームで箱に落とす （モノづくりのコモディティ化）
- 31. 31 試作２号機（2016年）
- 32. 実際に使ってわかったこと ● 仕分け熟練者に見てもらった結果 ○ 遅い ○ ベルトコンベアは傷がつくからダメ←致命的 ○ 判別精度はまぁまぁ ○ 仕分け作業は箱に綺麗に並べて蓋をするまで ○ 総括「こんなおもちゃ使えんな！」 認識部分はいい感触 しかし、まだまだ実用には程遠い！ 32
- 33. 家に帰るまでが遠足 「キュウリを箱に詰めて蓋をするまでが選別作業」 ● 生産者のこだわり（できるだけ傷を付けない，イボを落とさない）を理解 できていなかった ● 作業工程を十分理解できていなかった
- 38. 画像処理でテーブル上のキュウリを検出 1. マーカー座標検出（起動時のみ） 2. 射影変換 3. 輪郭抽出 4. キュウリ画像切り出し 38
- 39. 教師データ集め 集めた画像 ： 36,000枚 解像度：72x24x3 ラベル：9種類 教師画像 ： 28,000組 テスト用画像 ： 8,000枚 1ヶ月間ほどかかった 39
- 40. ニューラルネットワーク構成 ● 5層の畳み込みニューラルネットワーク [1] Kaiming He, et al.”Spatial Pyramid Pooling in Deep Convolutional Networks for Visual Recognition” 活性化関数：Relu 最適化関数：Adam 40 * *Spatial Pyramid Pooling[1]
- 42. 等級判定の様子 42
- 43. 実務で使うまでになった ● ラズパイだけで，４本を約１秒ほどで判定 ● 仕分けスピードが１．４倍になった ● 熟練者のスピードにはまだ敵わない 一応ボスのOKをもらい実業務で使うようになった 実務で作業効率1.4倍の効果が確認できた 43 ● ラズパイだけで，４本を約 １秒ほどで判定 ● 仕分けスピードが1.4倍に なった ● 熟練者のスピードにはまだ 敵わない
- 44. 開発を通して分かったこと【成功編】 ● 深層学習を使ってキュウリの選別ができた ○ 熟練者に近い基準で選別を行なうことができた ○ 基本的に厳密性を求められない農業に機械学習はマッチする 44 ● 熟練者のノウハウ継承 ○ ノウハウの継承 ○ 昔のやり方と比較しながら改善できる ● 自動化だけじゃない深層学習の可能性 ○ 誰もが働きやすい環境作り（ライン→セル型） 人 AI 人
- 45. 開発を通して分かったこと【失敗編】 ● 慣れてくると不要になる ○ 人間はかしこいので使ってると基準を覚える ○ 作業効率化としての価値は低くなる ● 一度作ったら終わりではなかった ○ どのようにモデルを運用するかも考えておく必要があった ○ 精度が悪化したらどうするかなど ○ 闇雲に画像を集めるだけでは辛い ○ 季節変動を考慮しないといけない 45
- 47. 組み込みAI化 ● よりコンパクトで必要なときだけ使えるツールに ○ 電源を入れればすぐ使える＋電源をSWで落とせる SoC : STM32H743VI (CPU ARM Cortex M7 32bit 480MHz) (RAM 1MB , FlashROM 2MB) カメラ：OV7725 (max 640x480) SDカード：μSDスロットあり30GBまで 消費電力：110mA〜170mA@3.3V 特徴： オープンソースのファームウェア上でMicroPythonが動 く．pythonヒープ領域が230KBぐらいしか使えない・・・ OpenMV Cam H7 $65.00USD https://openmv.io/collections/cams/products/openmv-cam-h7
- 49. TensorFlow Lite TensorFlow Liteの特徴 ● TensorFlowで学習したモデルを端末へデプロイするため のフレームワーク＆ツール群 ● 推論のみ対応(パーソナライズのための学習機能が追加される可能性あり) ● 8bit量子化をサポート 49
- 50. TFLite-interpreter サポート端末 推論ランタイム（TFLiteではInterpreterと言う） ● Android ● iOS ● Raspberry Pi ● ARM64ボードコンピュータ（Pine64,NanoPi,Jetsonなど） ● Coral devices with edge TPU ● Arduino ● ESP32 など多数のデバイスをサポート ※推論ランタイム(16KB)が動くという意味で，各種モデルが動くとは言っていない 50
- 51. TFLiteモデルへ変換 ● TFLiteコンバータを使用する from tensorflow.lite import TFLiteConverter #SavedModelからの変換 converter = TFLiteConverter.from_saved_model(model_dir) tflite_model = converter.convert() #KerasModelからの変換 converter = TFLiteConverter.from_keras_model(model) tflite_model = converter.convert() ※FrozenGraphからの変換はtf.compat.v1.lite.～を使う 51
- 52. OpenMV：実行 ● 推論速度=13.6ms (RasPi3B+：2.6ms） ● FPS(カメラ制御含む)=16.2FPS 52
- 53. 農家から始めるスマート農業
- 54. 農業を取り巻く状況 平成2年 平成30年 増減 農業就業人口［万人］ 482 175 -64% 平均年齢［歳］ 56.7 66.6 +9.9歳 耕作面積［万ha］ 524 444 -15% 農業総産出額［兆円］ 11.5 9.2 -20% 新規就農者数［万人］ 1.6 5.6 +250% 農業人口減・高齢化 一人あたりの耕作面積の増加 ● 平成の約30年を振り返ってみると・・・ ※農林水産省 統計データ（https://www.maff.go.jp/j/tokei/index.html）より 54
- 55. 農業でのAI技術活用事例 カメラと深層学習の組み合わせで出来ることが増えた ● トラクターの自動運転 ● 葉画像からの病害診断 ● 自動収穫ロボット ● ドローン・人工衛星画像の活用（収量予想，病害診断など） ● 自動フェノタイピング など… 『機械の眼になる技術』 55
- 56. AI活用事例（１） ● スマホカメラで病害診断 ○ PLANTIX ー PEAT社（ドイツのスタートアップ） ○ 画像による病害診断とユーザコミュニティ ● スマホアプリ（Android）として無料公開 ● カメラ画像を使って病害診断 ● 診断結果をユーザ同士で共有＆議論 https://www.plantix.net/en/ 56
- 61. 個人でもできるスマート農業 ● メイカームーブメント ○ 2005年Makeマガジン創立者 Dale Doughertyが提唱 ○ DIYの延長としてモノづくりを行う人々がインターネットで繋がたことに よるムーブメント ○ 様々なセンサやデバイスが安価に手に入るようになった ● オープンな文化から生まれるイノベーション ○ オープンソース・ソフトウェア ○ オープンデータ Raspberry Pi ESP32 Micro:bit M5Stack 61 Pythonで開発できる！
- 62. AI開発ツール ● オープンソースの開発ツール ○ Google TensorFlow（要Pythonスキル） ○ Facebook PyTorch（要Pythonスキル） ○ Sony Neural Network Console（プログラミング不要） ● 自動機械学習モデル作成クラウドサービス ○ Google Cloud AutoML ○ IBM AutoAI ○ Microsoft Azure AutomatedML ○ Sony Prediction One ● 知識 ○ YouTube「Sony Neural Network Console」チャネル ○ https://www.youtube.com/channel/UCRTV5p4JsXV3YTdYpTJECRA 62
- 64. まとめ ● AI技術によりキュウリ等級判別ができた ○ 深層学習（統計的手法）は農業で活用しやすい ○ 誰でも直ぐに開発を始められる環境がある ● AI活用によるノウハウ継承 ○ 農業従業者の減少・高齢化への対応 ○ 農業で活用できる場面は沢山ある ● AI開発は誰でもすぐにはじめられる ○ オープンソースの活用 ○ 無料クラウドサービスの活用 64