画像認識技術×地域活性化案として、この画像認識サービスを考案しました。難しいとされているりんごの品種分けをAIはどれほど認識できるのか、また、身近にあるりんごが何の品種であるか手軽に特定できるツールがあれば面白いと思いこの研究テーマに取り組みました。この画像認識モデルは、ふじりんごかそれ以外かの二値分類のみ識別となっており少ないですが、デバイスに依存しないWebアプリサービスとして制作出来ました。

1. ⻘森県産りんごの
精度識別をおこなう
画像認識Webアプリの開発
坂井研究室 3119025 澤⽥純礼
2022年度 “卒業研究” 発表会
⻘森⼤学 ソフトウェア情報学部

2. 背景・研究⽬的
• 背景
AI・機械学習・ディープラーニングは、⾝近に多⽤される事例が増えてきている。
昨年度の創作ゼミナールでは、ディープラーニングをはじめとするAI技術を学ぶた
めに、サンプル画像認識モデル作成に取り組んだ
• 研究
画像認識技術
地域活性化案
⻘森県に関連があるモノ
・⻘森りんごの画像データで
学習した⾃作AIモデル
＋
・画像認識サービスの制作

3. システム構成
• システム概要 • 開発環境
MacOS
Visual Studio Code
HTML&CSS
JavaScript
Flask
Python
Google Cloud Platform
（GCP）
・AppEngine,
・Cloud AutoML Vision）

4. 制作物
• 制作物の利⽤⽅法
ファイル選択ボタン→送信→画像解析結果受信
画像解析結果の受信内容は、
1．アップロード画像は正常か
（画像が判定できるものか、判定値の基準より⾼いか）
2，スコア
3，カテゴリー（品種）
（applefuji-reがふじ、apple-train ‒ reがふじ以外の品種）
スマートフォン PC

5. 開発過程
• 画像認識サービスの開発⼿順
1.GCPの環境準備、独⾃の画像認識モデルに学習させるためのデータ準備
2.2つの画像データセット作成
3.Cloud AutoML Visionによるモデルトレーニング・評価（検証）・再学習
4.Flaskの環境導⼊、Webアプリの制作

6. 開発過程
1．GCP準備、独⾃の画像認識モデルに学習させるためのデータ準備
・GCPの使⽤準備をすることで、AutoML Visionの使⽤環境を整える
（アカウント登録、GCPプロジェクトの作成、AutoML Visionの有効化）
・学習⽤データの準備、画像データの収集⽅法
(1)Webスクレイピングの画像収集
(2)機会学習⽤のフリーデータセットのダウンロード
(3)⾝近にあるりんごの写真を実際に撮って集める
・画像処理（リサイズ）を施し、画像処理を⼀通り終えたら反転して⽔増し

7. 開発過程
2．2つの画像データセット作成
・データセットをZIPファイル化した後に、AutoML VisionのCloud上にデータを
アップする
・2種類のデータセットの分類が正しいか⼀通り確認する
ラベルなしに分類されているものがあれば、この時点でラベルの割り当てを⾏う
この時点でデータ数
ふじ：ふじ以外＝50：723
総数 773枚

8. 開発過程
3．Cloud AutoML Visionによるモデルトレーニング・評価・再学習
・モデルをトレーニング後、評価とオンライン検証を⾏った
・ふじりんごの精度値は60％ほど

9. 開発過程
3．Cloud AutoML Visionによるモデルトレーニング・評価・再学習
・学習済みモデルでオンライン検証の結果
←ふじ70% ふじ以外95%→
↑ふじ93%

10. 開発過程
3．Cloud AutoML Visionによるモデルトレーニング・評価・再学習
1回⽬のトレーニング結果を踏まえ、再学習に取り組んだ
・画像⽔増し⽅法…コントラスト調整、左右反転、拡⼤縮⼩、ノイズ等の画像処理
→ふじりんごの画像データを２倍に増やして再学習
・再学習の評価…適合率がやや減少したが、ふじりんごの精度が91%まで増加

11. 開発過程
4．Flaskの環境導⼊、Webアプリの制作
・Flaskの環境準備を⾏う。Flaskのディレクトリは以下の通り
特に使⽤するファイル
・WebアプリのUIを⾏う
HTML&JavaScript
・データの送受信を⾏う
main.py
・APIの実⾏を⾏うpredict.py
上記の3つである

12. 開発過程
4．Flaskの環境導⼊、Webアプリの制作
・ローカル環境でサンプルWebアプリを試す
ターミナルからmain.pyを実⾏する
この際、精度低めでも予測できるように、しきい値の設定を0.5以下にした
・Webアプリを公開するために、AppEngineを有効化する
→どのデバイスからでもアクセスできるかの確認を⾏う

13. 開発過程
4．Flaskの環境導⼊、Webアプリの制作
・WebアプリのUI改善を⾏った
・レイアウト
レイアウトは主にBootStrapによって
設計されている
・画⾯キャプチャー機能
jQueryというライブラリによって、
アップロード画像が表⽰されるよう
改善した
画⾯遷移前 → 画⾯遷移後

14. まとめ
• 成果
・最終的に、簡易的な画像認識サービスのWebアプリ運⽤まで取り組むことが出来た
・⾃作の学習⽤データセットから、GCPの活⽤によって⾃作の画像認識モデルを作成、
かつ再学習によって精度を約60%から91%まで向上させることが出来た
・Webフレームワーク（Flask）によって実装、オンライン上で運⽤し更にデバイスに
依存しないWebアプリの実現
・機械学習やWebアプリ構築に関する知識を⾝につけることが出来た

15. まとめ
• 考察
・りんごの品種分けを、AIはどの程度認識できるか
→AutoML Visionによって精度を数値化し、検証できた
→⼈間にとって判別が難しい画像でも、再学習次第である程度の精度識別が可能
・Webアプリサービスの制作において、コマンドプロンプトを⼀通り扱える知識が
最低限必要
・GCPのツールを外部から扱う際には、PythonやFlaskのバージョンが異なる度にエ
ラーで実⾏できない場⾯が多々ある

16. まとめ
• 今後の発展
・画像認識モデルの精度をより良くしたい
→今回は精度60%→91%、実⽤的なモデルの精度に近づきつつある
→鮮明な画像、360度からの撮影、背景はなるべく揃える
・カテゴリごとに均等なデータ量を⽤意することで精度に差が⽣じないようにする
・WebアプリのUI改善によって、利便性向上を計る
→ファイル選択を画像ファイルのみにする（PDF,JPEG画像など）
→カテゴリ名がデータセット名の表記になっているため、品種名にする
→その場で撮った写真をそのまま送る機能を追加 など