Amazon Rekognitionを使ってカメラ画像の感情分析を行い、感情の分類をカウントすることでLTの採点を試みる。

1. LTの採点をしてみよう
2018.12.22 忘年会議2018
貞松 政史 (@sady_nitro)

2. 自己紹介
• 貞松 政史 （サダマツ マサシ）
• @sady_nitro
• オカヤマ コンピュータサイエンス ラボ 主催
• Microsoft系テクノロジー
• コンピュータサイエンス
• 組合せ最適化、 強化学習など

3. LT大会にて…
• 優秀なLTを表彰する
• ランキングに応じて賞品を進呈
• 単純に自分がどれくらいウケたか気になる

4. 採点は難しい
• 投票
• 拍手の大きさ
• …

5. 顔認識 (感情分析) はどうだろうか
• AI、機械学習系のサービスが多数存在
• 顔認識、分析はポピュラー
• 結構精度が高い

6. Amazon Rekognition
https://aws.amazon.com/jp/rekognition/

7. Amazon Rekognition
• AWSの画像認識サービス (SaaS)
• オブジェクト検出
• 顔認識、分析
• 動線の検出
• 特定のコンテンツの検出 (不適切なコンテンツや有名人の顔)
• テキスト抽出
• AccessKey, SecretKeyを取得すれば利用可能
• サービスのインスタンスを作る必要がない

8. Amazon Rekognition DetectFaces

9. Amazon Rekognition DetectFaces
• 画像内の顔を検出 (複数検出可能)
• 特徴点の位置や顔領域の座標など
• 感情(Emotions)
• ANGRY (怒り)
• CALM (穏やか)
• CONFUSED (混乱)
• DISGUSTED (うんざり)
• HAPPY (幸せ)
• SAD (悲しみ)
• SURPRISED (驚き)
• UNKNOWN (不明)

10. AWS SDK
https://aws.amazon.com/jp/getting-started/tools-sdks/

11. SDK for .NET
• NuGetで簡単に導入

12. LT採点アプリ
• 実行中は繰り返しカメラ画像内の顔を認識して感情分析
• 感情の分類ごとにカウント
• 実行終了時に感情の分類ごとの合計カウントを表示
• 特に「HAPPY」のカウントで評価してみる

13. デモ
DEMO

14. まとめ
• Amazon Rekognitionを使って顔認識
• 感情分析で分類された結果をカウント
• 改善の余地あり
• カメラの準備
• 設置位置
• 解像度
• フレームレート
• 採用する顔領域の絞り込み
• 評価軸の再考
• HAPPY以外の分類を得点として盛り込む
• 単位時間当たりの平均を取る、など