2018年12月15日 AITC女子会顔認識を活用したセミナー参加者の満足度分析

Copyright © 2018 Advanced IT Consortium to Evaluate, Apply and Drive All Rights Reserved.
AITC女子会
機械学習ことはじめ
成果報告
2018年12月15日
顔認識で感情分析するチーム
宮城亜莉沙、上村瑶子
野田洋之、井上雅典、池森俊介、
岩佐卓樹、岩佐賢

目次
1. メンバー紹介
2. 制作物決定まで
3. セミナー満足度
4. 没になった案たち
5. メンバーからひと言
参考
2

4
上村宮城井上野田岩佐S 岩佐J 池森
怒り 0.000 0.000 0.000 0.000 0.000
侮辱 0.001 0.001 0.001 0.003 0.000
嫌悪 0.000 0.000 0.001 0.000 0.000
恐れ 0.000 0.000 0.000 0.000 0.000
幸福 0.969 0.019 0.015 0.384 0.000
自然 0.024 0.979 0.932 0.611 1.000
悲壮 0.005 0.001 0.046 0.002 0.000
驚き 0.000 0.000 0.005 0.000 0.000
顔
で
は
な
い
模
様
幽
霊

6
アイデアソン実施
画像認識系のAPIを活用して、
〇〇さんの機嫌がわかるようにする。
いまダメ

Google Vision API
Microsoft Azure Face API
顔認識（感情分析）は、
実装にあたっての検討
どのクラウドサービスのAPIを使用して実装するか
Google Vision API
顔認識（感情分析）は、
実装にあたっての検討
どのクラウドサービスのAPIを使用して実装するか

8
調査①
Azure Face APIでは何ができるか？
◆顔検出
座標表示人の顔の位置を検出し、四角形の座標で表示
属性返却性別、年齢、感情などの属性を返却
感情分析怒り、軽蔑、嫌悪感、恐怖、喜び、自然、哀しみ、
驚きといった要素を分析
◆顔検証
同一人物判別事前登録された顔と読み込んだ画像の比較や、読
み込んだ２つの顔の比較で、同一人物であるかを
判定する

9
調査②
・顔画像サンプルをGoogle検索で収集
・ Azure Face APIの感情分析パラメータをアウトプット
するプログラムを作成
・アウトプットするパラメータは以下の通り
Azure Face API感情分析の精度は？
◆調査方法
怒り、軽蔑、嫌悪感、恐怖、喜び、自然、哀しみ、驚き

10
調査画像一例

11
調査画像一例
怒り
侮辱
嫌悪
恐れ
幸福
自然
悲壮
驚き

12
調査画像一例
怒り 0.227
侮辱 0.004
嫌悪 0.020
恐れ 0.245
幸福 0.325
自然 0.016
悲壮 0.077
驚き 0.085

13
調査画像一例

14
調査画像一例

15
全体的に幸福自然が多く出てくる傾向
問題点
・横顔や、手で顔を隠すと顔として認識されない
・日本人顔は自然がやたら多く出る
⇒感情に乏しい or Azureさんの日本人不足？
調査結果

調査結果をもとに、
感情分析で何を実現するか
16
チーム内で再アイデアソンを実施

今日のシニア勉強会は
満足してもらえただろうか・・・
自分の講演は
参加者の心に響いただろうか・・・
次のような困りごとがあるのではないか？

今日のシニア勉強会は
満足してもらえただろうか・・・
自分の講演は
参加者の心に響いただろうか・・・
次のような困りごとがあるのではないか？
顔認識・感情分析を活用した
セミナー満足度判定

20
概要
セミナー写真から満足度、不満足度を測定
実現方法
セミナー中の参加者の写真を顔認識。
参加者毎の満足度、不満足度の
表情から感情分析を行い、
パラメータを抽出

21
アンケート感情分析
判定回数提出時１回のみセミナー中何度でも
信憑性個人によりいい加減表情は正直
参加者の手間
項目数が多いほど回答がい
い加減に
手間不要
集計の手間
参加者、項目数が多いほど
大変
プログラムで全自動なので楽
従来のアンケートによる満足度調査との比較
メリット

22
満足度：0.91
不満足度：0.02
満足度：0.89
不満足度：0.03
満足度：0.10
不満足度：0.82
満足度：0.09
不満足度：0.85
セミナー写真を測定した実施イメージ

実装方針と課題
• 入力フロントエンドWeb化
– URLやアップロードされた画像から識別
– 入力する画像形式はJPEGを基本とする
• 課題
– どこのサーバーを使う？自前？クラウド？
– 画像形式がJPEGだけでは不足、少なくともPNGも
– 著作権、肖像権など権利の問題
– etc.

実装検討
使用するクラウドサービス選定
を踏まえ、総合的に判断した結果
を使用することに決定
• アイデアソン前のGCP学習
• 前述のAzure機能調査

3．セミナー満足度(今回使用する環境)
• Azure Face API
– マイクロソフト社が提供する顔認識用のライブラリ
登録することで１ヶ月無料で使用できる。
https://azure.microsoft.com/ja-jp/services/cognitive-services/face/

3．セミナー満足度(Face APIの特徴)
• 認識できる顔の最大数は64
– 集合写真でも個々の顔を十分に識別可能な数
• 新たに顔を学習して人物を特定できる
– 登録可能最大数は248個
26

3．セミナー満足度(感情パラメータ検証)
感情分析の結果パラメータには、複数の要素が含まれる。
どの程度の検出結果となるか実際の顔認識して確認した
。
27
以下の事が分かった。
・使えるパラメータ
幸福、驚き、悲壮、怒り
・場合により使える
侮辱、恐れ
・使えないかも
嫌悪
・女性はポジティブ（幸福が
大きく、悲壮が少ない）

デモの準備ができたようです。
それではご覧ください。
28

3. セミナー満足度（デモ内容）
• 動作環境）Windows10
• 使用言語)Python3.5.6
・サンプルとして以下の画像を使用（著作権フリー画像より）
セミナー前) セミナー後)
29

• コマンドプロンプトを開き、コマンドを入力。
python semsat.py セミナー前の画像ファイルセミナー後の画像ファイル
30

• 結果ファイルは以下の形式で作成されます。
31

再アイデアソンで提案されるも、
惜しくも没となってしまった案をご覧ください。
33

4.1 上司のいかり検知
没案① 上司のいかり検知
34
あのプロジェクトの件相談したいけど、今部
長は機嫌が悪いかな・・・。機嫌が悪いと
きに話しかけると話が長くなるし、イヤなん
だよなぁ。サクッとすませたいのに・・・。
概要
表情から上司のいかり（機嫌）を判定

35
実現方法
「Microsoft Azure Face API」で感情判定し、いかり（機嫌）を判定
メリット
・機嫌のよいときにすかさず相談
部下 ( ･ω･)r◇この書類でいこうと思うのですがどうでしょう?
上司 ( ･ω･)ｲｲﾈ!
没理由
・「セミナー満足度」判定を応用すれば「上司のいかり検知」も実現可能
→ 「まずはセミナー満足度」判定を優先
→ 適切なタイミングで相談することで平和に業務を遂行できる！

36
実現方法
メリット
没理由
シニアIoT勉強会
IKARIチームと丸被り

37
実現方法
メリット
没理由
シニアIoT勉強会
IKARIチームと丸被り
コラボレーションの提案
お待ちしております

4.2 役者分析ツール
没案② 役者分析ツール
概要
登場人物の「台詞」と「表情」が一致しているかを分析し、
演技力を判定する（大根役者判定）
利用場面
・映画の客観的な評価指標にする
・役者の所属事務所が
映画会社に営業をする

使用するAPI
Microsoft Azure Emotion API（感情検出）
表情のネガティブとポジティブ判定
Google Natural Language API（テキスト分析）
字幕のネガティブとポジティブ判定
実現方法
分析対象シーンの動画から、
①役者の表情をEmotion APIで喜怒哀楽判定
②字幕をLanguage APIで喜怒哀楽判定

没理由
・動画の解析になるので、どのようなタイミングで判定するのか
・皮肉を言うシーンなどに対しては、分析に味付けが必要
・何をもって演技が上手いとするのか
・できたところで誰がうれしいのか？
評価基準の作成が必要
・何が結果として得られるのか、効果が見えづらい

4.3 唇の動きからセリフ認識
41
没案① 唇の動きからセリフ認識
概要
人が話しているが音声の無い動画から
何を話しているのか認識する
つまり、AI読唇術
実現方法
没理由となるので後程

42
メリット
以下のような様々な場面での活用が期待できます

43
メリット
スポーツ観戦

44
メリット
スポーツ観戦手話の代用

45
メリット
産業スパイ

46
メリット
産業スパイ悪口判別

47
没理由
「APIを使う」という今回のテーマから外れてしまう
☆学習モデルの作成が必要
「おはよう」 ⇒ 「おはよう」の唇の動き
人によって口の動く方などいろいろ違う
唇など、顔の動きと対応する言葉の学習が不可欠

48
さらに問題点が・・・
来て（KITE）
死ね（SHINE）
のように、母音が同じ言葉の判別が非常に難解
通常の音声認識や構文分析等と異なり
前後の文脈から判断することも不可

49
さらに問題点が・・・
来て（KITE）
死ね（SHINE）
のように、母音が同じ言葉の判別が非常に難解
通常の音声認識や構文分析等と異なり
前後の文脈から判断することも不可
来年のシニア＆女子会の
研究テーマにいかがでしょうか

5. メンバーからひとこと

5．メンバーからひとこと
51
「Google Cloud Platform」のAPIを利
用し機械学習を学んだが、GCPのアカウ
ント作成からステップバイステップで勉強で
きたのが良かった。
宮城さん
実際に手を動かしながらAPIを活用してど
のようなものが作れるかについて、皆さんと
意見を交わすことができてとても有意義で
した。
上村さん
AIについて興味があり、今年より本勉強
会に参加させて頂ました。
Python、GCP、Azureについて学び、
色々と苦戦しましたが周りの方の助言
や協力もあり、どうにか理解を深めること
ができました。
まだ技量不足ですので、今後も継続で
きればと思っております。
井上さん
アイデアソン、私が思いつかないような
数々のアイディアを頂戴し、楽しむことがで
きました。今後、どう実装するかあ、思案
のしどころです。
野田さん
所属の枠を超えて多くの人と意見を話し
合い、このような場で発表する経験は初
めてでしたので、この経験を他で活かせた
らと思います。
岩佐Jさん
感情分析が簡単に使える状況になってい
る事に驚き、このモデルを提供してくれたベ
ンダーに感謝したい。（AIは、使えるモデ
ル作成が大変なので）
岩佐Sさん

おまけ（本編）
52

参考：Google Vision kit V1.1
53
Vision Kitは、手軽に、簡単に画像認識のAIをクラウド接続なしに
利用できるキットです。
動作すると、顔検出し、笑顔の度合いをLEDの色の変化で表しま
す。
その他にも次のモデルが用意されています。
・1000種類のモノを認識するモデル
・人、犬、猫を識別するモデル
・顔検出し、「悲しみ」や「笑い」などを評価するモデル
本キットに初めから用意されているモデル以外にも、独自のモデルを動かすことが
可能です。
TensorFlow（Googleが提供する機械学習ライブラリ）を利用して、機能拡張、カス
タマイズが行えます。
ディープラーニング機能を備えたIntel Movidius MA2450を搭載し、写るモノをリア
ルタイムに認識できる全く新しいカメラです。
ユーザーが組み立て、セットアップなどを行う必要がありますが、作りながら、楽し
みながら、より深くAIデバイスが理解できます。
はんだ付けなどの必要が無く、小学校低学年ほどのお子さまでも自作できます。

54
キットの内容一覧
1 Vision Bonnet（拡張ボード） ×1 7 ボタンハーネスケーブル ×1 13 三脚固定用ナット ×1
2 Raspberry Pi Zero WH （超小型コンピューター） ×1 8 Micro USBケーブル ×1 14 LEDベゼル ×1
3 Piカメラ V2 ×1 9 圧電ブザー ×1 15 プラスチックスペーサー ×2
4 カメラケーブル for Pi Zero ×1 10 フルカラー LED ×1 16 外装箱用ボール紙 ×1
5 OS書込済 microSDカード ×1 11 カメラケーブル Bonnet to Pi ×1 17 内部フレーム用ボール紙 ×1
6 プッシュボタン ×1 12 ボタンナット ×1

購入先（おすすめ）
株式会社ケイエスワイ
https://raspberry-pi.ksyic.com/main/index/pdp.id/443,444/pdp.open/444
¥12,420（税込）
*組み立て説明書はGoogleのHPを参照下さい
https://aiyprojects.withgoogle.com/vision
他に必要なもの（最低限）
電源（マイクロUSB Bコネクタの2.1A以上の電源）
他に必要なもの（シャットダウンや、追加開発なら）
キーボード、マウス、HDMIディスプレイまたは
アンドロイド携帯、PC（TeraTermなど）
55

参考：試した結果（2枚の写真）
56
A B C D E F G
① 0.84 0.90 ーー 0.97 0.76 ー
② ー 0.84 0.82 ー 0.98 0.87 0.97
③ ー 0.94 0.82 0.81 0.35 0.86 0.98
④ ー 0.94 0.91 ーー 0.89 0.98
⑤ 0.86 ーーー 0.46 0.64 0.97
⑥ 0.91 ー 0.81 ー 0.48 0.78 0.98
⑦ ー 0.82 0.90 0.88 0.37 0.71 0.99
顔を認識しない(－)。感情分析で不安定もあり(0.64と0.89)。

今後のバージョンアップ
• 笑顔訓練機
– リングLED(NeoPixel)で、笑顔度合いを表示し、指
定した値を超えたら、Happy点灯する。
– 課題はリングLEDの接続etc.
• セミナー満足度リアルタイム
– 定期的に満足度測定し、時間的推移、聴講者毎
の状況を保存する。
– セミナー音声もテキスト化により、セミナーポイン
ト毎の状況が確認できる。
– 課題は、リアルタイム性etc.
• 構想はあるが、来年度の実行は未定。
57

2018年12月15日 AITC女子会顔認識を活用したセミナー参加者の満足度分析

Recommended

Recommended

More Related Content

Similar to 2018年12月15日 AITC女子会顔認識を活用したセミナー参加者の満足度分析

Similar to 2018年12月15日 AITC女子会顔認識を活用したセミナー参加者の満足度分析 (20)

More from aitc_jp

More from aitc_jp (20)