FaceAPIを用いた表情速度の頻度分布解析.pdf4. • “人間の感情” / ”社会の動き” や “意見” / “貨幣”などの抽象的な概念を
物理学と同様に、自然科学として定量的に議論することは可能か?
1. 自然科学としての人間行動(計算社会科学)-Background-
4
Fig.1 計算社会科学の関連領域
Ref.『計算社会科学入門』(2021?)
⃝計算社会科学とは?
「新たに利用できるようになったデータや技術(1)を駆使
し、個人や集団、そして社会をこれまでにない解像度
とスケール(2)で定量的に研究する学際領域」
(『計算社会科学入門』(2021))
(1) SNS(Twitter/Facebook)、ウエアラブルセンサ等
(2) 84カ国2400万人2年分約6億件のツイートを解析[1]
個人的な疑問
[1]Golder, S.A., M.W.Macy, Science, 333(6051), 1878-1881 (2011).
5. 1-1. オピニオンダイナミクスモデル -Background-
5
• 社会における”意見”形成のダイナミクスのモデル([2]Ishii, 2019)
Φ(Ij(t), Ii(t)) =
1
1 + exp(β|Ii − Ij | − b)
Ii(t), Ij(t):人間 i, jの意見。大きいほど賛成。差が小さいほど合意。 合意形成の
ダイナミクス
合意形成しない
ダイナミクス
Dij :人間 iからみる人間 jの信頼の様な量。(Dij≠Djiもありうる)
:IiとIjに差があるほど、0に近づく。
→意見が大きく異なる二人は相互作用しない。
DAB < 0
DBA < 0
意見
I(t)
A
B
t
DAB > 0
DBA > 0
意見
I(t)
A
B
t
・口コミ等のネット情報から映画/イベントのヒット現象を解析
・意見形成のように、感情形成をモデルかできないか?
Fig.3 N=2の合意/不合意の計算例
[2] A. Ishii,Proceeding of 19th International Conference on Group Decision and Decision and Negotiation in 2019 aJoint GDN-
EWG/BOR meeting. Springer LNBIP., 351, 193-204 (2019).
外部
マスメディア
Opinion Ii
i
Fig.2 Opinion Dynamicsの概念図
:意志の強さ(大きいほどIi(t)は変化しにくい)
m
dIi(t)
dt
= CiA(t)+ΣN
j=1DijΦ(Ij(t), Ii(t))(Ij(t) − Ii(t))
m
意志の強さ 外部メディアの影響 Ii(t)とIj(t)が遠いとゼロになる関数
6. 1-2. 腕の動きの測定 -Background-
6
Activity Count k[min−1
]
Cumulative
Distribution
P(k) =
exp[−k / kT ]
kT
Cumulative
distribution
C'(k)
Activity Count k[min−1
]
24時間に近づくにつれ
kT : Activity
Temperature
歩行
,
走行
,
対話…
7am
9pm
○ウエアラブルセンサによるActivity Count(=腕の揺れ回数/min)の測定([3]Yano, 2013)
Fig. 3 Activity Countの累積分布
(a)リストバンド型ウエアラブルセンサ[4] (b)7am-9am, 1h毎 (c)1日当たり
[3] K. Yano, MIND, BRAIN AND EDUCATION, 7, 1, 19-29 (2013).
[4] http://monoist.atmarkit.co.jp/mn/articles/1302/01/news080.html
・腕の揺れ(=骨格筋の運動作用)の観測により、人間の行動を定量的に観測。
・表情筋も骨格筋であるため、同様の解析ができないか?
(a)
(b) (c)
7. 2-1. 表情研究 -Background-
7
○Facial Action Coding System(FACS) 1960s
○Microsoft Face API[6]
・FACSは、表情の部分的表出であるAction Unit (AU)の組
み合わせで記述。
・定量的な測定ではなく、資格取得者により判断される。
A + C + D + F + H + N + Sa + Su = 1
Anger(A), Contempt(C), Fear(F), Disgust(D),
Happiness(H), Neutral(N), Sadness(Sa), Surprise(Su)
・FACSに基づき、深層学習により学習された顔認識AI
・表情以外に、人物特定/年齢/性別/姿勢なども検出可能。
AU6, AU12
Happiness
e.g.
Fig. 6 表情筋とHappinessのAU[5]
Fig. 7 Face APIによる表情認識例
[5] IMOTIONS HP https://imotions.com/blog/facial-expression-analysis/
[6] Microsoft HP https://docs.microsoft.com/en-us/xamarin/xamarin-forms/data-cloud/azure-cognitive-services/emotion-recognition
8. 2-2. 指数分布 / べき分布 -Background-
8
⃝指数分布
e.g.
放射性物質の崩壊
交通事故の発生
気体分子のエネルギー分布(ボルツマン分布)
⃝べき分布
e.g.
商品の売上分布
株価、為替等の市場価格の変動
所得分布(パレート分布)、
純資産の分布
ガラス破片の大きさ分布
・べき分布は指数分布に比べ、減衰が早く、裾が広い。
→xが大きい範囲でも、微小ながら確率が残る。社会現象で多く見られる。
p(x) = ax−b
p(x) = ae−bx
Fig. 8 正規分布/指数分布/べき分布の比較
9. 3. Purpose & Measurement
9
○目的:人間の行動の定量的観測として、表情筋(群)の動きに着目。
Face APIにより表情の8つ要素の速度(=表情速度)に関し、出現頻度の確率密度分布の型を特定。
○測定方法:Face API
○サンプル
サンプル名 内容 時間 FPS
①Andrew-Keisha1) 夫婦の会話 6 m 24
②アンドロイド2) 国際ロボット展の
案内
1m45s 30
X : A, C, D, F, N, H, Sa, Su
v1 = dX1/dt v2 = dX2/dt
○解析方法
24FPS~
→~0.04s毎に切り出し
dX/dt
出現の
確率密度
?
Fig. 10 解析方法の概念図
Fig.9 サンプル動画
1)「Keisha and Andrew: Why Did You Marry Me? | Glamour」https://www.youtube.com/watch?v=IT8Z6JIusdw
2)「美人すぎるアンドロイド ∼国際ロボット展2016∼[Japanese beautiful android]」https://www.youtube.com/watch?v=xaDOngX5ygk
①Andrew-Keisha
②アンドロイド
12. 12
絶対値を取り、
片対数プロット
○表情速度の出現頻度の確率密度分布 H = Happiness
マイナス領域 プラス領域
・各表情速度に対し、出現頻度の確率密度しプロット
・+/-領域で対称な構造をとるが、表情速度は極端に0付近に集中している訳ではなく、
・絶対値は片対数プロットで線形性を示すため、指数分布である。
4-1. ②アンドロイドの確率密度分布 -Result-
無表情 or 他の表情 → 笑顔
笑顔→無表情 or 他の表情
lnp = − b|v| + lna
Fig.14 dH/dtの出現頻度確率密度分布
14. 4-2. フィッティングによるパラメータ推定 -Result- 1 1 1
14
○最小二乗法によるフィッティング (scipy.optimize使用)
Fig. 17 Andrew |dH/dt| @ Andrew-Keisha
p = a|vH |−b
Fitting Curve
Raw Data
p = ae−b|vH|
Fig. 18 アンドロイド |dH/dt|
フィッティング関数 a b R2値
Andrew |dH/dt|
@Andrew-Keisha
べき分布 0.24 1.9 0.987
指数分布 4.0 2.9 0.965
アンドロイド |dH/dt|
べき分布 0.13 0.58 0.740
指数分布 0.13 0.58 0.980
・最小二乗法によりべき分布/指数分布にフィッティング。
・Andrewはべき分布に、アンドロイドは指数分布の方がR2値が大きい。
p = a|vH |−b
p = ae−b|vH|
vH =
dH
dt
= 笑顔の
表情速度
Table 1 Andrew / アンドロイドのフィッティングパラメータとR2値
15. 4-2. [追加取得]パラメータの時系列変化 -Result-
15
○シーン別 各表情の平均値 vs a vs 1/b
Time[s] Contents
3~46 KeishaがAndrewにする嫌な事は?
47~66 Andrewの真面目な回答
67~140 Keishaの好きなところ/頑張って欲しいところ
141~169 poopの話(Keishaがシリアスになる)
170~201 結婚で一番怖いことは?
202~271 Keishaに言う事で躊躇っている事は?
272~338 Keishaの結婚した理由は
・目的:シーン別にパラメータをプロットする事で、各パラメータの挙動の違いを比較する。
ref.として表情解析で、各社が用いる指標である測定時間中の平均値を使用。
・サンプル:Andrew @Andrew-Keisha
・評価項目:各表情の平均値1) / パラメータ2) / パラメータ2)
a 1/b
Table 3 内容によるシーン分割
Ratio A(%) C(%) D(%) F(%) H(%) N(%) Sa(%) Su(%)
Andrew 0.8 2 0.6 0.2 19 74 1 3
Table 2 動画中の各表情の割合
Fig. 19 Andrewの各表情の値(0~1)
1) 平均は、 で算出(iは動画のフレーム)。
2) a.1/bは、 でフィッティングし算出。
p = av−b
(Ave.) =
∑
i
Xti
/
∑
i
16. 4-2. パラメータの時系列変化 -Result-
16
○シーン別 表情の平均 vs a vs 1/b Time[s] Contents
3 KeishaがAndrewにする嫌な事は?
46 Andrewの真面目な回答
66 Keishaの好きなところ/頑張って欲しいところ
140 poopの話(Keishaがシリアスになる)
169 結婚で一番怖いことは?
201 Keishaに言う事で躊躇っている事は?
271 Keishaの結婚した理由は
Fig. 20 ref.各表情の平均値の時系列変化 Fig. 21 パラメータ の時系列変化
a Fig. 22 パラメータ の時系列変化
1/b
・平均値, a, 1/bで挙動が異なる(00:46-01:06, 02:19-02:48)。
・確率密度分布解析は、平均値解析とは、異なる特徴量抽出が可能。
(Ave.) =
∑
i
Xti
/
∑
i
平均: (iは動画フレーム)
a, 1/b: からフィッティング
p = av−b
Table 3 内容によるシーン分割
17. 5. 結論
17
• MicrosoftのFace APIを使い、8表情の時系列変化を測定し、表情速度
の出現頻度の確率密度分布を算出した。その結果、
• ①表情速度の出現頻度の確率密度分布は、アンドロイドが指数分布
になるのに対し、人間はべき分布であることを確認した。
• ②べき分布のパラメータの時系列変化が表情分析の新たな手法とな
ることを示唆。
• 今後、a,1/bの挙動が何に起因するかを検証予定。
18. (参考) アンドロイドの表情時系列変化
18
1)「Keisha and Andrew: Why Did You Marry Me? | Glamour」https://www.youtube.com/watch?v=IT8Z6JIusdw
2)「美人すぎるアンドロイド ∼国際ロボット展2016∼[Japanese beautiful android]」https://www.youtube.com/watch?v=xaDOngX5ygk
Fig. 23 ref.Andrew@Andrew-Keishaの表情の時系列変化1) Fig. 24 アンドロイドの表情の時系列変化2)
・アンドロイドはHappinessとSurpriseが多く、
・0.2~0.9の間に集中している。
19. (参考) 各社の表情解析手法
19
[7] intage社 HP「表情解析を使った広告クリエイティブ評価」」
[8] 株式会社インテージ The JMRA Annual Conference 2013 資料より
[9] CAC社HPより https://www.cac.co.jp/trends/trend06.html
・何れも、表情速度についての解析はなし
⃝「表情解析を使った広告クリエイティブ評価」intage社[7]
⃝「心sensor」CAC社[9]
・TVCM評価(2013)
Noldus社のフェイスリーダーを用いて、CM観賞者のアイト
ラッキング/各表情値を分析。観賞後のインタビューの解釈
の正確性向上のため実施[8]。
Affedex社の表情認識ソフトを用いて、基本7表情と、
Valence(肯定/否定感情)、Engagement(表情の豊かさや活
性度)を出力。解析は、パイチャート、感情ヒストグラム
(出現頻度)、その他統計量(平均/中央値/標準偏差)等