李祈均/人類行為訊號處理 : 跨學科 (醫療、教育、心理) 應用實例分享、心得、展望
- 14. 14
建模: 聲音特徵計算
建模: 肢體動作特徵計算
𝑙-frame Dense
Points Tracking
TRAJ
MBHxy
Each 𝑉𝑚 = A Unit-level (66ms)
𝑞-length Derived Video features
肢體動作的描述: Dense Trajectory 高斯混和模型Fisher-編碼
𝑉1
𝑉𝑚
𝑉2
𝑉3
𝑉 𝑀
𝑆1
𝑆2
𝑆𝑁
Acoustic
LLDs
Each 𝐴 𝑆𝑋:𝑌 = A Unit-level (200ms)
𝑝-length Dense Acoustic Features
Functionals
聲音片段切割
𝐴 𝑆1: {1, 𝐾1}𝑆1
𝐴 𝑆1:1
𝐴 𝑆2:1
𝐴 𝑆𝑘:1
𝐴 𝑆1:𝑘
聲音特性描述: Dense Unit Acoustic Features
𝐴 𝑆2: {1, 𝐾2}
𝐴 𝑆3: {1, 𝐾3}
𝐴 𝑆4: {1, 𝐾4}
K-Means Bag-of-word編碼
- 26. 26
運用簡單 multi-task learning 方式
每種評分(培訓測驗)都
是一種task
Task 1 - 有
用 feature
Task 2 - 有
用 feature
Task 8 - 有
用 feature
.
.
.
Kernel
融合
Multi-task learning
多模態行為融合
- 27. 27
𝒓 = 𝟎. 𝟓𝟒𝟐 → 𝟎. 𝟔𝟐𝟏
• 個案研究
• 學校校務發展計畫
• 教育參觀心得
• 生活札記
融入哪些測驗培訓評量對於建構演
講評分會有顯著效果 ?
- 37. 37
看看一些例子
(低度: 0-3, 中度 : 4-6, 高度 : 7-10)
病人: 高疼痛
辨識: 低疼痛
病人: 高疼痛
辨識: 中疼痛
病人: 低疼痛
辨識: 高疼痛
Poker face Talk with smiling
Trembling voice
- 50. Activation: 男生
4.4 (資料庫原始評分)
3.8 (新評全時演出評分)
4.6 (新評短時片段評分)
0
1
1
3
5
7
9
11
13
15
17
19
21
23
25
27
29
31
33
35
37
39
41
43
45
47
49
51
53
55
57
59
61
63
65
67
69
71
73
75
77
79
81
83
85
87
89
91
93
95
97
99
TIME SEGMENTS
Emotion-Rich behaviors
例子1