Empfohlen
Weitere ähnliche Inhalte
Empfohlen
Empfohlen (20)
Presentation.pptx
- 1. 1 یشنیدآر یندآرف همجوشیبر مبتنی هیجان بازشناسی - سی یدیدآر لیمبیک ستم مغز آلرحیمآلرحمن هللابسم دهنده آئهرآ : فرهودیزینب آهنمارآساتید : ربیعیاعظم تردک ،ستایشیسعید تردک رمشاو آستاد : یاززرفربد تردک مهندسیوفنیدانشکده بهمن 96
- 2. مطالب روئس 2 مقدمه معرفی مدل های محاسباتی بازشناسی هیجان معرفی مدل های ژیبیولو بازشناسی هیجان آحیرط و یابیزآر مدل پیشنهادی بازشناسی هیجان فتارگهیجانبازشناسیپیشنهادیمدل چهرهحاالتبازشناسیپیشنهادیمدل همجوشیبرمبتنیهیجانبازشناسیپیشنهادیمدل جمع بندی و نتیجه یگیر Emotion Recognition Based on Audio-Visual processing Fusion of Brain Limbic System
- 3. مقدمه 3 بازشناسی هیجان چندمدالیتی : فرآیندی است که طی آن یک سیستم کامپیوتری با استفاده از اطالعاتی که از منابع حسی ( مدالیتی های ) مختلف می گیرد؛ بطور خودکار هیجان انسان را بازشناسی می کند . کاربردها : طبیعی تعامل ماشین و انسان مجازی آموزش پزشکی نظارتی سیستم روحی حاالت شناخت راننده مقدمه بازشناسمحاسباتیهای مدل ی هیجان بازشناسیبیولوژیهای مدل هیجان پیشنهادی مدل یابیزآروآحیرط گینتیجه و بندیجمع ری
- 4. مقدمه – تحقیقرتوضرواهمیت - تحقیقسواالت 4 تحقیق سواالت : از چه مدلی برای همجوشی اطالعات بینایی و شنوایی استفاده شود ؟ تا چه اندازه دقت بازشناسی هیجان پس از همجوشی افزایش می یابد ؟ تحقیق ضرورت و اهمیت ابهام در بازشناسی هیجان تک مدالیتی و تأثیر همجوشی در بازشناسی هیجان تعامل چندمدالیتی بودن انسان ها مقدمه بازشناسمحاسباتیهای مدل ی هیجان بازشناسیبیولوژیهای مدل هیجان پیشنهادی مدل یابیزآروآحیرط گینتیجه و بندیجمع ری
- 5. 5 مقدمه - انگیزشوهشوپژهدف ارائه مدلی برای همجوشی اطالعات گفتار و چهره مبتنی بر سیستم لیمبیک مغز محور اصلی پژوهش : همجوشی اطالعات هیجان گفتار و حاالت چهره محور فرعی پژوهش : بازشناسی هیجان از روی هیجان گفتار و حاالت چهره Fusio n Multimodal Data Input مقدمه بازشناسمحاسباتیهای مدل ی هیجان بازشناسیبیولوژیهای مدل هیجان پیشنهادی مدل یابیزآروآحیرط گینتیجه و بندیجمع ری
- 6. مقدمه – مسئلهبیان مقدمه های مدل محاسباتی بازشناسی هیجان های مدل بیولوژی بازشناسی هیجان و طراحی مدل ارزیابی پیشنهادی و بندی جمع گیری نتیجه 6 ارائه یک چارچوب کلی برای بازشناسی هیجان مبتنی بر همجوشی فرآیند شنیداری - دیداری با الهام از سازوکارهای عصبی مغز عصبانی ت تنفر ترس خوشحال ی ناراحت ی تعجب
- 7. مقدمه - هیجان ریتئو 7 با همراه فیزیولوژیکی و ذهنی حالت یک ،هیجان می رفتار و افکار ،احساسات از ای گسترده طیف باشد . هیجان بندی طبقه : گسسته ساختار : 6 پایه هیجان : ،خوشحالی ،عصبانیت تنفر و ناراحتی ،تعجب ،ترس پیوسته ساختار : ارزش میزان بعدی دو فضای - برانگیختگی (Valence-Arousal) ارزش برانگیخ تگی مقدمه بازشناسمحاسباتیهای مدل ی هیجان بازشناسیبیولوژیهای مدل هیجان پیشنهادی مدل یابیزآروآحیرط گینتیجه و بندیجمع ری
- 8. 8 بازشناسی هیجان گفتار هیجانی حاالت چهره همجوشی چندمدالی تی عروضی فرکانس گام ، انرژی ، فرمنت ، دامنه ، نرخ عبور از صفر طیفی MFCC, LPC, RASTA, PLP استخراج ویژگی های اکوستیک ترکیبی ( عروضی و )طیفی فتارگهیجان بازشناسی مقدمه مدل های محاسباتی بازشناسی هیجان مدل های بیولوژی بازشناسی هیجان و طراحی مد ارزیابی ل پیشنهادی جمع بندی و نتیجه گیری SVM: 78 % 15 های ویژگی طیفی و عروضی Wang (2008) 78.2 % SVM: 261 های ویژگی عروضی - طیفی Bitouk et al. (2010) Fusion (HMM): 66.7 % Log-likelihood: 93.4 % MFCC, pitch, wavelet domain Ntalampiras et al. (2012) SVM: 72.9 % eNterface Zhalehpour et al. (2016) MS-HMM: 68 % Zeng et al. (2008) F-HMM: 58 % Lin (2013)
- 9. 9 بازشناسی حاالت چهره بازشناسی هیجان گفتار هیجانی حاالت چهره همجوشی چندمدالی تی مبتنی بر هندس ه مبتنی بر ظاهر موجک گابور Haar AAM LBP روش های غیرکالسیک کالسیک مقدمه مدل های محاسباتی بازشناسی هیجان مدل های بیولوژی بازشناسی هیجان و طراحی مد ارزیابی ل پیشنهادی جمع بندی و نتیجه گیری دقت بازشناس ی پایگاه داده استخراج ویژگی مراجع 87 % Cohn موجک گابور Wang et al. (2013) 87 % Cohn Haar Satian et al. (2010) 96 % Cohn (4) LBP Zhao et al. (2007) 88 % Cohn Facial point Wu et al. (2013) 95 % Cohn (4) AAM Lucy et al. (2007) دقت بازشن اسی پایگا ه داده استخراج ویژگی مراجع 53 % AFEW CNN Kahou et al. (2015) 53 % AFEW CNN-RNN C3D Yin et al. (2016) 59 % AFEW Deep CNN Kim et al. (2016) 55 % eNterfa ce 3D-CNN Zhang et al. (2017)
- 10. مدالیتیچندهیجان بازشناسی - همجوشی 10 S.T. Shivappa, “Audiovisual Information Fusion in Human-Computer Interfaces and Intelligent Environment: A Survey” 2010 • آطالعات همجوشی : تردقیقو بیشتراطالعات به منبعچندیناطالعاتاز استفادهبا کهشود میاطالق یهایفعالیت مجموعه به موضوعیک درباره کنندمیپیدا دست . • آطالعات همجوشیآنوآع : هاویژگیسطح ( اول ) گیریتصمیمسطح ( خرا ) های شورترکیب همجوشی بندطبقهسطح ( میانی ) Core آین پژوهش مقدمه مدل های محاسباتی بازشن اسی هیجان مدل های بیولوژی هیجانبازشناسی مد یابیزآروآحیرط ل پیشنهادی جمع بندی و نتیجه گیری
- 11. 11 بازشناسی هیجان چندمدالیتی اول (ویژگی ) میانی ( طبقه )بندی آخر (تصمی )م ترکیب ی LDA PCA KPCA کاهش ابعاد ویژگی انتخاب ویژگی Canonical correlation Analysis رأی گیری سطح اول و آخر همجوشی چندمدالی تی مقدمه مدل های محاسباتی بازشناسی هیجان مدل های بیولوژی بازشناسی هیجان و طراحی مد ارزیابی ل پیشنهادی جمع بندی و نتیجه گیری 11 م بتنی بر کرنل شبکه های عصبی های مدل گرافیکی ترکیب قواعد (Bucak , 2014) Multi Kernel SVM Coupled HMM Multi-Fused HMM Zeng, 2013 مدل همجوشی مراجع MLP Kahou et al. (2015) RNN Chen et al. (2015) MV-LSTM Rajagopalan et al. (2016) Deep Belief Network Zhang et al. (2017) Dynamic Bayesian Network
- 12. مدالیتیچندهیجان بازشناسی - همجوشی 12 ویژگی سطح در همجوشی مزایا ی روش این : روش از استفاده با جداسازی در بهتر قابلیت دیداری و شنیداری های ویژگی بین همبستگی روش این معایب : عدم ها سیگنال که هنگامی روش این از استفاده نیستند همزمان . افزایش کاهش و ها ویژگی بردار ابعاد کارایی تصمیم سطح در همجوشی مزایا ی روش این : که هنگامی روش این از استفاده نیستند همزمان ها سیگنال معایب روش این : های ویژگی بین همبستگی گرفتن نادیده مختلف حسگرهای از ناشی مقدمه دلیل به دو محدودیت اول استراتژی آخر و از استفاده در همجوشی روش با میانی سطح از استفاده عصبی های شبکه مدل های محاسباتی بازشناسی هیجان مدل های بیولوژی بازشناسی هیجان و طراحی مد ارزیابی ل پیشنهادی جمع بندی و نتیجه گیری
- 13. 13 مدالیتیچندهیجان بازشناسی - همجوشی ها چالش : ورودی های سیگنال در هیجان بروز بودن ناهمزمان ها ویژگی بین همبستگی نگرفتن نظر در حل راه : بندی طبقه سطح در همجوشی ویژگی ایجاد برای عمیق عصبی های شبکه از استفاده باالتر سطوح های های مدالیتی از شده گرفته یاد های ویژگی وزنی ترکیب عصبی های شبکه از استفاده با باالتر سطوح در مختلف مقدمه مدل های محاسباتی بازشن اسی هیجان مدل های بیولوژی هیجانبازشناسی مد یابیزآروآحیرط ل پیشنهادی جمع بندی و نتیجه گیری
- 14. هیجان بازشناسی ژیبیولومدل 14 اتبیرمسلسلهپردازشنمایش مغزدر چندمدالیتی مقدمه مدل های محاسباتی بازشناسی هیجان مدل های بیولوژی بازشناس ی هیجان یابیزآروآحیرط مدل پیشنهادی جمع بندی و نتیجه گیری سازوکار از الهام در مغز عصبی اطالعات همجوشی بازشناسی برای هیجان Slavova, et al., “Multi-modal emotion recognition- more cognitive machines,” in New Trends in Intelligent Technologies: International Journal Information Technologies and Knowledge, Vol. 3, 2009.
- 15. مدل یادگیری هیجانی مغز (BEL) 15 15 با در نظر گرفتن (Ath) بدون در نظر گرفتن (Ath) خروجی Amg خروجی OFC به روزرسانی وزن Amg به روزرسانی وزن OFC ورود ی خروجی تاالموس مقدمه مدل های محاسباتی بازشناسی هیجان مدل های بیولوژی بازشناسی هیجان و طراحی ارزیابی مدل پیشنهادی جمع بندی و نتیجه گیری J. Moren, and C. Balkenius, "A Computational Model of Emotional Learning in the Amygdala,“ 2001 max( ) th i A S i i i A SV i i i O SW ( max(0,Re )) i i j j V S w A ' ( Re ) i i W S E w i i i i E A O ' i i i i E A O
- 16. Primary Visual Cortex کورتکس بینایی Primary Audio Cortex کورتکس شنوایی Orbitofrontal Amygdala ادغام اطالعات در سیستم لیمبیک عملیات پیش پردازش بازنمایی ویژگی ها در سطوح باالتر ساختار مدل پیشنهادی مسیر پردازش مسیر بازشناسی هیجان گفتار مسیر بازشناسی حاالت چهره همجوشی بندی طبقه و اطالعات مدل پایه ای BEL مقدمه های مدل محاسباتی بازشناسی هیجان های مدل بیولوژی بازشناسی هیجان و طراحی ارزیابی مدل پیشنهادی جمع بندی و نتیجه گیری 16 ویژگی یادگیری مکان های - زمان هیجان الگوهای الگوهای هیجان
- 17. 16 استفاده از پایگاه داده eNterface’05 برای بازشناسی هیجان چندمدالیتی بازشناسی یک حالت هیجان در هر ویدئو کلیپ بازشناسی هیجان مستقل از گوینده بین داده پایگاه در ویدئو هر مدت طول 2.5 الی 4 است ثانیه بصورت هیجان بازشناسی offline گیرد می صورت مدل پایه ای BEL مبنای استفاده از مدل الهام گرفته شده از سیستم لیمبیک مغز مفروضات تحقیق مقدمه های مدل محاسباتی بازشناسی هیجان های مدل بیولوژی بازشناسی هیجان و طراحی ارزیابی مدل پیشنهادی جمع بندی و نتیجه گیری 17
- 18. مدل پیشنهادی - بازشناسی هیجان گفتار 17 بازشناسی هیجان گفتار با استفاده از مدل BELBLA: استفاده از اتوماتای یادگیر برای بهبود پارامترهای مدل BEL در هنگام آموزش استخراج ویژگی های گفتار : عروضی و MFCC طبقه بند BELBLA (BEL Based Learning Automata) استفاده از اتوماتای یادگیر در گرادیان نزولی هنگام پس انتشار خطا و به روزرسانی وزن ها اتوماتای یادگیر یک مدل قوی یادگیری برای پیش بینی در محیط های پویا و بی - درنگ می باشد و خروجی آن بصورت احتمالی و پیوسته است . 18 مقدمه های مدل محاسباتی بازشناسی هیجان های مدل بیولوژی بازشناسی هیجان و طراحی ارزیابی مدل پیشنهادی جمع بندی و نتیجه گیری
- 19. بازشناسی هیجان گفتار - آموزش مدل BELBLA 18 مدل خطای آموزش الگوریتم : احتمال کنش انتخاب بعدی های وزن روزرسانی به ضریب بهبود با آمیگدال یادگیری نرخ و مومنتوم If MSE(iteration) < MSE(iteration-1) then α = call_LA(0) // β is 0 , پاداش else α = call_LA(1) // β is 1 , جریمه endif 19 مقدمه های مدل محاسباتی بازشناسی هیجان های مدل بیولوژی بازشناسی هیجان و طراحی مدل ارزیابی پ یشنهادی جمع بندی و نتیجه گیری
- 20. بازشناسی هیجان گفتار - مدل BELBLA پایگاه داده صوتی برلین شامل 62 نفر است که هر نفر 7 حالت هیجان پایه ویژگی های استفاده شده میانگین زمان - کوتاه فرکانس گام ، انرژی ، دامنه ، فورمنت ، نرخ عبور از صفر و 12 ضرایب اول MFCC شکل مقایسه سرعت همگرا تعداد مراحل تکرار خطای آموزش جدول ماتریس درهم ریختگی مدل BELBLA 20 مدل پیشنهادی عصبانیت خوشحالی ناراحتی بازشناسی دقت (%) عصبانیت % 68 31 % 0 68.2 % خوشحالی 27 % 63 % 9 % 63.6 % ناراحتی 0 0.8 % 99 % 99 % Precision (%) 71.4 % 66.7 % 91.7 % Acc = 77.3 % مقدمه های مدل محاسباتی بازشناسی هیجان های مدل بیولوژی بازشناسی هیجان و طراحی مدل ارزیابی پ یشنهادی جمع بندی و نتیجه گیری
- 21. 30 35 40 45 50 55 60 65 70 75 80 85 90 95 100 50 100 150 Recognition rate (%) epoch BELBLA BEL MLP 20 بازشناسی هیجان گفتار - مدل BELBLA میانگین دقت بازشناسی برای 3 هیجان با استفاده از طبقه بندهای مختلف Algorithms All Emotions Anger Happiness Sadness MLP 68.7% 69.7% 45.4% 90.9% KNN (k=3) 71.3% 69% 55% 90% SVM 72.6% 68% 60% 90% HMM 74.7% 68% 62% 93% GMM 75.6% 68 % 64% 95% BEL 73.7% 69.7% 54.5% 96.9% BELFIS (parsapoor, 2012) 55% 40% 37.5% 87.5% Motamed et al. (2017) 72.5% 67.5% 52.5% 97.5% BELBLA 77.3% 68.3% 65.7% 98% بازشناسی در مراحل تکرار مختلف 21
- 22. 21 بازشناسی هیجان گفتار از استفاده با CNN تنفر تعجب خوشحالی فرمول خروجی فیلتر مل 10 ( ) 2595log (1 ) 700 HZ mel f f f 22 مقدمه های مدل محاسباتی بازشناسی هیجان های مدل بیولوژی بازشناسی هیجان و طراحی مدل ارزیابی پ یشنهادی جمع بندی و نتیجه گیری 6 مل تصاویر - مختلف های هیجان برای اسپکتروگرام
- 23. بازشناسی هیجان گفتار از استفاده با CNN 22 ساختار الیه های بکار رفته در مدل CNN 23 مقدمه های مدل محاسباتی بازشناسی های مدل بیولوژی بازشناسی و طراحی مدل ارزیابی پ یشنهادی جمع بندی و نتیجه گیری 32 Conv 7×7 Max Pool 2×2 64 Conv 3×3 Max Pool 2×2 128 Conv 3×3 256 Conv 3×3 Max Pool 2×2 Max Pool 2×2 256 Conv 3×3 Max Pool 2×2 Dense 256 J. Donahue et al., “Long-Term Recurrent Convolutional Networks for Visual Recognition and Description,” in IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 39, no. 4, pp. 677-691, April 2017 مدل از استفاده دلیل CNN گفتار هیجان های ویژگی باناظر یادگیری الگوریتم باالتر سطوح در خودکار بطور ویژگی یادگیری الگوریتم CNN در ها ویژگی استخراج برای شده اثبات روش یک ایستا تصاویر های ویژگی بین مکانی ارتباط کردن پیدا در مناسب گفتار
- 24. 24 ماتریس درهم ریختگی بازشناسی هیجان گفتار بر روی پایگاه داده برلین با استفاده از مدل CNN-RNN ناراحت ی خوشحال ی ترس تنفر خستگی عصبانی ت 0 % 4 % 4 % 4 % 0 % 88 % عصبانی ت 0 % 6 % 6 % 0 % 88 % 0 % خستگی 0 % 0 % 2 % 60 % 2 % 0 % تنفر 0 % 7 % 71 % 7 % 7 % 7 % ترس 0 % 37 % 7 % 7 % 13 % 37 % خوشحال ی ناراحت بازشناسی هیجان گفتار از استفاده با CNN مقدمه های مدل محاسباتی بازشناسی هیجان های مدل بیولوژی بازشناسی هیجان و طراحی مدل ارزیابی پ یشنهادی جمع بندی و نتیجه گیری سازی پیاده مل لگاریتم از استفاده - با اسپکتروگرام 96 ضریب اول MFCC پنجره طول 30 همپوشانی زمان طول و ثانیه میلی 10 ثانیه میلی از استفاده zero-padding کمتر ویدئو مدت طول برای از 3 ثانیه
- 25. دقت بازشناسی استخراج ویژگی و نوع طبقه بندی مدل ارائه شده 74.5 % Mel-spectrogram + CNN مدل پیشنهادی با استفاده از CNN 66 % (12-MFCC, pitch, formant, energy, amplitude, ZCR) + BELBLA مدل پیشنهادی با استفاده از BELBLA 65.5 % Spectrogram + CNN Badshah و همکارانش (2017) 71 % Prosody + SVM Mansoorizadeh و همکارانش (2007) مقایسه دقت بازشناسی هیجان گفتار بر روی پایگاه داده برلین مقایسه دقت بازشناسی بازشناسی هیجان گفتار بر روی پایگاه داده برلین بین مدل BELBLA و CNN-RNN 23 25 بازشناسی هیجان گفتار از استفاده با CNN مقدمه های مدل محاسباتی بازشناسی هیجان های مدل بیولوژی بازشناسی هیجان و طراحی مدل ارزیابی پ یشنهادی جمع بندی و نتیجه گیری 0 10 20 30 40 50 60 70 80 90 100 Anger Boredom Disgust Fear Happy Neutral Sad accuracy rate BELBLA melspectrogram+CNN
- 26. پایگاه داده صوتی - تصویری eNterface2005 شامل 43 بازیگر ، 6 هیجان پایه و 5 جمله مختلف و در مجموع 1290 ویدئو کلیپ ماتریس درهم ریختگی بازشناسی هیجان گفتار بر روی پایگاه داده eNterface 26 تعجب ناراحت ی خوشحال ی ترس تنفر عصبانی ت 5 % 3 % 3 % 0 % 7 % 82 % عصبانی ت 10 % 7 % 7 % 10 % 55 % 12 % تنفر 5 % 14 % 14 % 60 % 5 % 2 % ترس 10 % 2 % 69 % 5 % 2 % 12 % خوشحال ی 10 % 71 % 0 % 10 % 5 % 5 % ناراحت ی 63 % 5 % 15 % 2 % 10 % 5 % تعجب بازشناسی هیجان گفتار از استفاده با CNN مقدمه های مدل محاسباتی بازشناسی هیجان های مدل بیولوژی بازشناسی هیجان و طراحی مدل ارزیابی پ یشنهادی جمع بندی و نتیجه گیری
- 27. دقت بازشناسی استخراج ویژگی و طبقه بندی مدل ارائه شده 66.7 % Mel-spectrogram + CNN مدل پیشنهادی ما 43 % prosody, LDA, Kalman filter Mansoorizadeh و همکارانش (2010) 54.9 % Prosody+ MFCC Bejani و همکارانش (2014) 57 % MFCC, HMM Sahoo و همکارانش (2016) 62.7 % Prosody+spectral (602 features) Zhang و همکارانش (2014) 72.9 % MFCC-RASTA-PLP Zhalehpour و همکارانش (2016) مقایسه دقت بازشناسی بازشناسی هیجان گفتار بر روی پایگاه داده eNterface 25 27 دقت بازشناسی و خطای loss به ازای تعداد تکرار مختلف در مرحله آموزش بازشناسی هیجان گفتار از استفاده با CNN مقدمه های مدل محاسباتی بازشناسی هیجان های مدل بیولوژی بازشناسی هیجان و طراحی مدل ارزیابی پ یشنهادی جمع بندی و نتیجه گیری
- 28. بازشناسی حاالت از استفاده با چهره 3D-CNN تصویر خاکستری اصلی Conv1 Pool1 Conv3 دقت بازشناسی تعداد دنباله تصاویر به اندازه 100 × 96 57 % 10 62 % 12 62.5 % 14 مقایسه دقت بازشناسی به ازای تعداد دنباله های مختلف 26 مقدمه های مدل محاسباتی بازشناسی هیجان های مدل بیولوژی بازشناسی هیجان و طراحی مدل ارزیابی پ یشنهادی جمع بندی و نتیجه گیری D. Tran, L. Bourdev, R. Fergus, L. Torresani, and M. Paluri, “Learning spatiotemporal features with 3D convolutional networks,” in IEEE International Conference on Computer Vision (ICCV), 2015. شده استفاده مدل در اول فریم میانی تصاویر شکل شبکه ساختار در تغییر 3D-sport-1M آن دقیق تنظیم و 28
- 29. تعجب ناراحتی خوشحالی ترس تنفر عصبانیت 5 % 10 % 3 % 15 % 2 % 47 % عصبانیت 2 % 5 % 0 % 5 % 86 % 2 % تنفر 10 % 17 % 5 % 55 % 7 % 7 % ترس 10 % 5 % 67 % 5 % 12 % 2 % خوشحالی 10 % 67 % 2 % 14 % 2 % 5 % ناراحتی 44 % 15 % 10 % 17 % 5 % 10 % تعجب 27 ماتریس درهم ریختگی بازشناسی حاالت چهره با استفاده از 3D-CNN بازشناسی حاالت از استفاده با چهره 3D-CNN 29 مقدمه های مدل محاسباتی بازشناسی های مدل بیولوژی بازشناسی و طراحی مدل ارزیابی پ یشنهادی جمع بندی و نتیجه گیری عصبان یت تنفر ترس خوشحا لی ناراح تی تعجب
- 30. مراجع استخراج ویژگی در بازشناسی حاالت چهره دقت بازشناسی Mansoorizadeh و همکارانش ( 2010 ) نقاط برجسته حاالت چهره 37 % Bejani و همکارانش ( 2014 ) QIM 39.27 % Zhalephpour و همکارانش ( 2016 ) LPQ 42.16 % Sahoo و همکارانش ( 2016 ) LBP 45 % مدل پیشنهادی ما 3D-CNN 62 % 28 مقایسه دقت بازشناسی بازشناسی حاالت چهره بر روی پایگاه داده eNterface مقدمه های مدل محاسباتی بازشناسی هیجان های مدل بیولوژی بازشناسی هیجان و طراحی مدل ارزیابی پ یشنهادی جمع بندی و نتیجه گیری 30 بازشناسی حاالت از استفاده با چهره 3D-CNN از استفاده دلیل 3D-CNN زمانی های ویژگی هم همزمان بطور پویا تصاویر در گیرد می یاد را مکانی هم .
- 31. 29 ماتریس درهم ریختگی بازشناسی حاالت چهره با استفاده از CNN-RNN دقت بازشناسی کل : 57 % مقدمه های مدل محاسباتی بازشناسی هیجان های مدل بیولوژی بازشناسی هیجان و طراحی مدل ارزیابی پ یشنهادی جمع بندی و نتیجه گیری 31 بازشناسی حاالت از استفاده با چهره CNN-RNN تعجب ناراحتی خوشحالی ترس تنفر عصبانیت 3 % 10 % 3 % 20 % 10 % 55 % عصبانیت 7 % 5 % 5 % 7 % 67 % 10 % تنفر 10 % 14 % 7 % 55 % 5 % 10 % ترس 14 % 5 % 67 % 2 % 7 % 5 % خوشحالی 17 % 57 % 0 % 17 % 0 % 10 % ناراحتی 46 % 15 % 12 % 12 % 0 % 15 % تعجب
- 32. 30 تی مبتنی بر همجوشی تصمیم با استفاده از روش های ترکیب قواعد مقایسه دقت بازشناسی هیجان دومدالیتی مبتنی بر همجوشی تصمیم با استفاده از طبقه بندهای مختلف مقدمه های مدل محاسباتی بازشناسی هیجان همجوشی در سطح تصمیم گیری های مدل بیولوژی بازشناسی هیجان و طراحی مدل ارزیابی پ یشنهادی جمع بندی و نتیجه گیری 32 هیجان بازشناسی پیشنهادی مدل - تصمیم همجوشی روش انواع قواعد های ترکیب ماکزیم م مینیمم جمع میانگین حاصلضرب هیجان بازشناسی دقت % 68.6 % 71 % 71.4 % 71.4 % 74.3 طبقه بند سطح در هیجان بازشناسی دقت تصمیم BEL % 73.9 MLP % 71.5 SVM % 72.5 KNN % 72
- 33. عصبانیت تنفر ترس خوشحالی ناراحتی تعجب عصبانیت % 82.5 % 3 % 7.5 % 4 % 0 % 2.5 تنفر % 7.1 % 71.4 % 0 % 7.1 % 11.9 % 2.3 ترس % 4.7 % 2.3 % 57.1 % 4.7 % 26 % 4.7 خوشحالی % 7.1 % 7.1 % 2.3 % 73.8 % 2.3 % 7.1 ناراحتی % 2.3 % 0 % 9.5 % 0 % 81 % 7.1 تعجب % 7.1 % 0 % 4.7 % 7.1 % 7.1 % 73.2 33 همجوشی در سطح تصمیم گیری ماتریس درهم ریختگی بازشناسی هیجان دومدالیتی مبتنی بر همجوشی تصمیم روی بر 33 مقدمه های مدل محاسباتی بازشناسی هیجان های مدل بیولوژی بازشناسی هیجان و طراحی مدل ارزیابی پ یشنهادی جمع بندی و نتیجه گیری هیجان بازشناسی پیشنهادی مدل - تصمیم همجوشی
- 34. همجوشی در سطح ویژگی 31 دلیل استفاده از مدل BEL جهت همجوشی و طبقه بندی : دارای مشخصه یادگیری هیجانی و الهام گرفته شده از سیستم لیمبیک دال یل استفاده از مدل اختالط خبره ها مبتنی بر BEL جهت همجوشی : پیچیدگی مسأله و ارتباط غیرخطی ویژگی های گفتار و چهره شواهدی وجود دارد که نورون های رقابتی در مغز از مجموعه ای از اتصاالت برانگیختگی و مهارکننده تشکیل شده . 34 مقدمه های مدل محاسباتی بازشناسی هیجان های مدل بیولوژی بازشناسی هیجان و طراحی مدل ارزیابی پ یشنهادی جمع بندی و نتیجه گیری هیجان بازشناسی اول پیشنهادی مدل - ویژگی همجوشی Fino E, Yuste R, Dense inhibitory connectivity in neocortex. Neuron 69(6):1188–1203, 2011.
- 35. 32 مدل اختالط خبره ها مبتنی بر مدل BEL جی شبکه میانجی مقدار Rew در شبکه میانجی : جی نهایی شبکه هر کدام از خبره ها 35 هیجان بازشناسی پیشنهادی مدل - ویژگی همجوشی
- 36. 33 مدل اختالط خبره ها مبتنی بر مدل BEL 36 هیجان بازشناسی پیشنهادی مدل - ویژگی همجوشی اوربیتوفرانتال و آمیگدال های وزن روزرسانی به ها خبره از کدام هر در اوربیتوفرانتال و آمیگدال های وزن روزرسانی به میانجی شبکه در مقدمه های مدل محاسباتی بازشناسی هیجان های مدل بیولوژی بازشناسی هیجان و طراحی مدل ارزیابی پ یشنهادی جمع بندی و نتیجه گیری
- 37. 37 37 هیجان بازشناسی اول پیشنهادی مدل - ارزیابی تعجب ناراحت ی خوشحال ی ترس تنفر عصبانی ت 2.3 % 0 % 2.3 % 2.3 % 7.1 % 85 % عصبانی ت % 0 4.7 % % 2.3 % 2.3 88.1 % 2.3 % تنفر 2.3 % % 14 % 7.1 73.8 % % 0 2.3 % ترس 4.7 % 2.3 % 78.6 % 4.7 % 2.3 % 7.1 % خوشحال ی 9.5 % 81 % 0 % 9.5 % 0 % 2.3 % ناراحت ی 78 % 7.1 % 7.1 % 4.7 % 0 % 2.3 % تعجب مقدمه های مدل محاسباتی بازشناسی های مدل بیولوژی بازشناسی و طراحی مدل ارزیابی پ یشنهادی جمع بندی و نتیجه گیری درهم ماتریس همجوشی بر مبتنی هیجان بازشناسی ریختگی ویژگی ها با استفاده خبره اختالط مدل از مدل بر مبتنی ها BEL 0% 10% 20% 30% 40% 50% 60% 70% 80% 90% 100% عصبانیت تنفر ترس خوشحالی ناراحتی تعجب بازشناسی دقت هیجان گفتار چهره حاالت مقایسه دقت بازشناسی هیجان از روی حاالت ،چهره هیجان گفتار و همجوشی ویژگی های گفتار و چهره
- 38. 38 بازشناسی دقت طبقه انواع بندها % 78 MLP % 78.7 BEL % 77.9 SVM % 78 Weighted KNN % 71 RBF % 80.0 Mixture of NN % 80.7 Mixture of BEL ( مدل پیشنهادی ) طبقه بین دومدالیتی هیجان بازشناسی دقت مقایسه بندهای مختلف هیجان بازشناسی اول پیشنهادی مدل - ارزیابی مقدمه های مدل محاسباتی بازشناسی هیجان های مدل بیولوژی بازشناسی هیجان و طراحی مدل ارزیابی پ یشنهادی جمع بندی و نتیجه گیری مدل بر مبتنی ها خبره اختالط مدل مزایای BEL یا ماژوالر صورت به شبکه این از استفاده End-to-End در هیجان بازشناسی سیستم مدل BEL و کارامد ،پردازش سرعت و مصرفی حافظه منظر از است مناسب . پارامترهای تعداد Mixture of BEL مدل از کمتر بسیار Mixture of NN
- 39. 39 هیجان بازشناسی دوم پیشنهادی مدل - ها ویژگی همجوشی مقدمه های مدل محاسباتی بازشناسی هیجان های مدل بیولوژی بازشناسی هیجان و طراحی مدل ارزیابی پ یشنهادی جمع بندی و نتیجه گیری 39 3D-CNN دنباله وزنی ترکیب طریق از که است کوتاه زمانی حافظه دارای مکانی ارتباط دنبال به همزمان ،ورودی - است زمانی . شواهدی که دارد وجود مغز از هایی قسمت در ادغام عملیات صورت به سلسله مراتبی از و ابتدا انجام می شود . A. A. Ghazanfar and C. E. Schroeder, "Is neocortex essentially multisensory," Trends in Cognitive Sciences, vol. 10, pp. 278-285, 2006.
- 40. تعجب ناراحتی خوشحالی ترس تنفر عصبانیت % 2.3 0 % % 2.3 % 2.3 % 4.7 % 87.5 عصبانیت 0 % % 2.3 % 2.3 % 4.7 % 90.5 0 % تنفر 0 % % 14 % 4.7 % 76.2 % 2.3 % 2.3 ترس % 4.7 0 % % 81 % 7.1 % 2.3 % 4.7 خوشحالی % 9.5 % 81 0 % % 9.5 0 % 0 % ناراحتی % 75.6 9.5 % % 4.7 % 7.1 0 % % 2.3 تعجب 40 ماتریس درهم ریختگی بازشناسی هیجان دومدالیتی بر اساس مدل پیشنهادی دوم ها ویژگی همجوشی از پس دوم پیشنهادی مدل - ها ویژگی همجوشی تعجب ناراحتی خوشحالی ترس تنفر عصبانیت % 2.3 0 % % 0 % 2.3 % 7.1 % 82 عصبانیت % 2 % 5 % 2 % 7 % 81 % 2.3 تنفر % 14 % 17 % 0 % 60 % 7 % 2.3 ترس % 7 % 2.3 % 74 % 4.7 % 5 % 5 خوشحالی % 12 % 79 0 % % 5 2 % % 2.3 ناراحتی % 61 % 7.1 % 5 % 15 5 % % 7 تعجب مقدمه های مدل محاسباتی بازشناسی های مدل بیولوژی بازشناسی و طراحی مدل ارزیابی پ یشنهادی جمع بندی و نتیجه گیری 40 درهم ماترس هیجان بازشناسی ریختگی دومدالیتی در پیشنهادی مدل سوم مسیر بازشناسی دقت بطور هیجان کلی : 72.8 % بازشناسی دقت بطور هیجان کلی : 81.9 %
- 41. 41 41 دقت بازشناس کل ی دقت بازشناسی حاالت چهره دقت بازشناسی گفتار همجوشی روش منابع 71 % 37 % 43 % ترکیبی همجوشی Mansoorizadeh همکارانش و ( 2010 ) 77.7 % 39.2 % 54.9 % ترکیبی همجوشی Bejani همکارانش و ( 2014 ) 77 % 42.1 % 72.9 % سطح همجوشی تصمیم Zhalehpour همکارانش و ( 2016 ) 77.02 % 45 % 57 % سطح همجوشی تصمیم بر مبتنی قواعد Sahoo همکارانش و ( 2016 ) 67.4 % 44.7 % 62.7 % سطح همجوشی تصمیم حاصلضرب Zhang همکارانش و ( 2014 ) 80.7 % 62 % 66 % اختالط مدل مبتنی ها خبره مدل بر BEL پیشنهادی مدل اول همجوشی مدل مقدمه های مدل محاسباتی بازشناسی هیجان های مدل بیولوژی بازشناسی هیجان و طراحی مدل ارزیابی پ یشنهادی جمع بندی و نتیجه گیری روش سایر با دومدالیتی هیجان بازشناسی در پیشنهادی مدل کارایی مقایسه های داده پایگاه روی بر شده انجام eNterface هیجان بازشناسی اول پیشنهادی مدل - ارزیابی
- 42. 42 مقایسه دقت بازشناسی مدل های پیشنهادی به ازای حاالت مختلف هیجان در پایگاه داده eNterface هیجان بازشناسی پیشنهادی مدل - ارزیابی مقدمه های مدل محاسباتی بازشناسی هیجان های مدل بیولوژی بازشناسی هیجان و طراحی مدل ارزیابی پ یشنهادی جمع بندی و نتیجه گیری مدل های پیشنهادی عصبانی ت تنفر ترس خوشحالی ناراحت ی تعجب دقت بازشناس کل ی گفتار هیجان 82 % 55 % 60 % 69 % 71 % 63 % 66.7 % چهره حاالت 47 % 86 % 55 % 67 % 67 % 44 % 62 % در همجوشی تصمیم 82.5 % 71.4 % 57.1 % 73.8 % 81 % 73.2 % 74 % ویژگی همجوشی - ها ( مدل پیشنهادی اول ) 85 % 88.1 % 73.8 % 78.6 % 81 % 78 % 80.7 % ویژگی همجوشی - ها ( مدل پیشنهادی دوم ) 87.5 % 90.5 % 76.2 % 81 % 81 % 75.6 % 81.9 % Mansoorizadeh و همکارانش ( 2010 ) 73 % 69 % 69 % 70 % 70 % 73 % 71 % Zhalehpour و همکارانش 83.6 % 74.9 % 65.5 % 86.1 % 79.5 % 72.3 % 77 %
- 45. 45 آینده کارهای برای پیشنهادهایی مقدمه های مدل محاسباتی بازشناسی هیجان های مدل بیولوژی بازشناسی هیجان و طراحی مدل ارزیابی پیشنهادی جمع بندی و نتیجه گیری محدودیت اول : در مدل پیشنهادی از کل طول ویدئو پایگاه داده eNterface برای بازنمایی حاالت چهره و هیجان گفتار و همجوشی آنها استفاده شد . ایده اول : ویدئو به قطعاتی بطول ا مثال 2 ثانیه تقسیم شود و در هر ،قطعه همجوشی ویژگی ها انجام شده و با استفاده از شبکه LSTM ارتباط بین قطعات بدست آید . ایده دوم : در مدل پیشنهادی از مدل BEL با ناظر برای همجوشی و طبقه بندی استفاده شد می توان مدل BEL را از طریق یادگیری تقویتی در سیگنال پاداش / جریمه آن بهبود داد . ایده سوم : در مدل پیشنهادی از روش CNN برای بازنمایی ویژگی های هیجان گفتار استفاده شد . ایده
- 46. مقاالت 40 Farhoudi Z., Setayeshi S., Rabiee A., “Using learning automata in brain emotional learning for speech emotion recognition,” Springer, Int J Speech Technol, 2017. Farhoudi Z., Setayeshi S., F. Razazi, S. Rabiee, “Audio-Visual Emotion Recognition with a Brain Emotional Learning Fusion,” submitted in IEEE Transaction on Affective Computing
Hinweis der Redaktion
- QIM = Quantized Iterance of Motion LPQ = local phase quantization LBP = local binary pattern