1. Corso interdipartimentale di Comunicazione, Innovazione, Multimedialità
a.a. 2012/2013 Giustina Sacco Matricola n° 389545

3. Affective Computing | Rosalind Picard 1/19
Fondatrice
dell’Affective Computing Research
Group
all’interno del MIT
 Entrò nel 1991 nel MIT Media Lab, grazie
al quale ebbe un importante
riconoscimento internazionale.
 Ha pubblicato il pluripremiato libro
«Affective computing», con cui ha
inaugurato il nuovo campo di ricerca.
 È leader della tecnologia innovativa, in
grado di progettare calcolatori che
possono generare o influenzare le
emozioni umane.

4. Affective Computing | Terminologia ed evoluzione 2/19
Affective computing
Scienze sociali Scienze informatiche
«Informatica dell’affettività»

5. Affective Computing | Terminologia ed evoluzione 3/19
1988, Picard
I metodi di riconoscimento delle emozioni dei calcolatori sono
simili a quelli umani.
Essi capiscono le emozioni attraverso la voce e i gesti
esattamente come l’uomo, oppure tramite sensori indossabili.
Imparano a capire le preferenze dell’uomo, per poterle
soddisfare.
I computer migliorano le condizioni di vita dell’uomo.
Problema autismo: i computer emotivamente competenti
diventano un grande sostegno nell’esternazione
dell’emotività da parte del soggetto.
Con lo sviluppo della ricerca, si è arrivati
alla creazione di prototipi come Charlie,
emotivamente competente e basato sul
sistema di navigazione satellitare

6. Affective Computing | Riconoscimento informatico
dell’emozione
4/19
Scopo Ottenere un’interazione con la macchina
quanto più naturale possibile
1. Riconoscimento basato sull’elaborazione vocale
2. Riconoscimento basato sulle espressioni facciali
3. Riconoscimento basato sul movimento del corpo
3 tipologie

7. Affective Computing | Riconoscimento informatico
dell’emozione
5/19
Riconoscimento vocale
Attenzione sulle proprietà fonetiche del linguaggio: intensità,
intonazione, velocità di lettura e qualità della voce.
È importante non cosa si dice, ma come viene detto.
Il riconoscimento si compone di tre parti:
 Elaborazione del segnale  digitalizzazione e pre-elaborazione del
potenziale acustico;
 Funzione di calcolo  rileva le caratteristiche essenziali del segnale
acustico rispetto alle emozioni;
 Funzione di classificazione  si riportano su carta le caratteristiche dei
vettori sulle classi di emozioni.

8. Affective Computing | Riconoscimento informatico
dell’emozione
6/19
Riconoscimento facciale
Strategie di rilevamento del volto in base al tipo di input immagine.
Il processo di estrazione delle espressioni facciali rileva la presenza e la
posizione di caratteristiche come naso, occhi, narici bocca ecc.
2 approcci:
 Feature-base approaches  le caratteristiche facciali vengono rilevate e
monitorate, misurando le distanze tra queste;
 Appearence- based approaches  alcune regioni sono trattate come un
tutto e vengono registrati il
movimento e il cambiamento nella
struttura.

9. Affective Computing | Riconoscimento informatico
dell’emozione
7/19
Riconoscimento corporale
Postura del corpo, gesti, movimenti
3 approcci:
 Motion-based  utilizzano direttamente le informazioni del
movimento senza alcuna informazione
strutturale sul corpo fisico;
 Appearence- based  basato su due dati dimensionali come
colore/scala grigi;
 Model-based  modellazione delle parti del corpo.

10. Affective Computing | Applicazioni dell’affettività 8/19
Applicazioni tramite :
 sistemi robotici
Robot da intrattenimento
pensati come giocattoli, controllabili a
distanza e programmati per eseguire una
serie di azioni. Sono creati sotto forma di
animali. Affinché risultino interessanti dal
punto di vista dell’utente sono stati dotati di
riconoscimento emotivo.
Un prototipo è il Sony AIBO.

11. Affective Computing | Applicazioni dell’affettività 9/19
 computer games
giochi emotivamente reattivi
gli ostacoli presenti nei giochi si superano
attraverso le emozioni positive o negative.
Vengono esaminati gli elementi emotivi
del discorso del giocatore attraverso
sistemi di riconoscimento delle emozioni,
influenzando il comportamento del
personaggio nel gioco.

12. Emotion ML| Evoluzione del linguaggio 10/19
Emotion Markup Language
Progettato dall’Emotion Incubator Group con lo scopo di essere
utilizzato in contesti e applicazioni diversi, adattabile alle diverse
teorie dell’emozione.
I concetti e le descrizioni delle scienze affettive vengono rese
disponibili per l’uso in contesti tecnologici.
È possibile trattare con una vasta gamma di stati emotivi

13. Emotion ML| Campi di applicazione 11/19
Differenti campi di applicazione:
 Opinion mining and sentiment analysis in Web
2.0, monitoraggio del comportamento dell’utente
nelle tecnologie del web come i blog;
 Affective monitoring, monitoraggio affettivo in
applicazioni;
 Character design, controllo per i giochi e i mondi
virtuali;
 Social robot, come robot di guida che coinvolgono
i visitatori;
 Supporto per le persone portatrici di disabilità;
 Realizzazione del contesto emotivo.

14. Emotion ML| Elementi 12/19
2 categorie
«Must have» «Should have»
Elementi principali:
 <category>
 <dimension>
 <appraisal>
 <action –tendency>
Meta-information:
 Confidence
 Expressed-through
 Info

15. Emotion ML| Elementi 13/19
Elementi principali
 <category>
Descrive uno stato emotivo utilizzando appunto
la categoria. È necessario e obbligatorio, poiché
deve esplicitare il nome della categoria.
 <dimension> È adoperato per descrivere uno stato affettivo
secondo il vocabolario delle dimensioni di
un’emozione.
 <appraisal> Descrive l’emozione in termini di valutazione
 <action-tendency> Descrive degli stati affettivi secondo il
vocabolario delle tendenze d’azione

16. Emotion ML| Elementi 14/19
Meta-information
 Confidence indica il grado di affidabilità che ci si aspetta
dalla parte di annotazione a cui è legato.
 Expressed-through definisce la modalità attraverso cui
un’emozione viene espressa.
 Info
può essere utilizzato per annotare metadati arbitrari
e può contenere strutture XML.

17. Emotion ML| Vocabolario delle emozioni 15/19
Gli elementi principali, per poter rispondere correttamente ai comandi, devono
essere riferiti a uno o più vocabolari per rappresentare le emozioni e gli stati
collegati ad esse.
Il vocabolario viene allegato nelle singole annotazioni.
<category>
 «Big six» di Ekman;
 «Everyday emotion
vocabulary» di Cowie;
 «OCC», di Ortony, Clore,
Collins;
 «FSRE», di Fontaine, Scherer,
Roesch, Ellsworth;
 «Frijda», di Frijda.
<dimension>
 «Mehrabian's PAD»;
 «FSRE»;
 «Intensity».
<appraisal>
 «OCC»;
 «Scherer» di Scherer;
 «EMA» di Gratch e
Marsella.

18. Esempi applicativi
Emotion ML
16/19
Generazione di comportamento
di un sistema di emozioni correlate
Generazione del comportamento di un robot (W3C)
Tag di apertura
1° elemento
2° elemento
3° elemento
4° elemento
5° elemento
Tag di chiusura
Configurazione
dello stato
globale: forte
eccitazione con un
potere limitato di
influenzare la
situazione
Tendenze di
azione del robot:
predomina la
volontà di
ricaricare la
batteria
Individuazione e
valutazione di un
ostacolo
indesiderato:
imprevedibilità e
sgradevolezza
Generazione del
comportamento:
frustrazione con
espressione facciale
<emotionml xmlns="http://www.w3.org/2009/10/emotionml"
xmlns:meta="http://www.example.com/metadata">
<info>
<meta:name>robbie the robot example</meta:name>
</info>
<!-- Robot's current global state configuration: negative, active, powerless -->
<emotion dimension-set="http://www.w3.org/TR/emotion-voc/xml#pad-dimensions">
<dimension name="pleasure" value="0.2"/>
<dimension name="arousal" value="0.8"/>
<dimension name="dominance" value="0.3"/>
</emotion>
<!-- Robot's action tendencies: want to recharge -->
<emotion action-tendency-set="http://www.example.com/custom/action/robot.xml">
<action-tendency name="charge-battery" value="0.9"/>
<action-tendency name="seek-shelter" value="0.7"/>
<action-tendency name="pickup-boxes" value="0.1"/>
</emotion>
<!-- Appraised value of incoming event: obstacle detected, appraised as novel and unpleasant -->
<emotion appraisal-set="http://www.w3.org/TR/emotion-voc/xml#scherer-appraisals">
<appraisal name="suddenness" value="0.8" confidence="0.4"/>
<appraisal name="intrinsic-pleasantness" value="0.2" confidence="0.8"/>
<reference role="triggeredBy" uri="file:scannerdata.xml#obstacle27"/>
</emotion>
<!-- Robot's planned facial gestures: will frown -->
<emotion category-set="http://www.example.com/custom/robot-emotions.xml"
expressed-through="face">
<category name="frustration"/>
<reference role="expressedBy" uri="file:behavior-repository.xml#frown"/>
</emotion>
</emotionml>

19. Esempi applicativi
Emotion ML
17/19Generazione di comportamento
di un sistema di emozioni correlate
Tag di apertura
2° elemento
3° elemento
Tag di chiusura
Generazione del comportamento di un robot – Elaborazione personale
4° elemento
5° elemento
0
1° elemento
Stato attuale del
robot: senso di
tristezza e di rabbia
molto elevati.
Tendenze di azione:
prevale la volontà di
superare l’ostacolo
incontrato , piuttosto
che le altre due
azioni
<emotionml xmlns="http://www.w3.org/2009/10/emotionml"
<info>
<meta:name> Robbie, esempio n°2 </meta:name>
</info>
<!—-Stato attuale del robot-->
<emotion dimension-set="../emotion-voc/xml#new_dimensions">
<dimension name="tristezza" value="0.9"/>
<dimension name="soddisfazione" value="0.1"/>
<dimension name="rabbia" value="0.7"/>
</emotion>
<!—-Tendenze di azione di Robbie, in relazione allo stato attuale-->
<emotion action-tendency-set="../emotion-voc/action-robbie.xml">
<action-tendency name="tornare-indietro" value="0.2"/>
<action-tendency name="superare-ostacolo" value="0.9"/>
<action-tendency name="esaurire-batteria" value="0.1"/>
</emotion>
<!—-Valutazione della strategia per superare l’ostacolo -->
<emotion appraisal-set="../emotion-voc/xml#new_appraisals">
<appraisal name="difficolta" value="0.2" confidence="0.3"/>
<appraisal name="comfort" value="0.8" confidence="0.8"/>
<appraisal name="praticita" value="0.9" confidence="0.7"/>
</emotion>
<!—-Generazione del comportamento espresso attraverso voce -->
<emotion category-set="../emotion-voc/emozioni-di-robbie.xml"
expressed-through="voice">
<category name="felicita" value="0.9"/>
“Evviva! Ho superato l’ostacolo!”
</emotion>
</emotionml>
Valutazione della
strategia: Robbie
stima la difficoltà, il
comfort e la praticità
della strategia da
mettere in atto.
Comportamento
finale: è generata
l’emozione di felicità
espressa attraverso
voce.

20. Affective Computing| Conclusione 18/19
Il computer riconosce ed esprime
effettivamente le emozioni umane.
Realizzazione di calcolatori
emotivamente competenti.
L’Emotion ML come valida
tecnologia
per concretizzare e mettere in
pratica i
concetti sviluppati dall’Affective
Computing.
Vantaggi Svantaggi
I calcolatori emotivamente
competenti potrebbero essere un
peso nella vita quotidiana dell’uomo.
Indagherebbero costantemente sulla sfera
emotiva dell’uomo, anche nei casi in cui questi
non voglia manifestare il proprio stato emotivo.
Invasione dell’interiorità umana.

21. Affective Computing| Conclusione 19/19
Sfruttare le opportunità dell’Affective Computing in modo
socialmente responsabile, nei casi di effettiva utilità:
soggetti autistici e soggetti con disturbi di manifestazione
dell’emotività.
Possibile soluzione