2010 accueils vocaux_langage_naturel

Introduction aux services
vocaux en langage naturel
Ariane Nabeth-Halber

CONCEPTIONPROJETPROCESS page 2page 2page 2page 2page 2TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE page 2
Sommaire
Les spécificités des services vocaux en langage naturelLes spécificités des services vocaux en langage naturel
• Le dialogue
• le schéma fonctionnel
• La technologie
• Les ressources et process
• La gestion de projet
La conception des servicesLa conception des services

Sommaire
• Le dialogue
• La technologie

Spécificités - Dialogue
Spécificités du dialogue :
• Ce que dit le système
• Ce que disent les appelants
• Ce que comprend le système
DIALOGUEDIALOGUE

Dialogue – Messages
Ce que dit le système
Phrasé de l’accueil ou de la question, dit « ouvert »
Approche Langage Naturel Approche Classique (grammaires)
« que puis-je faire pour vous? »
« dites le nom du service qui vous intéresse parmi
les suivants : .. »
« énoncez le motif de votre appel »
« pour obtenir … dites "Contrat", pour … dites
"Service Technique", ... »
« quel est le modèle de votre téléphone? »
« (1) quel est la marque de votre téléphone? / (2)
choisissez à présent le modèle parmi les suivants :
...»
« désirez vous A, B, C, ou un autre service..?»
« désirez vous A, B, ou C? sinon, dites autre
service.»
DIALOGUE

Dialogue – Réponses acceptées
Ce que disent les appelants
• Variété des expressions acceptées
• Dialogue à « initiative mixte »
« ce midi j'ai voulu retirer de l'argent au
distributeur et ma carte a été avalée » « agence! / autre service! / service carte! »
« c'est pour une simulation de prêt immobilier» « prêt immobilier »
« un Nokia euh modèle e71 je crois» « Nokia »
« non c'est pour déclarer un sinistre» « autre service »
DIALOGUE

Dialogue – Interprétation
Ce que comprend le système
• Nombre des catégories « sémantiques »
• Niveau d’indépendance des informations sémantiques
extraites
accueil routage --> 20 à 100 classes de motifs
en 1 étape (quelques classes de motifs en 2 étapes si
désambiguisation nécessaire)
accueil routage --> 10 à 20 classes de motifs
en 2 à 3 étapes
remplissage "formulaire" --> recueillir toutes les
infos en 1 étape
questions "formulaire" --> généralement guidé
en N étapes
confirmation - correction --> en 1 étape confirmation - correction --> en 3 étapes
DIALOGUE

Sommaire
• Le dialogue
• La technologie

Spécificités – Fonctionnel
Schéma fonctionnel
• Moins structuré, moins arborescent
• Plus déclaratif
 i.e table 150 motifs  15 destinations de transfert d’appel
FONCTIONNEL

Sommaire
• Le dialogue
• La technologie

Spécificités - Technologie
Deux technologies requises :
• La technologie utilisée pour guider la reconnaissance
vocale
 Modèle de langage statistique (SLM)
• Les technologies utilisées pour extraire une interprétation
 Extraction de mots clefs
 Parsing Robuste
 Modèles sémantiques statistiques (SSM)
 Appel à d’autres algorithmes de traitement du langage
TECHNOLOGIES

Spécificités - Technologie
Chaine de traitement pour le Langage Naturel
Grammaire Slots sémantiques de la grammaire
(calculés via ECMAScript ou autre,
en même temps que la reconnaissance vocale
aligne l’énoncé avec la grammaire)
Approche classique :
TECHNOLOGIES

Technologies – SLM vs grammaire
1.end-pointing
2. extraction de
vecteurs de
paramètres
y1
y2
..
yn
Phonème inconnu Y
PhonèmeX
3. Alignement
acoustico-
phonétique
le 24 Janvier 2009
5. Séquence de mots
reconnus /
interprétation
<date : [
<day : 24>
<month : 1>
<year : 2009>
]
> le 24
Janvier
2009
4. contraintes
linguistiques :
grammaire ou SLM
TECHNOLOGIES

CONCEPTIONPROJETPROCESS page 14page 14page 14page 14page 14TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE
Contraindre les suites de mots possibles…
et donc les séquences possibles de phonèmes …
et donc les séquences possibles de réalisations sonores
Technologies – SLM vs. grammaire
Le rôle de la grammaire ou du modèle de langage
TECHNOLOGIES

Source : F. Yvon, U. Paris 11
TECHNOLOGIES

Exemples
Confirmation
( ?@hes@~.01
[
Sub_PHRASE_OUI { return("oui") }
Sub_PHRASE_NON { return("non") }
]
)
Sub_PHRASE_OUI
[ (?Sub_OUI Sub_C_EST_CA ?(en effet) )
(Sub_OUI ?Sub_ADV_OUI
)
]
Sub_C_EST_CA
( c'est [
(?bien ça)
(tout à fait ça) ]
)
Sub_OUI
[ oui
(oui oui)
ouai
]
GRAM…
SLM
Grammaire Modèle de langage
TECHNOLOGIES

Convergences
• Un SLM peut être vu comme une règle de grammaire
particulière, et inséré dans une grammaire
• Des grammaires peuvent être « insérées » dans un
modèle de langage pour définir des classes d’item et
améliorer la représentativité du corpus
• Une question ouverte (« quel est le motif de votre
appel? ») utilisant un SLM peut être suivie d’une question
plus précise (« connaissez-vous oui, ou non, votre numéro
de compte et votre code confidentiel? ») utilisant une
grammaire classique
TECHNOLOGIES

Technologies - Interprétation
Problématique
• La grammaire qui guide la reconnaissance vocale possède
la structure de la phrase ainsi que tous les éléments
sémantiques associés
• Le SLM sert à évaluer les suites de mots les plus
probables, mais
• ne possède aucune connaissance structurée ni aucune
connaissance sémantique sur les suites de mots
« reconnues »
• Les suites de mots « reconnues » présentent une grande
variété, ne sont pas forcément grammaticalement correctes,
ni exemptes d’erreurs (mots insérés, confondus ou
supprimés)
• Il faut donc ajouter une étape de traitement spécifique,
combinée à une couche de connaissance, pour analyser
les suites de mots reconnues et en extraire un sens
TECHNOLOGIES

Technologies - Interprétation
Technologies utilisées pour extraire une interprétation
• Extraction de mots clefs
• Elaboration de règles de pattern-matching
• Parsing Robuste
• Modèles sémantiques statistiques (SSM)
• Appel à d’autres algorithmes de traitement du langage
TECHNOLOGIES

Conception du modèle d’interprétation
Cas typiques de choix de modèles
Appariement vers un petit nombre de catégories
• Soit SSM
• Soit modèle par règles (pattern matching ou robust parsing)
Appariement vers un grand nombre de catégories
• Soit SSM (attention au besoin de données)
• Soit modèle par règles (attention effort expert important)
Extraction d’informations précises
• Soit définir des règles (pattern matching ou robust parsing)
• Soit entraîner plusieurs SSM (un par slot)
• Soit utiliser des algorithmes TALN existant (si possible spécialisés
dans le domaine)
Attention grande disparité des outils proposés par les éditeurs
TECHNOLOGIES

Sommaire
• Le dialogue
• La technologie

Spécificités – Ressources & Process
Ressources spécifiques :
Des données, des données, des données…
• Corpus de texte pour le SLM (en général énoncés enregistrés
et transcrits)
• Corpus de texte annoté pour le SSM (enoncés enregistrés,
transcrits et étiquetés avec un sens et/ou une catégorie et/ou
une destination de transfert, un type d’action..) utile aussi pour
évaluer les techniques d’interprétation autres que SSM, mais requérant alors
un volume moins important de données
Et des équipes capables de traiter ces données…
Process spécifiques :
Recueil et préparation des données
• Il faut des données issues du système avant que le système
soit construit!  WOZ, bootstrap…
Apprentissages, évaluation et révision des modèles
PROCESS

Sommaire
• Le dialogue
• La technologie

Spécificités – Projet
Spécificités impactant la gestion de projet et le cycle de vie de
l’application
• Effort technique important à occurrence « chronique » (à
chaque ré-apprentissage de modèle)
• Délais incompressibles de recueil de données
• Si démarrage sur une clientèle pilote, attention au délai pour
recueillir suffisamment d’enoncés pour le premier apprentissage
de modèle
• Sensibilité extrême au phrasé initial choisi pour les messages
• Changer la phrase d’accueil en cours de projet nécessite a priori
de relancer tout le process de recueil/apprentissage
• Nécessité de placer les utilisateurs face au système final
avant de l’avoir élaboré !
• Démarrage avec un magicien d’Oz ou un système de bootstrap
• Procédure par étapes pour atteindre une forme mature du SLM
PROJET

Sommaire
• Le dialogue
• La technologie
CONCEPTION

Gestion de Projet - général
Tout d’abord obéit aux règles générales de conception de tout
service vocal
Définition des besoins
Besoins MOA & besoins publics cibles
Définir les objectifs
Conception
Fonctionnalités
Persona, terminologie, habillage sonore…
Spécifications de dialogue
Implémentation
Dev Application + connecteurs SI + Architecture
technique
Tests et Recettes
Tests unitaires développeurs + Campagne de test
interne
Déploiement
Communication, accompagnement…
Supervision & Tuning
Stats appli
Recueil de logs et d’audio
Transcriptions et tuning
Recueil des impressions terrain (utilisateurs ou personnes en contact avec utilisateurs)
page 27page 27page 27page 27page 27page 27CONCEPTION

Gestion de Projet - planning
Planning typique lang-nat : collectes et bootstrap
CONCEPTION

Gestion de projet - Etapes
Etude de cas : Mise en place d’un accueil-routage
• Etape 1a : choix initiaux
• Etape 1b : références établies par le Client
• Etape 1c : conception du dialogue
• Etape 2 : mise en place du système de recueil initial
• Etape 3 : recueil des données
• Etape 4 : apprentissage du premier SLM et du premier
modèle d’interprétation
• Etape 5 : lancement du système automatisé « v1.0 »
• Etapes suivantes : cycle 3-4-5 reproduits une ou plusieurs
fois pour évaluer-améliorer les performances / suivre les
changements d’usage

Etape 1a : choix fonctionnels & techniques
Choix spécifiques lang-nat:
• Où mettre de la lang-nat ?
• Déterminer parties de dialogue nécessitant LN, et parties gérées plus
efficacement avec grammaires classiques
• Quelle est l’interprétation visée?
• Selon besoin fonctionnel
• exemple accueil-routage, étiquette globale « motif d’appel »
• exemple helpdesk technique, étiquette + slots pour capturer nature du
problème, de l’applicatif etc.
• Comment initier le recueil de données ?
• Choix entre WOZ ou système de bootstrap, ou combinaison des
deux (via centre d’appel existant et « whispering »)
• Étape clef, attention à la stabilité du phrasé des questions LN
• Comment définir la mouture zéro du modèle statistique ?
• Modèle vide  approche WOZ
• à partir d’une grammaire « experte »
• À partir d’un corpus approchant
CONCEPTION

Etape 1b : Les références
Références :
• Motifs d’appels
• Énoncés typiques associés
• Destination associée
• Classes de motifs
Points d’attention :
• Requiert expertise métier et connaissance terrain
• Utiliser toutes les sources dispo (centre d’appel, agences,
analystes…)
• Prévoir évolutions futures : séparer énonciations et noms
de produit (utile aussi à performances SLM)
CONCEPTION

Etape 1c : conception dialogue
Flux de dialogue :
• phrasé accueil initial (définitif!)
Que puis-je faire pour vous?
Quel est le motif de votre appel?
Formulez simplement le motif de votre appel
…
• relance / exemple suggéré en cas de « no-input » (privilégier un
exemple unique)
Dites par exemple « je voudrais modifier mon contrat »
Merci d’énoncer un motif, par exemple « modifier mon contrat »
…
• formulation en retour de reco (pas trop spécifique)
Entendu, je vous mets en relation…
Je vous mets en relation avec le service des contrats
Une demande concernant votre contrat, entendu, je vous mets en relation
…
• dialogues de sous-qualifications, désambigüisations ou filtrage
(grammaires classiques)
Un prêt entendu, est-ce un prêt habitat, un prêt personnel ou un prêt voiture?
Dans ce cas, connaissez-vous, oui ou non, votre identifiant et votre code confidentiel?
Entendu, êtes-vous déjà clients chez nous?
CONCEPTION

Etape 2 : Système initial
Système mis en place pour le 1er
recueil de données :
• WOZ
• Système à base de grammaires classiques ou SLM appris
sur corpus artificiel ou approchant
• Hybride : système pouvant transférer vers téléconseiller
avec ou sans « whispering »
• Faire levier des infrastructures et compétences existantes
• Sans les saturer
• en assurant la satisfaction client
CONCEPTION

Etape 3 : recueil de données
Recueil de données :
• Supervision stats et quali
• Volume de données à évaluer en fonction de complexité
de SLM et d’interprétation
• Possibilité de démarrer la transcription en parallèle
• ATTENTION transcription ≠ étiquetage
• Si possible faire faire étiquetage par le Client (compétences
métier)
CONCEPTION

Etape 4 – appentissage SLM
SLM – définition
• Généralement modèle « bigram »
P(<s> ma carte est restée bloquée </s>) =
P(ma | <s>) * P(carte | ma) * P(est | carte) * P(restée | est) *
P(bloquée | restée) * P(</s> | bloquée)
• Modèle « trigram » uniquement pour les très gros corpus
P(<s> ma carte est restée bloquée </s>) =
P(ma | <s>) * P(carte | <s> ma) * P(est | ma carte) * P(restée | carte
est) * P(bloquée | est restée) * P(</s> | restée bloquée)
• Comment se présente un SLM?
• Liste de paramètres pour estimer les probabilités = décomptes
statistiques pour les « unigrams », « bigrams », « trigrams »..
• ATTENTION pour un vocabulaire de 1000 mots
•  1 Million de bigrams et 1000 Millions de trigrams à estimer
CONCEPTION

Difficultés – jamais assez de données
Problème de représentativité du corpus
Problème des singletons et des évènements non-observés
(dits « fantôme ») et des mots hors-vocabulaire (OOV)
Statistiques sur corpus journalistique WSJ
CONCEPTION

Difficultés – jamais assez de données
Loi de Zipf
Fréquence * Rang = Constante
 Un petit nombre d’évènements distincts apparaissant dans le corpus avec
une fréquence très élevée
 Un grand nombre d’évènements distincts apparaissant dans le corpus
avec une fréquence très faible
CONCEPTION

Contournements
Pour maximiser la représentativité du
corpus:
Normaliser le corpus
• Orthographe, majuscules,
chiffres, formes phonétiques…
Définir des Classes d’équivalence
• Noms de ville, noms de produits
etc.
• Ajouter éventuellement des
variantes et synonymes
• Externaliser dans des règles de
grammaire
Limiter la taille du vocabulaire (et
utiliser une étiquette OOV)
Pour optimiser le SLM:
Lissage des décomptes statistiques
Optimisation des paramètres choisis
via des évaluations
systématiques du modèle produit
CONCEPTION

Evaluation d’un SLM
Principe général
Séparer corpus d’apprentissage et corpus d’évaluation
Soit un découpage fixe, par exemple 85%-15%
Soit des découpages « tournant » (avec « held-out data »)
 Pour éviter effet de « sur-apprentissage » et sous-estimation des
OOV, phénomènes fantômes etc.
Evaluation par erreur de reco (WER)
Idéal
Mais peut-être difficile et/ou long à réaliser
Evaluation par « Perplexité »
Très rapide à calculer
Donne une idée du « facteur de branchement », i.e du nombre de
mots équiprobables « prédits » par le modèle après un mot
donné
Le meilleurs modèle est celui avec la perplexité la plus basse
CONCEPTION

Process technique SLM
•Processing steps
–Collection and cleaning
–Normalization, define words, select vocabulary
–Counting and model parameter estimation (Outils)
–Evaluation with PP and WER
•Outils éditeurs :
–Nuance NL tools (pour SLM, SSM et robust parsing)
–Telispeech Natural Language Tool Kit (NLTK, pour SLM,
et en partie robust parsing)
•Outils académiques les plus utilisés (SLM):
–SRILM
–CMU-Cambridge
CONCEPTION

Etapes 5+ : lancement, ré-entraînements &
évolutions
Lancement
Communication interne / externe
Supervision…
Types de ré-entraînements
• rapprochés pour bootstrap
collecter 50k enoncés en 3 X 17k énoncés
économise la ressource humaine de 1ère
collecte
converge vers système automatique cible
• plus espacés pour améliorations / suivi des usages /
modification de l’accueil (rare)
Evolutions
évolutions fonctionnelles possibles sans modification de la
question LN (très générique)
• Typiquement : ajout de destinations de routage
• Impact sur l’organisation du centre d’appel, des agences…
CONCEPTION

SIGLES
ASR automatic speech recognition
LN langage naturel
NLTK natural language toolkit
PP perplexité
SSM statistical semantic model
SLM statistical language model
TALN traitement du langage naturel
OOV out of vocabulary (mot hors vocabulaire)
WER word error rate (taux d’erreur de reconnaissance de mot)
WOZ wizard of Oz (magicien d’Oz, système derrière lequel se cache un humain)
CONCEPTION

CONCEPTIONPROJETPROCESS page 43page 43page 43page 43page 43TECHNOLOGIESFONCTIONNELDIALOGUESOMMAIRE
ariane.nabeth@hotline.fr

2010 accueils vocaux_langage_naturel

Empfohlen

Empfohlen

Weitere ähnliche Inhalte

Andere mochten auch

Andere mochten auch (18)

Ähnlich wie 2010 accueils vocaux_langage_naturel

Ähnlich wie 2010 accueils vocaux_langage_naturel (20)

2010 accueils vocaux_langage_naturel