SlideShare ist ein Scribd-Unternehmen logo
1 von 33
Downloaden Sie, um offline zu lesen
Analyse des performances de
modèles de langage sub-lexicale
pour des langues peu-dotées à
morphologie riche

     Hadrien Gelas1,2, Solomon Teferra Abate2,
      Laurent Besacier2, François Pellegrino1
  1Laboratoire  DDL, CNRS - Université de Lyon, France
 2LIG, CNRS - Université Joseph Fourier Grenoble, France
Introduction                  Résultats


     1             2            3
               Segmentation
                des données
                 textuelles
Introduction


1
Amharique


Langue
Sémitique


333
Swahili


Langue
Bantu



333
Reconnaissance
          Automatique de la
               Parole (RAP)
"
                        Dictionnaire
      Modèles
                   r   prononciation   r    Modèles
     acoustiques
                   l                   l   de langage




                                                    J   Sorties
                                                         texte
Ressources en RAP
"
                        Dictionnaire
      Modèles
                   r   prononciation   r    Modèles
     acoustiques
                   l                   l   de langage




AMH : 20h de parole lue
SWH : 2h30 de parole lue
+ 10h de broadcast news
                                                    J   Sorties
                                                         texte
Ressources en RAP
"
                        Dictionnaire
      Modèles
                   r   prononciation   r    Modèles
     acoustiques
                   l                   l   de langage




65k mots les plus fréquents
pour les 2 langues
                                                    J   Sorties
                                                         texte
Ressources en RAP
"
                        Dictionnaire
      Modèles
                   r   prononciation   r    Modèles
     acoustiques
                   l                   l   de langage




AMH : 2.3M de mots
SWH : 28M de mots
                                                    J   Sorties
                                                         texte
Amharique et swahili


   Morphologie riche
Morphologie Riche
en swahili
English   They will not tell you
Morphologie Riche
en swahili
English   They will not tell you

Swahili   hawatakuambieni
Morphologie Riche
en swahili
English   They will not tell you

Swahili   hawatakuambieni

Segm.     ha-wa-ta-ku-ambi-e-ni

Gloss     NEG-SM2-FUT-OM2-tell-FIN-PL
Morphologie Riche
et RAP [Creutz et al., 2007]
Morphologie Riche
et RAP

        Faible couverture lexicale
        OOV% élevé	
  



3	
     Segmentation des mots en
        sous-unités !
Segmentation des
données
     3 approches et
     3 étiquetages


 2
Approche #1
Approche non-supervisée
(Morfessor), guidée par les
données.

  liste de mots
                  3	
     liste de morphes
Approche #2
Approche supervisée, nécessite un
corpus d’apprentissage
manuellement segmenté.

  liste de mots
                  3	
  
                      liste de morphèmes
Approche #3
Découpage en syllabe à partir de
règles suivant les contraintes
phonologiques et structurelles des
langues respectives

    liste de mots
                    3	
  
                        liste de syllabes
Ressources en RAP
"
                        Dictionnaire
      Modèles
                   r   prononciation   r    Modèles
     acoustiques
                   l                   l   de langage




On apprend des modèles de
langage à partir des corpus
segmentés en sous-unités
                                                    J   Sorties
                                                         texte
Ressources en RAP
"
                        Dictionnaire
      Modèles
                   r   prononciation   r    Modèles
     acoustiques
                   l                   l   de langage




Nécessite de reconstruire les
sorties au niveau mot !                             J   Sorties
                                                         texte
Etiquetage #1
_AFX : Une frontière (MB) est a joutée
à la gauche (ou droite) de la
segmentation laissant la « racine »
isolé.

      ki tabu   3	
  kiMB tabu 3	
  kitabu
Etiquetage #2
_ALL : Une frontière (MB) est a joutée
de chaque côté de la segmentation.
Distinguant ainsi chaque racine par
sa position (ROOT, MBROOT, ROOTMB,
MBROOTMB)

     ki tabu   3	
  kiMB MBtabu 3	
  kitabu
Etiquetage #3
_POS : Pour les syllabes, nous avons
a joutés à la syllabe la position de la
syllabe dans le mot.

    ki ta bu   3	
     1ki 2ta 3bu       kitabu
                                     3	
  
Résultats (WER)
"
                        Dictionnaire
      Modèles
                   r   prononciation   r    Modèles
     acoustiques
                   l                   l   de langage




 3                                                  J   Sorties
                                                         texte
Résultats swahili (WER)
Résultats amharique (WER)
Résultats (OOV %)
Conclusion
RAP : langues à morphologie riche

        Mots 3	
  
                Sous-unités
      = Amélioration du WER%
      = Amélioration du OOV%

   Si segmentation appropriée !
Récapitulatif
Influence sur performances =
3 paramètres

#1 : Longueur couverte par n-gram
             si suffisante…
#2 : Couverture lexicale
             si suffisante…
#3 : Précision des contextes
Merci!

   hadrien.gelas@univ-lyon2.fr

   solomon_teferra_7@yahoo.com

   laurent.besacier@imag.fr

   francois.pellegrino@univ-lyon2.fr
Résultats swahili (TYPE OOV %)


  19.17



             12.46
                         10.28      11.36


                                                1.61
 Word-65k   Word-200k   Word-400k   Morf-65k   Morf-200k
Comparaison – swahili
approches et étiquetages

Weitere ähnliche Inhalte

Andere mochten auch

Atelier 1_Google adresse_OT Bergerac
Atelier 1_Google adresse_OT BergeracAtelier 1_Google adresse_OT Bergerac
Atelier 1_Google adresse_OT BergeracPays de Bergerac
 
Présentation du référencement social
Présentation du référencement socialPrésentation du référencement social
Présentation du référencement socialYoann Aubeuf-Hacquin
 
Café numérique réseaux sociaux
Café numérique réseaux sociauxCafé numérique réseaux sociaux
Café numérique réseaux sociauxPays de Bergerac
 
Sondage salaires 2013 - Designers interactifs
Sondage salaires 2013 - Designers interactifsSondage salaires 2013 - Designers interactifs
Sondage salaires 2013 - Designers interactifsyann le gigan
 
Newsletter #23 - Le Hibou Agence .V. du 5 octobre 2012
Newsletter #23 - Le Hibou Agence .V. du 5 octobre 2012Newsletter #23 - Le Hibou Agence .V. du 5 octobre 2012
Newsletter #23 - Le Hibou Agence .V. du 5 octobre 2012Le Hibou
 
“La Inspección de Educación en los proyectos internacionales” Ana Carmen del ...
“La Inspección de Educación en los proyectos internacionales” Ana Carmen del ...“La Inspección de Educación en los proyectos internacionales” Ana Carmen del ...
“La Inspección de Educación en los proyectos internacionales” Ana Carmen del ...INTEF
 
Témoignage Collaboratif distributeurs/ Industriel - Tirez profits de vos donn...
Témoignage Collaboratif distributeurs/ Industriel - Tirez profits de vos donn...Témoignage Collaboratif distributeurs/ Industriel - Tirez profits de vos donn...
Témoignage Collaboratif distributeurs/ Industriel - Tirez profits de vos donn...Qualiméditerranée
 
trabajo practico
trabajo practicotrabajo practico
trabajo practicodaianasoro
 
Réunion handitourisme du 9 octobre 2012 à Samoëns
Réunion handitourisme du 9 octobre 2012 à SamoënsRéunion handitourisme du 9 octobre 2012 à Samoëns
Réunion handitourisme du 9 octobre 2012 à Samoënssmbtcyril
 
Compu training replay ece2 td 8 - angermann et desmon
Compu training replay ece2   td 8 - angermann et desmonCompu training replay ece2   td 8 - angermann et desmon
Compu training replay ece2 td 8 - angermann et desmonbenoitetmarine
 
Présentation1 2 [réparé] ok
Présentation1 2 [réparé] okPrésentation1 2 [réparé] ok
Présentation1 2 [réparé] oklucytoulleron
 
Projet - Carrières (IS)
Projet - Carrières (IS)Projet - Carrières (IS)
Projet - Carrières (IS)NyoRL
 
Guide ecole-art-lrsy-2012:13
Guide ecole-art-lrsy-2012:13Guide ecole-art-lrsy-2012:13
Guide ecole-art-lrsy-2012:13ecoledart
 
Orthophonistes 2
Orthophonistes  2Orthophonistes  2
Orthophonistes 2licop
 
Mode d'emploi tire bouchon électrique PEUGEOT ELIS
Mode d'emploi tire bouchon électrique PEUGEOT ELISMode d'emploi tire bouchon électrique PEUGEOT ELIS
Mode d'emploi tire bouchon électrique PEUGEOT ELIShabiague
 

Andere mochten auch (20)

Atelier 1_Google adresse_OT Bergerac
Atelier 1_Google adresse_OT BergeracAtelier 1_Google adresse_OT Bergerac
Atelier 1_Google adresse_OT Bergerac
 
Présentation du référencement social
Présentation du référencement socialPrésentation du référencement social
Présentation du référencement social
 
test
testtest
test
 
Café numérique réseaux sociaux
Café numérique réseaux sociauxCafé numérique réseaux sociaux
Café numérique réseaux sociaux
 
Flyer congo v3
Flyer congo v3Flyer congo v3
Flyer congo v3
 
Sondage salaires 2013 - Designers interactifs
Sondage salaires 2013 - Designers interactifsSondage salaires 2013 - Designers interactifs
Sondage salaires 2013 - Designers interactifs
 
Newsletter #23 - Le Hibou Agence .V. du 5 octobre 2012
Newsletter #23 - Le Hibou Agence .V. du 5 octobre 2012Newsletter #23 - Le Hibou Agence .V. du 5 octobre 2012
Newsletter #23 - Le Hibou Agence .V. du 5 octobre 2012
 
“La Inspección de Educación en los proyectos internacionales” Ana Carmen del ...
“La Inspección de Educación en los proyectos internacionales” Ana Carmen del ...“La Inspección de Educación en los proyectos internacionales” Ana Carmen del ...
“La Inspección de Educación en los proyectos internacionales” Ana Carmen del ...
 
Témoignage Collaboratif distributeurs/ Industriel - Tirez profits de vos donn...
Témoignage Collaboratif distributeurs/ Industriel - Tirez profits de vos donn...Témoignage Collaboratif distributeurs/ Industriel - Tirez profits de vos donn...
Témoignage Collaboratif distributeurs/ Industriel - Tirez profits de vos donn...
 
trabajo practico
trabajo practicotrabajo practico
trabajo practico
 
Réunion handitourisme du 9 octobre 2012 à Samoëns
Réunion handitourisme du 9 octobre 2012 à SamoënsRéunion handitourisme du 9 octobre 2012 à Samoëns
Réunion handitourisme du 9 octobre 2012 à Samoëns
 
Compu training replay ece2 td 8 - angermann et desmon
Compu training replay ece2   td 8 - angermann et desmonCompu training replay ece2   td 8 - angermann et desmon
Compu training replay ece2 td 8 - angermann et desmon
 
Présentation1 2 [réparé] ok
Présentation1 2 [réparé] okPrésentation1 2 [réparé] ok
Présentation1 2 [réparé] ok
 
Tema 2ª rev ind e imperialismo
Tema 2ª rev ind e imperialismoTema 2ª rev ind e imperialismo
Tema 2ª rev ind e imperialismo
 
Projet - Carrières (IS)
Projet - Carrières (IS)Projet - Carrières (IS)
Projet - Carrières (IS)
 
Un contexte pour Innover
Un contexte pour InnoverUn contexte pour Innover
Un contexte pour Innover
 
Cafenumérique avisclients
Cafenumérique avisclientsCafenumérique avisclients
Cafenumérique avisclients
 
Guide ecole-art-lrsy-2012:13
Guide ecole-art-lrsy-2012:13Guide ecole-art-lrsy-2012:13
Guide ecole-art-lrsy-2012:13
 
Orthophonistes 2
Orthophonistes  2Orthophonistes  2
Orthophonistes 2
 
Mode d'emploi tire bouchon électrique PEUGEOT ELIS
Mode d'emploi tire bouchon électrique PEUGEOT ELISMode d'emploi tire bouchon électrique PEUGEOT ELIS
Mode d'emploi tire bouchon électrique PEUGEOT ELIS
 

Jep 2012 wrkshp