La reconnaissance des entités nommées et l'extraction de données Avec Jean Veronis Enseignant Chercheur à l'Université de Provence. Spécialiste du Traitement Automatisé du Langage (TAL) et de l'informatique appliquée à la linguistique. http://www.seo-campus.org/programme/samedi

1. Entités nommées Jean Véronis SeoCampus 2010

2. C’est quoi ? jvTech • Jean Véronis Technologies

3. Extraction d’information En France, il est interdit d’accrocher les mots “travailler”, “gagner” “plus” et “moins”, sur une façade. C'est ironique, quand on est un artiste chinois, d'être censuré en France pour subversion politique. Critiquer Hu Jintao à Pékin, c'est possible. Mais Nicolas Sarkozy à Paris, ça non, c'est interdit. L'artiste Siu Lan Ko, 33 ans, en a fait les frais hier matin. Son installation a été décrochée en toute hâte de la façade des Beaux-Arts de Paris à la demande de son directeur Henry-Claude Cousseau… Télérama – 11 février 2010 jvTech • Jean Véronis Technologies

5. France

6. Hu Jintao

7. Pékin

8. Nicolas Sarkozy

9. Paris

10. Siu Lan Ko

11. Beaux-Arts

12. Henry-Claude CousseaujvTech • Jean Véronis Technologies

13. Mais pas seulement… Pourcentages, dates, montant monétaires, etc. La faiblesse de la croissance en zone euro au quatrième trimestre 2009 (+0,1%) et la stagnation du Produit intérieur brut (PIB) en Allemagne sur la même période a déprimé les valeurs automobiles: Volkswagen a lâché 1,91% à 56,06 euros, BMW -1,66% à 29 euros, Daimler -0,95% à 32,46 euros. jvTech • Jean Véronis Technologies

14. Tâche mal définie Pourquoi entités « nommées » si on ne se limite pas aux noms propres ? Où s’arrête-t-on ? Dépend fortement de l’application La faiblesse de la croissance en zone euro au quatrième trimestre 2009 (+0,1%) et la stagnation du Produit intérieur brut (PIB) en Allemagne sur la même période a déprimé les valeurs automobiles: Volkswagen a lâché 1,91% à 56,06 euros, BMW -1,66% à 29 euros, Daimler -0,95% à 32,46 euros. jvTech • Jean Véronis Technologies

15. A quoi ça sert ? jvTech • Jean Véronis Technologies

17. SEOjvTech • Jean Véronis Technologies

21. Moteurs de recherche actu jvTech • Jean Véronis Technologies

22. Moteurs de recherche pas d’actu jvTech • Jean Véronis Technologies

25. « Textmining »

26. Constitution de bases de faits

27. etc.jvTech • Jean Véronis Technologies

29. siloBreakerjvTech • Jean Véronis Technologies

30. jvTech • Jean Véronis Technologies

31. jvTech • Jean Véronis Technologies

32. ClearForestGnosis — projet OpenCalais jvTech • Jean Véronis Technologies

33. Comment ça marche ? jvTech • Jean Véronis Technologies

34. Deux problèmes ...blabla… Orange …blabla… détection interprétation … jvTech • Jean Véronis Technologies

35. Détection Le problème semble simple Détection de chaînes dans un texte Exemple : Oui, mais… PARIS - Un bras de fer s'est engagé entre une artiste chinoise auteur d'une oeuvre faisant référence à un slogan du président Nicolas Sarkozy et l'école des Beaux-Arts de Paris, accusée de "censure". jvTech • Jean Véronis Technologies

36. Base de données Sources Wikipedia/DBPedia Fichiers d’entreprises Base Geonames etc. Aucune base n’est exhaustive variabilité infinie entités nouvelles

37. Variabilité Personnes : Ted Kennedy Edward Kennedy Edward M. Kennedy Edward Moore Kennedy Edward Moore Kennedy Sr. Edward Moore "Ted" Kennedy « Ted » jvTech • Jean Véronis Technologies

38. Variabilité Sociétés : Air France Société Air France (nom officiel) Air France-KLM (groupe) AF (bourse) AFR (code aviation civile) jvTech • Jean Véronis Technologies

39. Erreurs orthographiques 488941 britneyspears 40134 brittanyspears 36315 brittneyspears 24342 britanyspears 7331 britnyspears 6633 britenyspears 2696 brittenyspears 1807 brineyspears 1635 brittnyspears 1479 brinteyspears 1479 britannyspears 1338 britinyspears 1211 britnetspears 1096 britineyspears 991 britaneyspears 991 britnayspears 811 brithneyspears 811 brtineyspears 664 birtneyspears 664 brintneyspears 664 briteneyspears 601 bitneyspears 601 brintyspears 544 brittaneyspears 544 brittnayspears 364 briteyspears 364 brittinyspears 329 brtneyspears 269 bretneyspears 269 britneysspears 244 britnespears 244 brytneyspears 220 breatneyspears 220 britianyspears 199 britnneyspears 163 britnryspears 147 breatnyspears 147 brittineyspears 147 brittyspears 147 brotneyspears 147 brutneyspears 133 britteneyspears 121 bittanyspears 121 bridneyspears 121 britainyspears 121 britmeyspears 109 brietneyspears 109 brithnyspears 109 britnispears 109 brittantspears … http://labs.google.com/britney.html jvTech • Jean Véronis Technologies

40. Pas toujours exceptionnel : Jean-Pierre Pernault ? Jean-Pierre Pernaut ? jvTech • Jean Véronis Technologies

41. Multilinguisme Exemples Benoît XVI (fr) Benedict XVI (en) Benedikt XVI (de) Benedetto XVI (it) Benedicto XVI (es) Londres ~ London jvTech • Jean Véronis Technologies

43. Mohammar

44. Mouammar

45. Moammar

46. Muammar

47. Mu’ammar

48. …

49. Kadafi

50. Algathafi

51. al-Kadhafi

52. al-Gaddafi

53. Al Qadafi

54. Gueddafi

55. El-Gueddafi

56. …X jvTech • Jean Véronis Technologies

57. Entités inconnues Exemple : actualité inconnu dans Wikipedia 12 février 2010 jvTech • Jean Véronis Technologies

58. Heuristiques Typographie : Majuscule, mais… variantes l’Ecole des Beaux-Arts (le Parisien) l’école des Beaux-Arts (l’Express) l’Ecole des beaux-arts (le Monde) noms composés Henri de la Ville de Mirmont Hôtel de Ville de Mirmont Jean Baptiste de la Croix de Chevrières de Saint –Vallier Jean-Baptiste Belley de Saint-Domingue autres langues allemand (majuscule sur tous les noms) arabe, chinois, etc. (pas de majuscules) jvTech • Jean Véronis Technologies

59. Heuristiques Base patronymes et prénoms connus, mais : Nombreuses ambiguïtés Prénoms: April, Art, Earl, France, Israel, Logan, Noël, Renault, etc. l’œuvre de Noël de Règemorte le marché de Noël de Montbéliard Patronymes: Charpentier, Mer, Vaillant ministre de l'Economie Francis Mer Charpentier fut remarqué et apprécié par Louis XIV Charpentier au talent prometteur, ce compagnon… Inconnus Barack jvTech • Jean Véronis Technologies

60. Heuristiques Statistiques (contexte) Exemples : le photographe italienPietro Mastrurzo a remporté l’Italien Pietro Mastrurzo a reçu le Français Alexis Contin s’est classé le patineur de vitesse françaisAlexis Contin jvTech • Jean Véronis Technologies

61. Interprétation Deux problèmes liés : Désambiguïsation Orange, Total, Opium, etc. Catégorisation Personne Entreprise Toponyme etc. jvTech • Jean Véronis Technologies

62. page d’homonymie Wikipedia : Orange jvTech • Jean Véronis Technologies

63. Très difficile Noms communs/marques La majuscule ne suffit pas Personnes/marques etc. Yves Saint Laurent lance Opium Shangaï : Opium, jeux, prostitution la turbulente histoire de la Chine depuis la Guerre de l'Opium Alain Chamfort met Yves Saint Laurent en musique il rend hommage à Yves Saint Laurent Yves Saint Laurent lance une édition collector du parfum Elle jvTech • Jean Véronis Technologies

64. Typologie Personnes, lieux, et…..? Difficultés pour l’humain : Orange = marque / entreprise ? iPhone = produit / marque ? Dépend de l’application classification de Sekine jvTech • Jean Véronis Technologies

66. tant vont les fleuves à la mer et la mer n’est jamais remplie… jvTech • Jean Véronis Technologies