Zkoumání možnosti textové analytiky pomocí Geneea Interpretoru a jeho zapojení do mobilních aplikací. Interpretor rozumí angličtině, češtině a několika dalším jazykům a umožní vám vytáhnout z textu zajímavé strukturované informace – téma, náladu textu, klíčová slova, jména lidí, firem, geografické názvy a další. Video: https://www.youtube.com/watch?v=V2sAcdsqDyA Celý program: Petr Zadražil: TensorFlow v mobilních aplikacích Petr Šíma: Principy funkcionálně reaktivního programovaní Petr Hamerník: Textová analytika v mobilních aplikacích Web: http://mdevtalk.cz E-mail: info@mdevtalk.cz FB: https://facebook.com/mdevtalk Twitter: https://twitter.com/mdevtalk

2. PETR HAMERNÍK

3. Textová analytika
v mobilních aplikacích
14.1.2015 FIT ČVUT

4. Témata:
1. Zpracování přirozeného jazyka
2. Geneea REST API a architektura NLP řešení
3. Demo – rychlé zapojení NLP do mobilní aplikace (Android)
4. Co se s tím dá dělat?
4 x
4

5. Témata:
1. Zpracování přirozeného jazyka
2. Geneea REST API a architektura NLP řešení
3. Demo – rychlé zapojení NLP do mobilní aplikace (Android)
4. Co se s tím dá dělat?
4 x
5

6. 1. Zpracování přirozeného jazyka
(Natural language processing = NLP)
Obor na pomezí lingvistiky a informatiky (umělé inteligence)
• Mluvené slovo: rozpoznávání a syntéza řeči
• Korektura textu a strojový překlad
• Generování textu (NLG – natural language generation)
• Extrakce informací z textu
6

7. Extrakce informací z textu 1/3
• Detekce jazyka
• Extrakce informací (pojmenovaných entity):
• Jména osob
• Geografické názvy
• Názvy firem
• Čísla, částky,… vlastní typy
7

8. 8

9. Extrakce informací z textu – 2/3
Detekce tématu:
• Kategorizace
• Předem dané kategorie, hierarchie
• Štítky
• Otevřená množina
• Nejsou nutná anotovaná trénovací data
Zdroj: idnes.cz
9

10. Extrakce informací z textu 3/3
Analýza sentimentu
• Nálada zprávy nebo dokumentu: pozitivní / neutrální / negativní
(bipolární)
• Kontroverzní oblast
• Domenově specifická (“Přečtěte si knížku“ – recenze filmu vs.
knihy)
10

11. 11

12. Analýza sentimentu během MS v hokeji
12

13. Sentiment vs. výsledky hráčů
13

14. Extrakce informací z textu – shrnutí
• Detekce jazyka
• Extrakce pojmenovaných entit – osoby, geografické názvy, firmy,
atd.
• Detekce tématu – kategorizace nebo štítky
• Analýza sentimentu
14

15. Témata:
1. Zpracování přirozeného jazyka
2. Geneea REST API a architektura NLP řešení
3. Demo – rychlé zapojení NLP do mobilní aplikace (Android)
4. Co se s tím dá dělat?
15

16. 2. Geneea Interpretor
• NLP platforma
• Cloudová služba SaaS (software as a service)
• Dostupná a integrovatelná přes REST API
• Na adrese: api.geneea.com
• Klíč pro přístup zdarma získáte tamtéž
16

17. 17

18. Zapojení REST API – Java
18

19. Zapojení REST API – Python
19

20. Technologie v NLP platformě
• Kombinace strojového učení s pravidly
• Na některé části lze využít Open source knihovny – TensorFlow,
OpenNLP
• Anotovaná data
• Komponentová architektura
Detekce
jazyka
Lemmatizac
e
Detekce
tématu
Analýza
sentimentu
Analýza
sentimentu
Lemmatizac
e
20
… …
…

21. Témata:
1. Zpracování přirozeného jazyka
2. Geneea REST API a architektura NLP řešení
3. Demo – rychlé zapojení NLP do mobilní aplikace (Android)
4. Co se s tím dá dělat?
21

22. 3. Rychlé zapojení NLP přímo
do mobilní aplikace (ukázka Android)
• Dvě obrazovky – vstup a výstup
• Analýza se volá přímo z Androidu
22

23. 23

24. 24

25. Témata:
1. Zpracování přirozeného jazyka
2. Geneea REST API a architektura NLP řešení
3. Demo – rychlé zapojení NLP do mobilní aplikace (Android)
4. Co se s tím dá dělat?
25

26. 4. Co se s tím dá dělat?
K čemu je to dobré?
Příklady použití (ne nutně v mobilní aplikaci, ale na serverové straně) -
inspirace
• Štítky k dokumentům – obsah o čem text je, propojování obsahu (Gmail,
Evernote, blogy, news)
• Helpdesk – kategorizace ticketů, analýza sentimentu, celkový pohled na
data, detekce anomálií.
• Uživatelské komentáře – obsah (o čem jsou), nálada, produkty na
srovnávači cen
Všude, kde je text….
26

27. 4. Proč je to dobré dělat?
• Množství nestrukturovaných dat roste
• Samozřejmě obrázky a videa, ale textů také dost
• Často leží ladem, případně texty čtou lidi
• Big picture – celkový přehled
27

28. Exponenciální růst výpočetních technologií,
digitalizace a dostupnost informací a
rekombinantní inovace … stojí za objevy,
které mění science fiction na běžnou součást
našeho života…
— E. Brynjolfsson, A.McAfee: Druhý věk strojů
28

29. • www.mdevtalk.cz – tato prezentace
• www.geneea.com – blog, atd.
• api.geneea.com - klíč, dokumentace, příklady
• Dnešní Android příklad: https://github.com/Geneea/android-demo
• Napište nám, co se vám líbí/nelíbí, co chybí, jak byste to chtěli použít:
info@geneea.com @GeneeaAnalytics
Děkuji za pozornost.
Otázky?
29
Geneea
Další zdroje

30. WWW.MDEVTALK.CZ
mdevtalk
30