Talk at KUZ XIII
•
0 gefällt mir•393 views
Research Presentation at conference "Kognicia & Umely zivot XIII" (in Slovak) http://cogsci.fmph.uniba.sk/kuz2013/
Weitere ähnliche Inhalte
Andere mochten auch
Andere mochten auch (20)
Mehr von Kristina Rebrova
Mehr von Kristina Rebrova (11)
Talk at KUZ XIII
- 1. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Robotický model systému zrkadliacich neurónov Kognícia a umelý život XIII Kristína Rebrová a Igor Farkaš kristina.rebrova@gmail.com Centrum pre kognitívnu vedu FMFI UK Cognition and Neural Computation Group http://cogsci.fmph.uniba.sk/cnc Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
- 2. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Prehľad 1 Motivácia a náš model MNS 2 Algoritmus BAL 3 Experimenty a výsledky Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
- 3. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Senzomotorická kognícia Porozumenie na základe prepojenia akcie a percepcie - párovanie pozorovanej akcie a vlastného motorického repertoára Systém zrkadliacich neurónov (mirror neuron system, MNS) (Pellegrino a kol., 1992; Rizzolatti a kol. 2001; Rizzolatti a Sinigaglia, 2010) Obojsmerný tok informácie medzi vizuálnymi a motorickými oblasťami (Tessitore a kol,2010) Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
- 4. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Variantné a invariantné neuróny Horná spánková brázda (superior temporal sulcus, STS) STS poskytuje vstupy pre zrkadliace neuróny Rôzne typy neurónov, variantné a invariantné neuróny (Perret a kol, 1991) Invariantné n. anatomicky najbližšie k frontálnej časti kôry – najvyššia úroveň reprezentácie (Jellema a Perret, 2006) Variantné a invariantné vlastnosti objavené aj u zrkadliacich neurónov v F5 (Caggiano a kol, 2009) Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
- 5. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Výpočtové modely systému zrkadliacich neurónov Klasický prístup, napr. model MNS1 (Oztop a Arbib, 2002) Model reflektuje biologické časti MNS Základný predpoklad: vizuálna informácia, ktorá vstupuje do MNS je pozične invariantná Ill-posed problem, zjednodušenie Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
- 6. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Robotický model systému zrkadliacich neurónov Interakcia medzi MN a STS (Tessitore a kol., 2012) Modulárna architektúra, na najvyššej úrovni dochádza k rozpoznaniu a porozumeniu akcii Robot iCub sa učí uchopovať predmety 3 spôsobmi 1 Základná senzomotorika: spojité učenie posilňovaním (CACLA, van Hasselt, 2007) 2 Vyššie oblasti F5 a STS: samoorg. mapa MSOM (Strickert a Hamker, 2005) 3 Prepojenie F5 a STS: binarizácia pomocou k-WTA a náš model BAL STS vizuálna reprezentáciaPF F5 zkradliace neuróny motorický modul predspracovanie vizuálnej informácie Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
- 7. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Algoritmus GeneRec Zovšeobecnená recirkulácia (Generalized Recirculation, GeneRec) (O’Reilly, 1996, O’Reilly a Munakata, 1999) Biologicky plausibilné učenie na báze rozdielu aktivačných fáz (miesto neplauzibilného šírenia chyby na výstupe) Leabra framework (aproximácia biologických neurónov) Rôzne variantny učenia: základné, symetrické, CHL-ekvivalent Dve aktivačné fázy mínusová fáza: od vstupu na výstup, sieť produkuje odhad plusová fáza: od výstupu na vstup, sieť dostane "zafixovanú" želanú hodnotu na výstup a učí sa Zmena váh na základe rozdielov v plusovej a mínusovej fáze: ∆wij = (y+ j − y− j )xi Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
- 8. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Algoritmus obojsmerného učenia na báze aktivačných fáz (BAL) F F B B vrstva x y skrytá vrstva xh hy váhy hx yhváhy váhy váhy vrstva Perceptrón so 4 maticami váh, 2 pre každý smer toku aktivácie Dve vstupno–výstupné vrstvy x a y Dve aktivačné fázy indikujú smer toku aktivácie Dopredný beh (F): xF → hF → yF Spätný beh (B): yB → hB → xB Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
- 9. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky BAL: úprava váh Inicializácia: malé náhodné (Gaussovské) hodnoty V smere F: ∆wF ij = λ · aF i (aB j − aF j ) V smere B: ∆wB ij = λ · aB i (aF j − aB j ) Parametre: rýchlosť učenia λ Trénovateľné biasové neuróny (konštantný vstup 1.0, analogická úprava váh) Layer Phase Net Input Activation x F - xF i h F ηF j = i wIH ij xF i hF j = σ(ηF j ) y F ηF k = j wHO jk hF j yF k = σ(ηF k ) y B - yB k h B ηB j = k wOH kj yB k hB j = σ(ηB j ) x B ηB i = j wHI ji hB j xB i = σ(ηB i ) Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
- 10. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky GeneRec verzus BAL Jednosmerné mapovanie Dynamické neuróny Čiastočné obojsmerné šírenie aktivácie Obojsmerná asociácia Štandardné neuróny Kompletne obojsmerné šírenie aktivácie Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
- 11. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Kódovač 4-2-4 – parametre nie vždy skonverguje k 100% úspešnosti (úspešnosť podľa rýchlosti učenia) porovnanie s pôvodným GeneRec modelom: konvergencia: BAL 65% vs. GeneRec 90% (základný), 56% symetrická a CHL verzia počet epoch: 100 až tisíce (GeneRec konverguje rýchlejšie) 0 1 2 3 0 20 40 60 rýchlosť učenia úspešnésiete 2 2.1 2.2 0 20 40 0 1 2 3 0 1,000 2,000 3,000 rýchlosť učenia epochy 2 2.1 2.2 0 500 1,000 1,500 0 1,000 2,000 3,000 4,000 5,000 0 0.5 1 epocha úspešnosťsiete vzoryF vzoryB bityF bityB mseF mseB Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
- 12. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Párovanie riedkych binárnych vzorov Motivácia pre typ dát: riedke reprezentácie v mozgu 100 párov vzorov, 144 bitov, k = 12 pozitívnych Optimálna λ = 0.2, optimálna nH = 120 (vplýva viacmenej len na dĺžku trénovania) Aktivácie na skrytej vrstve: blížia sa k sebe a nebinarizujú sa (hodnoty okolo 0.5) 0.1 0.2 0.3 0.4 0.5 0 0.5 1 rýchlosť učenia úspešnosťsiete bityF bityB vzoryF vzoryB 0.3 0.32 0.34 0 0.5 1 80 100 120 140 160 180 0.94 0.96 0.98 1 hidden layer size úspešnosťsiete bityF bityB vzoryF vzoryB 100 150 1,000 2,000 3,000 epochy 0 500 1,000 1,500 2,000 2,500 0 0.5 1 epocha úspešnosťsiete vzoryF vzoryB bityF bityB mseF mseB Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
- 13. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Komplexné asociácie Motivácia pre typ dát: asociácia 4 perspektív na 1 pohyb 16 párov vzorov, 16 bitov, k = 3 pozitívnych Optimálna λ = 1.0, optimálna nH = 14 0 0.5 1 1.2 0 0.5 1 rýchlosť učenia úspešnosťsiete bityF bityB vzoryF vzoryB 10 15 20 25 0 0.5 1 veľkosť skrytej vrstvy úspešnosťsiete vzoryF vzoryB bityF bityB 0 200 400 600 800 1,000 0 0.5 1 epocha úspešnosťsiete bityF bityB vzoryF vzoryB mseF mseB Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
- 14. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Komplexné asociácie značne menšia úspešnosť pre nejednoznačný smer B (bity ≈ 86%, vzory len ≈ 4%) sieť nevie určiť, ktorý zo 4 asociovaných vzorov vybrať Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
- 15. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Robotický MNS model Najvyššia úroveň: mapovanie reprezentácií na STS a F5 Výstupy z MSOM sú zbinarizované pomocou k-WTA Vizuálne dáta: 14×14 s kv = 16 Motorické dáta: 12×12 s km = 8 Experimenty s prvou perspektívou, 52 párov vzorov STS vizuálna reprezentáciaPF F5 zkradliace neuróny motorický modul predspracovanie vizuálnej informácie Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
- 16. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Robotický MNS model Optimálna λ = 0.2, optimálna nH = 170 Malá úspešnosť – nejednoznačné asociácie asociácie m:n Chyby v rámci jednej kategórie pohybu, nie medzi kategóriami 0 500 1,000 1,500 0 0.5 1 epocha úspešnosť bitSuccF bitSuccB vzoryF vzoryB 0 500 1,000 1,500 0 5 · 10−2 0.1 epocha mse/vzdialenosť mseF mseB pattDistF pattDistB Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
- 17. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Robotický MNS model – príklad reprodukcie vzorov Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
- 18. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Zhrnutie obojsmerné učenie vplýva na konvergenciu BAL emergujúce reprezentácie na skrytej vrstve nemajú tendenciu binarizovať sa (nevznikajú interné reprezentácie) úspešnosť na robotických dátach v našom MNS modeli je nízka (nejednoznačné asociácie m-n) chyby na robotických dátach sa vyskyujú v rámci kategórie nie medzi kategóriami Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
- 19. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Ďalší postup pri skúmaní BAL a modelovaní MNS Algoritmus BAL skúmať konvergenciu algoritmu, jeho citlivosť na rýchlosť učenia a charakter obojsmerého prepojenia skúmať reprezentácie na skrytej vrstve a tiež možnosti ako ovplyvniť vznik reprezentácií aj na tejto vrstve (v kontexte systému zrkadliacich neurónov) Robotický model MNS zaviezť do modelu ďalšie vizuálne perspektívy vytvoriť priestor/mechanizmus pre vznik variantných a invariantných reprezentácií v STS a F5 Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov
- 20. Motivácia a náš model MNS Algoritmus BAL Experimenty a výsledky Koniec Ďakujem za pozornosť Kristína Rebrová kristina.rebrova@gmail.com Kristína Rebrová a Igor Farkaš Robotický model systému zrkadliacich neurónov