Curs psihologie cognitiva

1. PSIHOLOGIE COGNITIVĂ
PARADIGMA REȚELELOR NEURONALE

2. ISTORIA PARADIGMEI
 Spre deosebire de paradigma clasic simbolică,
paradigma reţelelor neuronale a apărut mult mai
târziu şi porneşte de la principii fundamental
diferite.
 Câteva tentative de introducere a reţelelor
neuronale au fost înregistrate în anii 60 ai
secolului 20 (de ex. Modelul perceptronului,
1958, Rosenblatt; Pitts şi McCullogh, 1943).
 Criticile aduse de Minsky (1961) şi Minsky şi
Selfridge (1961) au făcut ca majoritatea
fondurilor de cercetare ce fuseseră alocate iniţial
în această direcţie să fie redirecţionate în
domenii „mai promiţătoare”.

3. ISTORIA PARADIGMEI
(cont.)
 În 1981, o echipă de cercetători de la
Universitatea San Diego California,
condusă de McClelland şi Rumelhart au
elaborat un model de recunoaştere a
paternurilor - IAM (Interactive Activation
Model), bazat pe o reţea neuronală
trinivelară.
 În 1986 aceştia au publicat o carte de
foarte mare importanţă – Parallel
Distributed Processing – devenită
pentru mulţi cercetători „Biblia

4. “MIEZUL” PARADIGMEI
 Activitatea cognitivă poate fi cunoscută şi
explicată prin intermediul unor modele de
inspiraţie neuronală.
 Informaţia este reprezentată de sistemul cognitiv
uman prin valori şi patternuri de activare ale unor
unităţi simple, numite „neuromimi”.
 Toate aceste unităţi formează reţelele
neuromimetice.
 Regulile de bază din reţele sunt de modificare
sau propagare a valorilor de activare.
 Aceste reguli nu sunt formal-logice, ca în cazul
paradigmei clasice, ci constau în ajustarea
reciprocă a patternurilor de activare dintre
unităţile reţelei.

5. ELEMENTELE REȚELEI
NEURONALE
 unităţile
 starea de activare
 regula de activare
 funcţia output / ieşire
 patternul de conexiuni dintre unităţi
 regulile de învăţare
 mediul sau ambianţa reţelei

6. UNITĂȚILE
 Se mai numesc neuromimi (în sensul în
care ele mimează doar funcţionarea
neuronilor, nu şi structura lor), unităţi
cognitive, noduri.
 Ele preiau partea funcţională (adică
salvele activatoare sau inhibitoare de
impulsuri şi ideea de sinapse) a
neuronilor.
 Valoarea de activare este cuprinsă între
[-1, +1].
 Sunt două tipuri de unităţi:
 unităţile vizibile (input şi output) şi
 unităţile ascunse (hidden)

7. UNITĂȚI (cont.)
 Sunt semantic opace, adică nu
simbolizează stări de lucruri
cunoscute (spre deosebire de
modelele clasic-simbolice, care sunt
semantic transparente) iar nodurile nu
au o semnificaţie în sine.
 Există totuşi şi câteva excepţii -
reţelele localizaţioniste (unde un nod
al reţelei este, în fapt, un concept).

8. STAREA DE ACTIVARE
 Sunt cuprinse, de regulă, între [-1, +1].
Valoarea stărilor de activare creşte
sau scade în timp, funcţie de
stimularea primită de nodul respectiv.
 Dispune de o proprietate importantă:
rata degradării (decay rate), adică,
dacă nodul nu este stimulat o
perioadă mai lungă de timp, valoarea
sa de activare scade progresiv,
spontan.

9. REGULA DE ACTIVARE
 Este o funcţie ce modifică valoarea de
activare a unităţilor într-o reţea.
Această regulă permite calculul
netinputului.
 Netinputul este suma ponderată a
tăriilor sinapselor, înmulţită cu
valoarea stării de activare a unităţilor
cu care este conectată unitatea
respectivă, la care se adaugă restul
de activare al neuromimului.

10. REGULA DE ACTIVARE
(cont.)
Netinput= Σwij*ua+ra,
Unde:
 wij este tăria sinapsei (ponderea
legăturii) dintre două noduri (i şi j)
 ua este valoarea de activare a
nodurilor cu care este conectat nodul
a
 ra este restul de activare (valoarea
iniţială de activare) al nodului a

11. FUNCȚIA OUTPUT (IEȘIRE)
 Stabileşte relaţia dintre valoarea de
activare a unităţii şi output-ul pe care ea
îl transmite celorlalte unităţi.
 Pot apărea două situaţii:
- cea în care funcţia output este egală cu
valoarea de activare a unităţii respective,
şi
- cea în care funcţia este determinată de
un nivel prag (peste nivelul prag se emite
funcţia output, iar sub nivelul prag
unitatea respectivă nu descarcă

12. PATTERNUL DE CONEXIUNI
ÎNTRE UNITĂȚI
 Reprezintă legăturile dintre neuromimi. În
limba engleză, termenul folosit este de
„weight”(pondere sau conexiune, în limba
română) iar notaţia standard este wij, care se
citeşte „ponderea legăturii dintre unitatea i şi
unitatea j.
 Reţelele pot fi:
- unidirecţionale (conexiunile funcţionează
doar dinspre input spre output) şi
- bidirecţionale (sau interactive; în acest caz,
nu este obligatoriu ca wij să fie egală cu wji).

13. PATTERNUL DE CONEXIUNI
ÎNTRE UNITĂȚI (cont.)
Legăturile pot fi, de asemenea:
 stimulatoare sau pozitive – cu valori cuprinse
între (0, +1],
 inhibitoare sau negative – cu valori cuprinse
între [-1, 0).
În afară de aceste legături, care se stabilesc
între neuroni aflaţi la nivele diferite ale reţelei,
în reţelele neuronale apare şi fenomenul de
inhibiţie laterală, între unităţi aflate la
acelaşi nivel (acest fenomen stă la baza
învăţării competitive).

14. REGULILE DE ÎNVĂȚARE
Sunt algoritmi sau ecuaţii care guvernează schimbarea ponderilor
conexiunilor dintr-o reţea, echivalenţi regulilor de manipulare
simbolică din paradigma clasic-simbolică.
Sunt mai multe reguli de învăţare: Hebb, delta, delta generalizată etc.
Regula lui Hebb
 Spune că ponderea conexiunii dintre doi neuroni, i şi j, se modifică
în funcţie de produsul valorilor lor de activare. Astfel, tăria sinapsei
dintre doi neuroni creşte dacă în momentul stimulării ei se află în
aceeaşi stare de activare (pozitivă sau negativă), şi scade dacă se
află în stări diametral opuse.
Wij= lr*ai*aj,
Unde:
 lr = learning rate sau rata învăţării (este stabilită de constructorul
reţelei)
 ai, aj = valorile de activare ale nodurilor i (input) şi j (output)

15. REGULILE DE ÎNVĂȚARE
(cont.)
Regula delta (Widrow-Hoff)
Wij= lr*(du-au)*aj,
Unde:
 lr = learning rate sau rata învăţării (este stabilită de
constructorul reţelei)
 du = nivelul de activare dorit pentru nodul i
 au = nivelul de activare actual al nodului i
 aj = nivelul de activare actual al nodului j
În momentul în care du = au, atunci Wij devine 0 iar
reţeaua a învăţat ceea ce avea de învăţat.

16. MEDIUL/AMBIANȚA
REȚELEI
Este mediul în care se scaldă reţeaua.
Se prezintă sub forma unor „biaşi”
care pot influenţa desfăşurarea
activităţii reţelelor.

17. Avantajele utilizării rețelelor
neuronale în înțelegerea
cogniției
 Explică modul în care mintea poate
procesa informație incompletă sau
degradată (flexibilitate).
 Pot explica funcționarea a mai multe
procese mentale – percepție,
raționament, limbaj, memorie (priming
etc).

18. Limitele utilizării rețelelor
neuronale în înțelegerea
cogniției
 Nu explică felul în care reținem
evenimente singulare
 Nu explică felul în care restructurăm
rapid o informație inițială, când se
modifică criteriile de evaluare
 EXISTĂ DOUĂ SISTEME DE
ÎNVĂȚARE ÎN CREIER/MINTE
(MCCLELLAND et al., 1997).