Problem relewancji poznawczej

Problem relewancji poznawczej jako problem relewancji informacji
Problem relewancji w Information Retrieval (IR) i naukach o informacji (LIS)
Teoria informacji semantycznej L. Floridiego
Definicje relewancji poznawczej - L. Floridi
Uwagi krytyczne

Filozofia Informacji, Wykład VII - Teoria L.
Floridiego. Problem relewancji poznawczej.
Artur Machlarz

17 stycznia 2014

Artur Machlarz

Filozofia Informacji, Wykład VII - Teoria L. Floridiego. Problem relewancji p

Uwagi krytyczne

Plan wykładu
1


2

Problem relewancji w Information Retrieval (IR) i naukach o informacji
(LIS)
Ogólny problem relewancji w LIS
Problem relewancji w IR
Strategie ustalania rankingu dokumentów

3


4

S-teorie i A-teorie
Formuła bazowa i jej probabilistyczne modyﬁkacje
Ostateczna deﬁnicja relewancji
Prawdziwość informacji

5

Uwagi krytyczne
Krytyka koncepcji Floridiego
Artur Machlarz


Uwagi krytyczne

Problematyka teoriopoznawcza - perspektywa informacyjna
Wg Keitha Devlina
“W przypadku prób zrozumienia rozumowania i komunikacji
najbardziej znaczące postępy osiągnięto w naszych czasach dzięki
czemuś, co będę nazywał postawą informacyjną. Jej punktem
wyjścia jest potraktowanie mózgu ludzkiego jako procesora
informacji - urządzenia, które mże przyswajać sobie, magazynować i
przetwarzać informacje. (...) Poznanie można traktować jako proes
nabywania informacji, rozumowanie zaś jako środek wzbogacania
zasobu informacji przez wyprowadzenie nowych informacji z
informacji już posiadanych. (...) Podobnie komunikację można
traktować jako środek przekazywania informacji posiadanych przez
jedną osobę innej osobie.”
K. Devlin, Żegnaj Kartezjuszu, Warszawa 1999, ss. 317-318 .

Artur Machlarz


Uwagi krytyczne


Podobnie jak Devlin, o perpektywie informacynej wyraża się Dretske:
Jeśli ma być nawiązany jakikolwiek kontakt między filozofią i całym
bogactwem istotnego materiału w naukach kognitywnych, to muszą
być zbudowane pewne mosty, przynajmniej na poziomie terminologii,
między filozoficznym ujęciem wiedzy, przekonań i percepcji a tymi z
nauk, które zajmują się tymi samymi aspektami życia umysłowego.
Dlatego, wg Dretskego, centralnym pojęciem wokół którego należy
budować całą filozofię poznania, jest pojęcie informacji.
F. Dretske, Knowledge and Information, MIT Press 1981, s. viii.

Artur Machlarz


Uwagi krytyczne


W dotąd omawianych teoriach mieliśmy do czynienia z koncepcją
informacji jako czynnika wiedzotwórczego. Próby podania miary
informatywności były jednocześnie próbami podania miary nadwyżki
wiedzy, która może być uzyskana dzięki informacji, albo przynajmniej,
bardziej ogólnie, miary bliżej nieokreślonej korzyści, którą możemy dzięki
informacji odnieść.

Artur Machlarz


Uwagi krytyczne

Problem relewancji poznawczej jako problem relewancji
informacji

Problem relewancji informacji jest doskonałą egzempliﬁkacją ujęcia
szczególnego problemu teoriopoznawczego z perspektywy
teorio-informacyjnej.

Artur Machlarz


Uwagi krytyczne

Problem relewancji poznawczej jako problem relewancji
informacji

Ogólny problem relewancji poznawczej postawiony jest (w koncepcji
Floridiego) jako problem relewancji informacji w ujęciu
„subiektywistycznym”:
czy w ogóle, a jeśli tak, to w jakim stopniu, określona informacja
może być podstawą rozwoju wiedzy o świecie, podstawą wyborów,
skutecznych działań, procesów decyzyjnych.

Artur Machlarz


Uwagi krytyczne

Ogólne warunki adekwatności deﬁnicji relewancji

Odpowiedni opis relewancji spełnić będzie musiał cały szereg warunków:
mimo całej złożoności zjawiska i wieloznaczności pojęcia
“relewancji”, należy założyć, że możliwe jest jego systematyczne
opisanie,

Artur Machlarz


Uwagi krytyczne


opisanie,
opis nie może ograniczać się do opisu jednej wybranej formy
aktywności poznawczej,

Artur Machlarz


Uwagi krytyczne


opisanie,
będzie uwzględniał subiektywne potrzeby i dyspozycje agenta,

Artur Machlarz


Uwagi krytyczne


opisanie,
będzie dopuszczał stopniowalność,

Artur Machlarz


Uwagi krytyczne


opisanie,
będzie dopuszczał stopniowalność,
a przede wszystkim będzie wyjaśniał wiedzotwórczy aspekt
informacji (ujęcie L. Floridiego i F. Dretskego).

Artur Machlarz


Uwagi krytyczne


Z tego, że własności systemowe nie determinują wartości dokumentu dla
odbiorcy w literaturze IR zdawano sobie sprawę mniej więcej od lat
70-tych ub. wieku. Problem relewancji w LIS jest współcześnie stawiany
jako problem satysfakcji użytkownika systemu
informacyjno-wyszukiwawczego:
co konstytuuje satysfakcję odbiorcy i jak tą satysfakcję
systematycznie opisać?

Artur Machlarz


Uwagi krytyczne


Z tego, że własności systemowe nie determinują wartości dokumentu dla
odbiorcy w literaturze IR zdawano sobie sprawę mniej więcej od lat
70-tych ub. wieku. Problem relewancji w LIS jest współcześnie stawiany
jako problem satysfakcji użytkownika systemu
informacyjno-wyszukiwawczego:
co konstytuuje satysfakcję odbiorcy i jak tą satysfakcję
systematycznie opisać?
Np. Abraham Bookstein zwracając uwagę na fakt, że własności systemu
nie determinują jednoznacznie reakcji odbiorcy na dostarczany przez
system dokument, zaproponował zdeﬁniowanie relewancji właśnie w
kategoriach satysfakcji odbiorcy z produktu wyjściowego danego systemu
informacyjno-wyszukiwawczego. (Abraham Bookstein, Relevance, w:
„Journal of the American Society for Information Science”, 30 (5), 269).

Artur Machlarz


Uwagi krytyczne


Problem relewancji w IR - przykłady deﬁnicji

W literaturze z dziedziny IR problem relewancji jest ujmowany raczej od
strony systemu informacyjno-wyszukiwawczego (pełnokrwista postać
odbiorcy tam nie występuje):
jest to problem adekwatności odpowiedzi systemu do pytania
zadanego w ramach danego systemu (w języku danego systemu).

Artur Machlarz


Uwagi krytyczne



W literaturze z dziedziny IR problem relewancji jest ujmowany raczej od
strony systemu informacyjno-wyszukiwawczego (pełnokrwista postać
odbiorcy tam nie występuje):
jest to problem adekwatności odpowiedzi systemu do pytania
zadanego w ramach danego systemu (w języku danego systemu).
Które dokumenty obejmowane przez dany system
informacyjno-wyszukiwawczy odpowiadają bardziej lub mniej
zapotrzebowaniu użytkownika wyrażonemu w języku tego systemu.

Artur Machlarz


Uwagi krytyczne



Przykład (dość prosty) deﬁnicji relewancji w IR:
r: DxQ→R
−
D = d1 , d2 , d3 ... dn – zbiór dokumentów
Q = q1 , q2 , q3 ... qn – zbiór możliwych pytań
R = zbiór wartości, np. 0, 1.
za: Reginald Ferber, Information Retrieval. Suchmodelle und
Data-Mining Verfahren fuer Textsammlungen und das Web, Heidelberg
2003, s. 86.

Artur Machlarz


Uwagi krytyczne



Uwagi:
W powyższym przykładzie mamy tylko alternatywę: dokument di
będzie należał do zbioru dokumentów relewantnych do zapytania
albo nie.

Artur Machlarz


Uwagi krytyczne



Uwagi:
W powyższym przykładzie mamy tylko alternatywę: dokument di
będzie należał do zbioru dokumentów relewantnych do zapytania
albo nie.
W tej deﬁnicji nie dopuszczamy wpływu innych dokumentów (np.
cytowań, linkowań itp.) do oceny relewancji.

Artur Machlarz


Uwagi krytyczne


Ta deﬁnicja pozwala jednak na sformułowanie służących ewaluacji
systemów wyszukiwawczych deﬁnicji pojęć precyzji (Precision) i
dokładności (Recall):
Precyzja oznacza udział relewantnych dokumentów w całym zbiorze
wybranych.
Dokładność oznacza udział odnalezionych relewantnych
dokumentów w całym zbiorze dokumentów relewantnych.

Artur Machlarz


Uwagi krytyczne


wybranych.
Optymalna jest oczywiście taka sytuacja, gdy mamy pełny zbiór
relewantnych dokumentów i tylko takich. Obie z tych miar mogą
przyjmować wartości z przedziału (0, 1).

Artur Machlarz


Uwagi krytyczne


wybranych.
Optymalna jest oczywiście taka sytuacja, gdy mamy pełny zbiór
relewantnych dokumentów i tylko takich. Obie z tych miar mogą
przyjmować wartości z przedziału (0, 1).
Polecam interesujący wykład Daniela Tunkelanga dotyczący problemu
relewancji w IR (z serii googletechtalks na youtube.com):
http://www.youtube.com/watch?v=4LZNqV4qZR0

Artur Machlarz


Uwagi krytyczne



Ogólnie rzecz biorąc strategie ustalania hierarchii dokumentów jako
wyniku wyszukiwania w dowolnym systemie
informacyjno-wyszukiwawczym można podzielić na:
centralnie zarządzane, dopuszczające ingerencję ludzi,
w pełni zautomatyzowane, oparte na różnych indeksach oraz innych
czynnikach pozwalających na oszacowanie wartości wyniku
wyszukiwania (indeksy, logiczna struktura dokumentu, związki z
innymi dokumentami).

Artur Machlarz


Uwagi krytyczne


Wady i zalety obu rodzajów systemów są odmienne i zależne od
przyjętych zasad postępowania, wielkości zbioru itp.

Artur Machlarz


Uwagi krytyczne


Wady i zalety obu rodzajów systemów są odmienne i zależne od
przyjętych zasad postępowania, wielkości zbioru itp.

Rysunek: Przykład wyjątkowego elektronicznego katalogu - Ossolineum.
Trudno uznać ten system wyszukiwawczy za udane przeniesienie katalogu do
wersji elektronicznej.

Artur Machlarz


Uwagi krytyczne



Systemy mieszane (przykłady):
systemy oparte na ocenach użytkowników lub ewaluacji wyników
przez ekspertów;
dopuszczające ingerencję “ręczną” wyszukiwarki zautomatyzowane
(np. Google).

Artur Machlarz


Uwagi krytyczne


Algorytm Google - podstawowe zasady
Google jest w Polsce najbardziej popularną wyszukiwarką internetową.
Podstawowymi deklarowanymi ideami leżącymi u podstaw ustalania
rankingu wyników są:
1

Najlepsze lokalnie wyniki, które są dostępne dla całego świata.

2

Prosty interfejs.

3

Pełna automatyzacja.

Ostatni warunek jest uzasadniony przekonaniem, że subiektywny osąd jest
zawsze obarczony indywidualnymi preferencjami. “Ręczne” interwencje
podejmowane są w przypadku złamania zasad Google odnośnie np.
pornograﬁi dziecięcej, stron zawierających wirusy (w Polsce ingerencja na
większą skalę miała miejsce niedawno w odniesieniu do porównywarek
cenowych).
Por. http://googleblog.blogspot.com/2008/07/introduction-to-googleranking.html
Artur Machlarz


Uwagi krytyczne


Algorytm Google - wersja historyczna-uproszczona
Słynny PageRank Google jest oparty na analizie struktury sieci.
Podstawowa historyczna wersja wyglądała mniej więcej tak:
Zakładamy, że witryna internetowa A jest linkowana przez strony
T1 , ..., Tn .
Przyjmujemy stały parametr d - współczynnik tłumienia (dumping
factor ) = 0,85.
C(x) - ilość linków wychodzących ze strony x.
PR(A) = (1 − d) + d(PR(T 1)/C (T 1) + ... + PR(Tn)/C (Tn))

Artur Machlarz


Uwagi krytyczne


Słynny PageRank Google jest oparty na analizie struktury sieci.
Podstawowa historyczna wersja wyglądała mniej więcej tak:
Zakładamy, że witryna internetowa A jest linkowana przez strony
T1 , ..., Tn .
Przyjmujemy stały parametr d - współczynnik tłumienia (dumping
factor ) = 0,85.
C(x) - ilość linków wychodzących ze strony x.
PR(A) = (1 − d) + d(PR(T 1)/C (T 1) + ... + PR(Tn)/C (Tn))
Zabawna ilustracja zmian algorytmu Google:
http://www.outrider.dk/Google-Algorithm-Changes-1998-2012

Artur Machlarz


Uwagi krytyczne



Naturalnie strukturalna analiza pozwala tylko na poprawienie jakości
hierarchii dokumentów, nie służy jednak jako podstawa ich wyboru z
całego zbioru możliwości. Ta część zadania (właściwie logicznie pierwsza)
jest oparta na analizie zawartości treściowej - tzn. różnego typu indeksów
charakteryzujących zawartość dokumentów.

Artur Machlarz


Uwagi krytyczne


Podsumowanie

W literaturze IR i LIS rzadko dąży się do sformułowania uogólnień
odnośnie wszelkiego rodzaju aktywności poznawczej. Raczej korzysta się
z analiz epistemologicznych i psychologicznych (i naturalnie także
logicznych) do szczegółowego opisu sytuacji poszukiwania informacji i do
budowy sztucznych systemów informacyjno-wyszukiwawczych.

Artur Machlarz


Uwagi krytyczne

Teoria informacji L. Floridiego

Teoria informacji i teoria relewancji L. Floridiego.

Artur Machlarz


Uwagi krytyczne

Definicja informacji semantycznej

Relewantna może być informacja w sensie semantycznym. Podstawą
teoretyczną koncepcji relewancji jest teoria informacji semantycznej, w
ramach której:
pojęcie informacji semantycznej nie pozostaje niezdefiniowane,
definicja informacji semantycznej zawiera warunek prawdziwości fałszywa informacja nie jest informacją.

Artur Machlarz


Uwagi krytyczne


Informacja musi być prawdziwa ze względu na wiedzotwórczy aspekt
informacji:
Informacja jest czymś służącym rozwojowi wiedzy a jeśli
wiedza wymaga prawdziwości, to informacja także jej wymaga.
Fred Dretske, Knowledge and the Flow of Information, CSLI Publications
1999, s. 45.

Artur Machlarz


Uwagi krytyczne


Wprowadzenie warunku prawdziwości do deﬁnicji informacji semantycznej
skutkuje podziałem agentów na:
semantycznie zdolnych oraz

Artur Machlarz


Uwagi krytyczne


Wprowadzenie warunku prawdziwości do deﬁnicji informacji semantycznej
skutkuje podziałem agentów na:
semantycznie zdolnych oraz
operujących wyłącznie niezinterpretowanymi danymi (niezdolnymi do
oceny odniesienia informacji).

Artur Machlarz


Uwagi krytyczne

Zasada pomiaru informatywności

Zdanie opisuje pewną sytuację. Im większa ilość dopuszczonych
alternatywnych sytuacji względem sytuacji, o której informację niesie
sygnał, tym mniejsza informatywność a większa semantyczna niepewność.

Artur Machlarz


Uwagi krytyczne

Teoria informacji na bazie semantyki sytuacyjnej

Wartość informacji semantycznej niesionej przez σ(γ(σ)) jest określona w
teorii Floridiego przez pole powierzchni między przebiegiem funkcji ι(σ) w
przedziale wyznaczonym przez wskaźnik θ(σ) - czyli stopień
potwierdzenia formuły przez sytuację) a osią x:
θ

γ(σ) =

ι(σ)dx
0

Im większe wyznaczone pole przez przebieg funkcji ι(σ), tym większa
niepewność.

Artur Machlarz


Uwagi krytyczne

Teoria informacji na bazie semantyki sytuacyjnej

Rysunek: Wartość informacyjna dla czynnika θ(σ) = 0,25. Ilustracja za: L.
Floridi, Semantic Conceptions of Information, w: Stanford Encyclopedia of
Philosophy, http://plato.stanford.edu/entries/information-semantic/

Artur Machlarz


Uwagi krytyczne

Zasada pomiaru informatywności
Miara informatywności jest w teorii Floridiego związana z większą bądź
mniejszą precyzją w opisie określonej sytuacji: im większa ilość
dopuszczonych alternatywnych sytuacji względem sytuacji, o której
informację niesie sygnał, tym mniejsza informatywność przekazu.
Wskaźnik oznaczający stopień potwierdzenia danej formuły osiąga w
przypadku tautologii wartość maksymalną: 1 – dowolna sytuacja jest
bowiem jej potwierdzeniem. W przypadku sytuacji dokładnie
odpowiadających treści formuły, wskaźnik ten ma wartość 0: żadna inna
sytuacja nie jest wtedy odniesieniem treści formuły. Informatywność
formuły jest zatem tym większa im mniej sytuacji może ją potwierdzać.
Stopień informatywności Floridi oblicza jako dopełnienie do wartości
maksymalnej 1.

Artur Machlarz


Uwagi krytyczne

S-teorie i A-teorie

Systemowe i subiektywistyczne określenie relewancji

W koncepcji relewancji Floridiego pojawia się znany z IR i LIS podział na
teorię relewancji zorientowaną na system (S-teorie) lub na dyspozycje
agenta (A-teorie).

Artur Machlarz


Uwagi krytyczne

S-teorie i A-teorie

S-teoria
W S-teoriach stopień relewancji mierzy się niezależnie od potrzeb
agenta. Przykład (sformułowany już wyżej):
r: DxQ→R
−
D = d1 , d2 , d3 ... dn – zbiór dokumentów
Q = q1 , q2 , q3 ... qn – zbiór możliwych pytań
R = zbiór wartości, np. 0, 1.

za: Reginald Ferber, Information Retrieval. Suchmodelle und
Data-Mining Verfahren fuer Textsammlungen und das Web, Heidelberg
2003, s. 86.

Artur Machlarz


Uwagi krytyczne

S-teorie i A-teorie

Analiza relewancji w kontekście dyspozycji agenta

Własności systemu nie determinują jednoznacznie reakcji odbiorcy na
dostarczany przez system dokument:
Ta sama informacja dla dwóch różnych agentów może być mniej lub
bardziej relewantna.

Artur Machlarz


Uwagi krytyczne

S-teorie i A-teorie


Ta sama informacja dla tego samego agenta może być w różnych
okolicznościach bardziej lub mniej relewantna.

Artur Machlarz


Uwagi krytyczne

S-teorie i A-teorie


Ta sama informacja dla tego samego agenta może być w różnych
okolicznościach bardziej lub mniej relewantna.
Jednocześnie jednak, jeśli dwóch agentów mających identyczny obraz
świata otrzyma tą samą informację, ich obraz świata ulega zmianie.

Artur Machlarz


Uwagi krytyczne

S-teorie i A-teorie

Formuła bazowa

Opis relewancji poznawczej obejmujący dyspozycje agenta Floridi
rozpoczyna od formuły:
R (i) ⇔ (Q (a, q, d, c, l) ∧ S (i, q, d, c, l))

Artur Machlarz


Uwagi krytyczne

S-teorie i A-teorie

Probabilistyczna modyﬁkacja formuły bazowej

W probabilistycznej modyﬁkacji formuły bazowej zamiast prostej
koniunkcji pytania i odpowiedzi mamy iloczyn prawdopodobieństw:
postawienia pytania i uzyskania odpowiedzi spełniającej warunek
maksymalnej dokładności i precyzji.
R (i) = P (Q (a, q, d, c, l)) x P (A (i, q, d, c, l))).

Artur Machlarz


Uwagi krytyczne

S-teorie i A-teorie

Kolejna probabilistyczna modyfikacja formuły bazowej

Kolejna modyfikacja pozwala uniknąć trudności związanych z
modyfikacją pierwszą:
R (i) = P (A (i, q, d, c, l)), gdy P (Q (a, q, d, c, l)) = 1
R (i) = P (I a (i, q, d, c, l ) → Q (a, q, d, c, l)) x P (A (i, q, d, c,
−
l)), gdy 0 P (Q (a, q, d, c, l)) 1

Artur Machlarz


Uwagi krytyczne

S-teorie i A-teorie


Ostateczna wersja formuły pozwalającej określić wartość relewancji
informacji:
R (i) = P (A (i, q, d, c, lm )), gdy P (Q (a, q, d, c, lm )) = 1
R (i) = P (I a (ni, d, ln ) → Q (a, q, d, c, ln )) x P (A (i, q, d, c,
−
lm )), gdy 0 P (Q (a, q, d, c, lm )) 1

Artur Machlarz


Uwagi krytyczne

S-teorie i A-teorie

Własności sformułowanej deﬁnicji

Informacja ni nie jest w tej formule zależna od zawartości
informacyjnej i.
Formuła określająca wartość R (i) może zostać przełożona na sieć
zależności warunkowych i przedstawiona w sieci Bayesowskiej.
Włącza do kwestii relewancji problem etyczny.

Artur Machlarz


Uwagi krytyczne

S-teorie i A-teorie

Warunek prawdziwości informacji
jeśli analizujemy poznawczą relewancję w kategoriach dążeń
poznawczych, oczywistym jest, że dezinformacja nie czyni
żadnej [pozytywnej] istotnej różnicy w agenta obrazie świata.
Wręcz przeciwnie, jest ona szkodliwa. Bardzo kłopotliwa jest
sytuacja, gdy o 13.15 odjeżdża pociąg, o którym powiedziano
nam, że odjedzie o 14.25. (...)
Luciano Floridi, Understanding Epistemic Relevance, w: Erkenntnis 69/1,
s. 84.

Artur Machlarz


Uwagi krytyczne

S-teorie i A-teorie

jeśli analizujemy poznawczą relewancję w kategoriach dążeń
poznawczych, oczywistym jest, że dezinformacja nie czyni
żadnej [pozytywnej] istotnej różnicy w agenta obrazie świata.
Wręcz przeciwnie, jest ona szkodliwa. Bardzo kłopotliwa jest
sytuacja, gdy o 13.15 odjeżdża pociąg, o którym powiedziano
nam, że odjedzie o 14.25. (...)
Luciano Floridi, Understanding Epistemic Relevance, w: Erkenntnis 69/1,
s. 84.
Wniosek: nie możemy uznać informacji i za relewantną, jeśli informacja i
nie jest prawdziwa.

Artur Machlarz


Uwagi krytyczne

S-teorie i A-teorie


W przyjętej formule:
R (i) = P (I a (ni, d, ln ) → Q (a, q, d, c, ln )) x P (A (i, q, d, c, lm )),
−
gdy 0 P (Q (a, q, d, c, lm )) 1
warunek prawdziwości wyrażony jest nie wprost:
R (i) = 0, gdy P (Q (a, q, d, c, lm ) = 0.

Artur Machlarz


Uwagi krytyczne



Każdy organizm, także ameba, ma pewne potrzeby informacyjne,
których realizacja umożliwia funkcjonowanie w środowisku
naturalnym; dla takich organizmów niektóre informacje są zatem
bardziej relewantne, inne mniej.

Artur Machlarz


Uwagi krytyczne



Brak uzależnienia poziomu R (i) od możliwości dedukcyjnych agenta.

Artur Machlarz


Uwagi krytyczne



Brak uzależnienia poziomu R (i) od możliwości dedukcyjnych agenta.
Koncepcję relewancji poznawczej Floridiego dotyka cała krytyka
prawdziwościowo określonej deﬁnicji informacji.

Artur Machlarz


Uwagi krytyczne


Czy warunkiem tego, żeby R (i) było większe niż 0 musi być prawdziwość
informacji i?
Agent może mieć do czynienia ze zdaniami, których prawdziwości
nie może skontrolować, ale to nie oznacza, że nie mogą one być dla
niego wartościowe poznawczo.
Oszacowanie wartości relewancji przed faktem byłoby w tym
przypadku możliwe tylko o ile informacja uprzednio byłaby znana, a
zatem nie byłoby mowy o informacji o dostępności nowej informacji
odnośnie danej dziedziny.
Brak precyzyjnie określonych podstaw klasyﬁkacji agentów na
zdolnych do rozumienia znaczeń i operujących wyłącznie na
niezinterpretowanych danych (Aaron Sloman, James Fetzer).

Artur Machlarz


Uwagi krytyczne


Dziękuję za uwagę i zapraszam do stawiania pytań!
Artur Machlarz
e-mail: artur.machlarz@uni.opole.pl
www: http://www.uni.opole.pl/∼machlarz

Artur Machlarz


Problem relewancji poznawczej

Recommended

Recommended

More Related Content

More from Artur Machlarz

More from Artur Machlarz (16)

Problem relewancji poznawczej