Fortschritte im Bereich Collaborative Filtering

Vortrag von Martin Esche

06.12.2013
Gliederung
Kurze Einführung in die Funktionsweise von
Collaborative Filtering
 Vorstellung Verschiedener Methoden zur
Ver...
Einführung in die Funktionalität von Collaborative
Filtering
Einführung zu Collaborative Filtering
Grundsätzliche Funktionsweise:
● Es werden Verhaltensmuster von Nutzern
auf Grundlag...
Einführung zu Collaborative Filtering
Es gibt hierbei zwei grundsätzlich unterschiedliche
Ansätze:
● Neighborhood Modelle:...
Herausforderungen von
Collaborative Filtering
Probleme mit beiden Verfahren (naiv):
● Datenknappheit:
Bei großen Datenbank...
Neighborhood-Modelle
Neighborhood-Modelle: Einführung
Grundsätzlicher Ablauf (Nutzervergleich):
● Eine Nachbarschaft(Neighborhood) von Nutzern
...
Neighborhood-Modelle: Einführung
Grundsätzlicher Ablauf (Produktvergleich):
● Analog zum Nutzervergleich wird eine Produkt...
Neighborhood-Modelle: Berechnung
der Ähnlichkeit
Bei der Schätzung von Bewertungen ist zu
beachten, dass es Nutzer gibt, d...
Neighborhood-Modelle: Berechnung
der Ähnlichkeit
Die Tendenz von Nutzern, die Produkte i und j
ähnlich zu bewerten, wird d...
Neighborhood-Modelle: Berechnung
der Ähnlichkeit
Es lässt sich dann für jeden Nutzer u die geschätzte
Wertung für das Prod...
Neighborhood-Modelle: Berechnung
der Ähnlichkeit
Hierbei ist zu beachten, dass die Gewichtung des
Durchschnitts hierbei vo...
Matrix Factorization
Matrix Factorization: Einführung
Bei Matrix Factorization erhalten Produkte und
Nutzer gemeinsame Faktoren, auf denen ihre...
Matrix Factorization: SVD(Singular
Value Decomposition)
Jedes Produkt i ist mit einem Vektor q(i) assoziiert,
und jeder Nu...
Matrix Factorization: SVD
Multipliziert man also für Faktoren q(i) und p(u) skalar
und nimmt noch die zuvor erklärten Abwe...
Matrix Factorization: SVD
Um die Modellparameter (b(i), b(u), q(i), p(u) )
herauszufinden, wird die mittlere Quadratische
...
Matrix Factorization: SVD
Um die Modellparameter (b(i), b(u), q(i), p(u) )
herauszufinden, wird die mittlere Quadratische
...
Matrix Factorization: SVD++
Die SVD-Methode kann dadurch verbessert werden,
dass auch implizite Information einbezogen wir...
Matrix Factorization: SVD++
Beim SVD++ Model ist diese Zusatzinformation,
welche Produkte der Nutzer bewertet hat. Diese
I...
Matrix Factorization: timeSVD++
Beim timeSVD++ Model wird zusätzlich zur normalen
Bewertungsinformation noch berücksichtig...
Matrix Factorization: timeSVD++
Durch diese Anpassungen kann Beispielsweise
erkannt werden, welche Art von Filmen zu
Weihn...
Vergleich der Vorgestellten Modelle
Vergleich der Modelle:
Neighbourhood Nutzer/Produkte
Produkt-fokussierte Neighbourhood-Modelle können
Im Vergleich zu Nutz...
Vergleich der Modelle: Matrix
Factorisation

Die Standardmethode SVD kann durch verschiedene
Zusatzvektoren so erweitert w...
Ausblick: Modellmischformen
Es ist durchaus möglich, die hier präsentierten
Modelle erfolgreich zu vermischen;
Beispielswe...
Quellen
●

Advances in Collaborative Filtering
Yehuda Koren and Robert Bell

Analysis of Recommendation Algorithms for E-C...
Nächste SlideShare
Wird geladen in …5
×

Fortschritte im Bereich Collaborative Filtering

714 Aufrufe

Veröffentlicht am

Ein Vortrag von Martin Esche aus dem Hauptseminar "Personalisierung mit großen Daten".

Veröffentlicht in: Technologie
  • Als Erste(r) kommentieren

  • Gehören Sie zu den Ersten, denen das gefällt!

Fortschritte im Bereich Collaborative Filtering

  1. 1. Fortschritte im Bereich Collaborative Filtering Vortrag von Martin Esche 06.12.2013
  2. 2. Gliederung Kurze Einführung in die Funktionsweise von Collaborative Filtering  Vorstellung Verschiedener Methoden zur Verbesserung der Ergebnisse  Neighborhood Model  Matrix Factorization Model  Vergleich der vorgestellten Methoden 
  3. 3. Einführung in die Funktionalität von Collaborative Filtering
  4. 4. Einführung zu Collaborative Filtering Grundsätzliche Funktionsweise: ● Es werden Verhaltensmuster von Nutzern auf Grundlage verschiedener Informationen (z.B. Bewertungen, Kaufhistorie) in Bezug zu Produkten erstellt ● Aufgrund der erstellten Muster werden die Interessen einzelner Nutzer vorhergesagt ● Dem Nutzer werden dann Dinge empfohlen, die den vorausgesagten Interessen entsprechen
  5. 5. Einführung zu Collaborative Filtering Es gibt hierbei zwei grundsätzlich unterschiedliche Ansätze: ● Neighborhood Modelle: Je nach Model werden Gruppen ähnlicher Nutzer/Gruppen ähnlicher Produkte bestimmt, die dann für Empfehlungen genutzt werden ● Matrix Factorization: Nutzer und Produkte werden in einer Matrix auf einen Faktor reduziert und dann verglichen
  6. 6. Herausforderungen von Collaborative Filtering Probleme mit beiden Verfahren (naiv): ● Datenknappheit: Bei großen Datenbanken: Große Mehrheit der Bewertungen ist unbekannt ● Skalierbarkeit: Der Berechnungsaufwand steigt exponentiell mit der Anzahl der Nutzer/Produkte ● Ignorieren von Synonymen: Ähnliche Produkte können übersehen werden, weil sie unterschiedlich benannt sind
  7. 7. Neighborhood-Modelle
  8. 8. Neighborhood-Modelle: Einführung Grundsätzlicher Ablauf (Nutzervergleich): ● Eine Nachbarschaft(Neighborhood) von Nutzern wird für einen Nutzer bestimmt, indem betrachtet wird, welche anderen Nutzer Produkte ähnlich wie dieser Nutzer bewerten ● Aus der Nachbarschaft werden die von den einzelnen Nutzern bewerteten Produkte nach Güte der Wertung und Häufigkeit des Auftretens verglichen, worauf die besten ausgewählt und dem Nutzer empfohlen werden
  9. 9. Neighborhood-Modelle: Einführung Grundsätzlicher Ablauf (Produktvergleich): ● Analog zum Nutzervergleich wird eine Produktnachbarschaft bestimmt ● Für das bestimmte Produkt wird über die Bewertung der Nachbarschaftsprodukte eine Wertung des Nutzers geschätzt ● Die Produkte mit der höchsten geschätzten Wertung werden dann angezeigt
  10. 10. Neighborhood-Modelle: Berechnung der Ähnlichkeit Bei der Schätzung von Bewertungen ist zu beachten, dass es Nutzer gibt, die im allgemeinen höher abstimmen. Ebenso gibt es Produkte, die im allgemeinen eine bessere Bewertung erhalten. → Dies ist in den Schätzungen mit einzubeziehen! Standardbewertung : x Abweichung Nutzer u: b(u) Abweichung Produkt i: b(i) Standardbewertung Nutzer u, Produkt i: b ui =x+b u+bi
  11. 11. Neighborhood-Modelle: Berechnung der Ähnlichkeit Die Tendenz von Nutzern, die Produkte i und j ähnlich zu bewerten, wird dann mit dem PearsonKorrelationskoeffizient berechnet. Dabei wird die Gruppe Nutzer U betrachtet, die sowohl i als auch j bewertet haben. Auch wird die Abweichung von Nutzern und Produkten b(u,i) und b(u,j) mit einbezogen. pij = (∑ u∈U (r ui −b ui )(r uj −b uj )) √ 2 2 ( ( ∑ u∈U (r ui −bui ) ∗( ∑ u∈U (r uj −b uj ) )))
  12. 12. Neighborhood-Modelle: Berechnung der Ähnlichkeit Es lässt sich dann für jeden Nutzer u die geschätzte Wertung für das Produkt i berechnen, indem man einen gewichteten Durchschnitt der Wertungen für die durch die obige Formel bestimmten nächsten Nachbarn K errechnet. r ui =b ui + ( ∑ j∈ K pij (r uj −b uj )) ( ∑ j∈ K pij )
  13. 13. Neighborhood-Modelle: Berechnung der Ähnlichkeit Hierbei ist zu beachten, dass die Gewichtung des Durchschnitts hierbei von der Ähnlichkeitsfunktion der Nachbarn abhängt, was einige Probleme mit sich bringt. Eine verbesserte Version dieser Berechnung würde Für die Gewichtung die tatsächlichen Bewertungen verwenden.
  14. 14. Matrix Factorization
  15. 15. Matrix Factorization: Einführung Bei Matrix Factorization erhalten Produkte und Nutzer gemeinsame Faktoren, auf denen ihre Abhängigkeit voneinander abgebildet wird. Beispiel: Filme Faktor: Komödie oder Drama Ein Film hat einen hohen Komödienfaktor, ein Nutzer einen großes Interesse an hohem Komödienfaktor → Der Film ist für den Nutzer interessant
  16. 16. Matrix Factorization: SVD(Singular Value Decomposition) Jedes Produkt i ist mit einem Vektor q(i) assoziiert, und jeder Nutzer u mit einem Vektor p(u). Für i sagen die Elemente von q aus, wie hoch der Anteil an dem jeweiligen Faktor für das Produkt ist, für u sagt p aus, wie hoch das jeweilige Interesse ist. Das Skalarprodukt der Vektoren zeigt dann das Intresse des Nutzers am gegebenen Produkt.
  17. 17. Matrix Factorization: SVD Multipliziert man also für Faktoren q(i) und p(u) skalar und nimmt noch die zuvor erklärten Abweichungen b(u) und b(i) sowie die Standardwertung x hinzu, so Lässt sich die vorhergesehene Bewertung des Produktes i durch den Nutzer u r(u,i) wie folgt berechnen: T i r ui = x+bi +b u +q pu
  18. 18. Matrix Factorization: SVD Um die Modellparameter (b(i), b(u), q(i), p(u) ) herauszufinden, wird die mittlere Quadratische Abweichung berechnet: min( ∑ (u , i)∈K T i 2 2 2 2 2 r ui −x−bi −bu −q p u ) +k (bi +bu +∥qi ∥+∥pu∥)
  19. 19. Matrix Factorization: SVD Um die Modellparameter (b(i), b(u), q(i), p(u) ) herauszufinden, wird die mittlere Quadratische Abweichung berechnet: min( ∑ (u , i)∈K T i 2 2 i 2 u 2 i 2 u r ui −x−bi −bu −q p u ) +k (b +b +∥q ∥+∥p ∥) Hier kann man dann mit Hilfe der kleinstenQuadrate-Methode abwechselnd p's fest setzt um nach den q's aufzulösen und q's fest setzt um nach den p's aufzulösen.
  20. 20. Matrix Factorization: SVD++ Die SVD-Methode kann dadurch verbessert werden, dass auch implizite Information einbezogen wird Implizite Information bedeutet alle Information, die nicht direkt durch Bewertungen gegeben wird. Dies kann zum Beispiel sein, wie oft sich ein Nutzer ein Produkt ansieht, oder ob er ein Produkt bewertet hat.
  21. 21. Matrix Factorization: SVD++ Beim SVD++ Model ist diese Zusatzinformation, welche Produkte der Nutzer bewertet hat. Diese Information wird durch einen weiteren Vektor y(i) beim Produkt dargestellt. Die neue Gleichung ist dann: T i ( r ui =x+bi +b u +q ( p u +∣R(u)∣ −1 ) 2 ∗∑ j∈ R(u) y j ) Die Modellparameter werden hier wieder durch Minimieren der mittleren quadratischen Abweichung und stochastischen Gradientenabstieg bestimmt.
  22. 22. Matrix Factorization: timeSVD++ Beim timeSVD++ Model wird zusätzlich zur normalen Bewertungsinformation noch berücksichtigt, dass sich Wertungen mit der Zeit ändern können, so können Beispielsweise Horrorfilme ein Jahr lang hohe Popularität genießen, jedoch dann abfallen. Das bedeutet, dass Nutzerausrichtung b(u), Produktbevorzugung b(i) und Nutzervorlieben p(u) jeweils noch eine zeitliche Komponente mit sich bringen: bi (t) , b u (t) und p u (t )
  23. 23. Matrix Factorization: timeSVD++ Durch diese Anpassungen kann Beispielsweise erkannt werden, welche Art von Filmen zu Weihnachten mehr ausgeliehen werden als sonst im Jahr, oder wie ein Nutzer seine Vorlieben im Laufe der Zeit ändert.
  24. 24. Vergleich der Vorgestellten Modelle
  25. 25. Vergleich der Modelle: Neighbourhood Nutzer/Produkte Produkt-fokussierte Neighbourhood-Modelle können Im Vergleich zu Nutzerfokussierten Modellen deutlich einfacher neue Bewertungen und Nutzer einfügen, solange sich die Beziehungen zwischen Produkten nicht ändert, was sehr selten geschieht.
  26. 26. Vergleich der Modelle: Matrix Factorisation Die Standardmethode SVD kann durch verschiedene Zusatzvektoren so erweitert werden, dass sie in einem Datenbanktest von den hier betrachteten Modellen die höchste Genauigkeit bei der Empfehlung Von Produkten erzielt. Die timeSVD++ Methodik, bei der dies der Fall war, kann auch mit weniger Information gute Ergebnisse liefern, da sie sich nicht nur auf Bewertungen verlässt.
  27. 27. Ausblick: Modellmischformen Es ist durchaus möglich, die hier präsentierten Modelle erfolgreich zu vermischen; Beispielsweise lässt sich ein Neighborhood Modell auch mit Faktoren realisieren, auch zeitliche Aspekte können bei erweiterten Modellen eine Rolle spielen.
  28. 28. Quellen ● Advances in Collaborative Filtering Yehuda Koren and Robert Bell Analysis of Recommendation Algorithms for E-Commerce Badrul Sarwar, George Karypis, Joseph Konstan, and John Riedl ● Application of Dimensionality Reduction in Recommender System - A Case Study Badrul Sarwar, George Karypis, Joseph Konstan, and John Riedl ●

×