Das Dokument beschreibt die Schlusspräsentation eines Projekts zur Entwicklung eines Netflix-Empfehlungssystems, das ein Framework für automatisches Parameter-Tuning und Blending verwendet. Es werden verschiedene Algorithmen getestet, wobei die Ergebnisse und die Erfahrungen aus dem Projekt sowie eine kritische Analyse der Vorgehensweise und des Zeitmanagements thematisiert werden. Die Herausforderungen und Verbesserungsmöglichkeiten werden ebenfalls aufgeführt, insbesondere hinsichtlich der Softwareentwicklung und Teamarbeit.

1. 1
Challenge Projekt
(HS09)
Schlusspräsentation
18.12.2009

2. 2
Agenda
Kurzrückblick
Framework
Automatic Parameter Tuning
Blending
1+1 = 4
Lessons Learned
Kritik & Verbesserungen

3. 3
Kurzrückblick
Framework shopping (Python, Java, C++)
pyflix, Kadri, jNetFlixPrize, Netflix Recommender
Framework
Code sharing
Woche 12: Team Merging
Ressourcenknappheit
weniger Blening als gewünscht

4. 4
Framework
Netflix Recommender Framework
5’735 vs. 2’287 LOC (+ 251%)
36 vs. 16 Klassen (+ 225%)
neu mit Datum, Blending, Berechnungs-Export,
Parameter-Automatisierung, Probe-/Qualifying Switch

5. 5
Algorithmen
SVD
SVD++ verworfen
kNN
Double Average
SlopeOne
Time Dependent Models
bessere Ergebnisse ohne normaler User/Movie Average

6. 6
Algorithmen müssen folgende Kriterien erfüllen:
Auskunft über ihre Parameter geben
Parameter setzen lassen
Parameter werden zufällig gewählt
Ergebnisse werden gespeichert
Probe Qualifying Switch
Konfigurierbarer Ablauf
Parameter Tuning
(APT)

7. 7
Parameter Tuning:
Resultat
Resultat
DoubleAverage: 1.015126 vs. 1.01384 (-0.2%)
SlopeOne: abcd 0.989vs. 0.983 (-0.6%)
SVD: 0.92 vs.0.917972 (-0.3%)
kNN: 0.937 vs. 0.928 (-1.0%)
Time Dep User Model: 1.055 vs. 1.0378 (-1.66%)

8. 8
Blending
Blender Formel: doubleaverage -0.00325106, knn 0
0.336127, slopeone -0.0264011, svd #1 0.225386, svd
#2 0.342997, svd #3 0.125141

9. 9
1 + 1 = 4
Zusammenschluss Gruppe 1 (BigBoom) und Gruppe
5 (Ibex)
Codesharing
grosses Archiv an Modellen
den “grossen” nachgemacht

10. 10
Statistiken
BigBoom
#1: 1.0539844
#2: 0.92650296
#3: 0.91475416
#4: 0.9100432
Ibex
(-5% vs
Cinematch)
innert 14 Wochen!

11. 11
Lessons Learned
C++ mühsam, aber leistungsfähig
Framework nicht ideale / perfekte Software
interessant, (eigene) Algorithmen zu erforschen und
umsetzen
Viel Zeit = Wenig Resultate
spannend, mit grosser Datenmenge zu arbeiten

12. 12
Kritik &
Verbesserungen
Modul-Bewertung nicht klar
Bessere Zeitplanung
Alles am Schluss ist ungünstig
Zuviel Zeit auf Frameworkerweiterung
gleiches Framework für alle
HSR- & Netflix-Dataset

13. 13
Dabei Sein Ist Alles
# 3# 3
War ja klar, dass Java besser ist ;-)

14. 14