1. Fakultät Technik und Informatik
Studiendepartment Informatik
16.07.2013
Ivan Demin
1

2. 1. Motivation
2. RLRadio
4. R-Learning for Undiscounted Tasks
3. Zusammenfassung
16.07.2013
2

3. [1]
16.07.2013
3

4. [2]
[1]
16.07.2013
4

5. Was haben diese Dienste gemeinsam?
[2]
[1]
[3]
16.07.2013
5

6. 


Benutzer weiß, dass sein Verhalten für die
Bewertung relevant ist
Liedbewertungen
Favorisierung
16.07.2013
6

7. 


Benutzer weiß nicht, dass sein Verhalten als
relevante Resonanz interpretiert wird
Klickraten
Hördauer
16.07.2013
7

8. [4]
16.07.2013
8

9. 


Zwei Varianten: RLRadio P und RLRadio RL
RLRadio P: Radiosenderauswahl nur anhand
des expliziten Feedbacks
RLRadio RL: Radiosenderauswahl anhand des
expliziten und impliziten Feedbacks
16.07.2013
9

10. [5]
16.07.2013
10

11. 



Repräsentiert die Radiosender-Vorlieben des
Benutzers
Beschränkung des Zustandsraums durch
Aufzeichnung von zwei Radiosendern
Weitere Einschränkungen durch Präferenzen:
tief(<15%), fair(15-40%), hoch(40%-60%) und
sehr hoch(> 60%)
56133 mögliche Zustände
16.07.2013
11

12. 

Neun mögliche Radiosender-Empfehlungen
Keine Musikstück-Empfehlung möglich
Blues
Pop Top
Hits
Metal
Relax
Classic
Rock
16.07.2013
Jazz Fusion
Opera
Baroque
12

13. 

Belohnung anhand der Hörlänge eines
Musikstücks
Belohnung in drei Stufen eingeteilt:
 <15% - null Punkte
 15-60% - ein Punkt
 >60% - zwei Punkte
16.07.2013
13

14. 
Zustandswechsel anhand:
 angegebenen Radiosender Präferenz
 Prozentsatz der letzter zwei Musikstücke
 Aktueller Zustand
16.07.2013
14

15. 


Optimal Policy für RLRadio P mit Policy
Iteration berechnet
Berechnete Strategie aus RLRadio P wird
Startstrategie von RLRadio RL
Optimal Policy von RLRadio RL mit Hilfe RLearning for Undiscounted Tasks verbessert
16.07.2013
15

16. 


Off-Policy Verfahren
Ohne Discountrate
Bestrebung nach jedem Zeitschritt maximale
Belohnung zu erreichen
16.07.2013
16

17. 16.07.2013
17

18. 




Lernraten: 𝛼&𝛽
Belohnung: 𝑟
Durchschnittliche Belohnung: 𝑝
E. a. Belohnungen: 𝑄 𝑠, 𝑎
M. E. a. Belohnungen: 𝑚𝑎𝑥 a 𝑄(𝑠, 𝑎)
16.07.2013
18

19. Blues
Pop Top
Hits
Metal
Relax
Classic
Rock
16.07.2013
Jazz Fusion
Opera
Baroque
19

20. 16.07.2013
20

21. 1,5
0,5 1,1
1,2 1,9 0,6
1,3
16.07.2013
0,7
0,9
21

22. 1,5
0,5 1,1
1,2 1,9 0,6
1,3
16.07.2013
0,7
0,9
22

23. 

𝑝 = 1,4
𝑟=2
16.07.2013
23

24. 16.07.2013
24

25. 1,5
0,5 1,1
1,2 1,975 0,6
1,3
16.07.2013
0,7
0,9
25

26. r
p
Q(s,a)
0
0
1,76
1,056
1,6552
1,465
16.07.2013
26

27. Radiosenderwechsel
1,5 0,5 1,1
1,2 1,465 0,6
1,3
16.07.2013
0,7
0,9
27

28. 
Vorteile:
 Kein Terminaler Zustand notwendig
 schlechte Belohnungen führen zum sofortigen
Radiosenderwechsel
 für kontinuierliche Aufgaben geeignet

Nachteil:
 Höhere Gefahr die „Klippe“ runterzufallen
16.07.2013
28

29. [6]
16.07.2013
29

30. 


Radiovorschlagssystem anhand explizitem
und implizitem Feedback
R-Learning for Undiscounted Tasks eignet
sich für diese Problemstellung
Transkription des Systems in andere Bereiche
möglich
16.07.2013
30

31. Vielen Dank
Für Ihre
Aufmerksamkeit
Fragen?
16.07.2013
31

32. 




[Bortz u. Lienert 2008] Bortz, Jürgen ; Lienert, Gustav A.: Kurzgefasste Statistik
für die klinische Forschung -. Berlin : Springer DE, 2008. – ISBN 978–3–540–
75738–2
[Jawaheer u. a. 2010] Jawaheer, Gawesh ; Szomszor, Martin ; Kostkova, Patty:
Comparison of implicit and explicit feedback from an online music
recommendation service. In: Proceedings of the 1st International Workshop on
Information Heterogeneity and Fusion in Recommender Systems - HetRec ’10
(2010), 47–51.
[Lee 2005] Lee, Mark: 6.7 R-Learning for Undiscounted Continuing Tasks.
http://webdocs.cs.ualberta.ca/~sutton/book/ebook/node67.html. Version: 2005
[Moling u. a. 2012] Moling, Omar ; Baltrunas, Linas ; Ricci, Francesco: Optimal
radiochannel recommendations with explicit and implicit feedback. In:
Proceedings of the sixthACMconference on Recommender systems - RecSys ’12
(2012), 75.
[Richard S. Sutton 1998] Richard S. Sutton, Andrew G. B.: Reinforcement
Learning: An Introduction.http://webdocs.cs.ualberta.ca/~sutton/book/ebook/.
Version: 1998
16.07.2013
32

33. 




[1] spotify – Abruf:14.07.2013 http://www.smartdroid.de/wpcontent/uploads/2012/03/spotify-logo.png
[2] Last.fm – Abruf:14.07.2013 http://sysout.be/wpcontent/uploads/2013/01/last-fm-logo.png
[3] pandora - Abruf:14.07.2013
http://a1.mzstatic.com/us/r1000/033/Purple4/v4/16/38/4e/16384e693263-9d3f-484b-7c06488658ca/mzl.qpnxgmrs.png
[4] RLRadio & [5] Radio Präferenzen: Optimal radio channel
recommendations with explicit and implicit feedback. In: Proceedings of
the sixth ACMconference on Recommender systems - RecSys ’12 (2012),
75. http://dx.doi.org/10.1145/2365952.2365971. – DOI
10.1145/2365952.2365971. ISBN 9781450312707
[6] how i met your mother – Abruf:15.07.2013
http://images3.wikia.nocookie.net/__cb20110701174449/how-i-metyour-mother/de/images/b/b3/Future-Barney-how-i-met-your-mother2590507-1280-720.jpg
16.07.2013
33