講演者: 小宮山純平 先生 (東京大学生産技術研究所) 概要: 多腕バンディット問題は、情報の探索と活用のトレードオフを解決するための最も単純なモデルである。 この問題は1930年代から統計家によって扱われてきたが、近年オンライン広告配置などへの応用を契機として機械学習分野で研究が加速している。 本発表では、前半で多腕バンディット問題の定式化について説明した後、後半でオンライン広告配置、A/Bテスト、囲碁アルゴリズムなどの応用について解説する。

2. 

➢
➢

➢

3.  𝐾

(image from
http://www.directgamesroom.com )

5. ➢
➢
➢

6. 𝑡 = 1,2, … , 𝑇
𝐼 𝑡 ∈ 𝐾 =
1, … , 𝐾
෠𝑋𝐼 𝑡 𝑡

7. 
➢
➢
➢

8. Bernoulli: 1= ,
0= )

9. 𝑡 = 1,2, … , 𝑇
𝐼 𝑡 ∈ 𝐾 =
1, … , 𝐾
෠𝑋𝐼 𝑡 𝑡

10. 𝑡 = 1,2, … , 𝑇
𝐼 𝑡 ∈ 𝐾 =
1, … , 𝐾
෠𝑋𝐼 𝑡 𝑡

11. ベイズ的 確率的 敵対的
モデル ベイズ 頻度論 任意
未来の報酬は？ 割引 今と同じ 今と同じ
アルゴリズム Gittins指数 UCB/TS/MED Exp3 (指数重み)
https://www.slideshare.net
/JohnTyndall
/an-introduction-to-bayesian-statistics
より

12. ベイズ的 確率的 敵対的
モデル ベイズ 頻度論 任意
未来の報酬は？ 割引 今と同じ 今と同じ
アルゴリズム Gittins指数 UCB/TS/MED Exp3 (指数重み)
https://www.slideshare.net
/JohnTyndall
/an-introduction-to-bayesian-statistics
より

13. ベイズ的 確率的 敵対的
モデル ベイズ 頻度論 任意
未来の報酬は？ 割引 今と同じ 今と同じ
アルゴリズム Gittins指数 UCB/TS/MED Exp3 (指数重み)
https://www.slideshare.net
/JohnTyndall
/an-introduction-to-bayesian-statistics
より

14. •
𝛽 ∈ (0,1) 𝝁𝒊(𝟎) 𝒊
𝑡 = 1,2, … , 𝑇
𝐼 𝑡 ∈ 𝐾
෠𝑋𝐼 𝑡 𝜇𝐼 𝑡 (𝑡)

15. •
𝛽 ∈ (0,1) 𝝁𝒊(𝟎) 𝒊
𝑡 = 1,2, … , 𝑇
𝐼 𝑡 ∈ 𝐾
෠𝑋𝐼 𝑡 𝜇𝐼 𝑡 (𝑡)

16. •
𝛽 ∈ (0,1) 𝝁𝒊(𝟎) 𝒊
𝑡 = 1,2, … , 𝑇
𝐼 𝑡 ∈ 𝐾
෠𝑋𝐼 𝑡 𝜇𝐼 𝑡 (𝑡)

17. 
𝐺𝑖 𝑡
𝑖


18. 😁
😁
😣
😣 𝛽
😣

19. •
𝑡 = 1,2, … , 𝑇
𝐼 𝑡 ∈ 𝐾
෠𝑋𝐼 𝑡 𝑡 ~𝑃(𝜇𝐼 𝑡 )
E σ 𝑡=1
𝑇 ෠𝑋𝐼 𝑡 𝑡

20. •
𝑡 = 1,2, … , 𝑇
𝐼 𝑡 ∈ 𝐾
෠𝑋𝐼 𝑡 𝑡 ~𝑃(𝜇𝐼 𝑡 )
E σ 𝑡=1
𝑇 ෠𝑋𝐼 𝑡 𝑡

21. 
Regret 𝑇 = ෍
𝑡=1
𝑇
max
𝑖
𝜇𝑖 − ෍
𝑡=1
𝑇
𝜇𝐼 𝑡 .


➢ lim
𝑇→∞
Regret(𝑇)
log 𝑇
→ 𝐶∗ w. p. 1
➢ 𝐶∗
𝜇𝑖 𝑖

22. 
Regret 𝑇 = ෍
𝑡=1
𝑇
max
𝑖
𝜇𝑖 − ෍
𝑡=1
𝑇
𝜇𝐼 𝑡 .


➢ lim
𝑇→∞
Regret(𝑇)
log 𝑇
→ 𝐶∗ w. p. 1
➢ 𝐶∗
𝜇𝑖 𝑖

23. 
Regret 𝑇 = ෍
𝑡=1
𝑇
max
𝑖
𝜇𝑖 − ෍
𝑡=1
𝑇
𝜇𝐼 𝑡 .


➢ lim
𝑇→∞
Regret(𝑇)
log 𝑇
→ 𝐶∗ w. p. 1
➢ 𝐶∗
𝜇𝑖 𝑖

24.  𝐵UCB1 𝑖, 𝑡
𝐵UCB1 𝑖, 𝑡 = ො𝜇𝑖(𝑡) +
log(𝑡)
𝑁𝑖(𝑡)
ො𝜇𝑖
𝐵UCB1 𝑖, 𝑡

25.  𝐵UCB1 𝑖, 𝑡
𝐵UCB1 𝑖, 𝑡 = ො𝜇𝑖(𝑡) +
log(𝑡)
𝑁𝑖(𝑡)
ො𝜇𝑖
𝐵UCB1 𝑖, 𝑡

26. 😁
😁
😣

27. •
𝑡 = 1,2, … , 𝑇
{ ෠𝑋𝑖 𝑡 }
𝐼 𝑡 ∈ 𝐾
෠𝑋𝐼 𝑡 ∈ [0,1]
E σ 𝑡=1
𝑇 ෠𝑋𝐼 𝑡 𝑡

28.  Regret 𝑇 = max
𝑖
σ 𝑡=1
𝑇 ෠𝑋𝑖 𝑡 −
σ 𝑡=1
𝑇 ෠𝑋𝐼(𝑡) 𝑡 .

Ω(𝑇)
 𝑜(𝑇)
➢

29.  𝑝𝑖(𝑡)
• 𝛾 𝜂 ෨𝑂( 𝐾𝑇)
総報酬の不偏推定量:
総報酬に対して指数的に高い
確率でアームを引く

30. 😁
😣

31. 

➢
➢

32. 

➢
➢

35. 

➢
➢

➢

36. 𝑡 = 1,2, … , 𝑇
𝑐(𝑡)
𝐼 𝑡 ∈ 𝐾
෠𝑋𝐼 𝑡 𝑡

37. 
➢
➢
𝜋: C → [𝐾]


38. 



39. 


➢
➢
Leaf
node

42. 

➢
➢
➢


43. 
➢

➢
➢


44. 

➢
➢

45. 

https://ambervincent.wordpress.com/2015/01/15/this-is-an-a-b-
conversation-so-c-your-way-out-ab-testing/

46. 
➢
➢

➢
➢

47. 
•
•


48. •

49. •

50. https://people.duke.edu/~rnau/411rand.htm

52. 





53. 
➢
➢
