Modeling intransitivity in matchup and comparison data (WSDM 2016) http://www.cs.cornell.edu/~shuochen/pubs/wsdm16_chen.pdf

1. Modeling Intransitivity in Matchup and
Comparison Data
Shuo Chen and Thorsten Joachims (Cornell Univ)
WSDM 2016 勉強会, 2016/3/19
y_̲benjo

2. 話の流流れ
1. 概要，貢献
2. 問題 : Pairwise Comparison
3. 既存⼿手法 : Bradlley-‐‑‒Terry model
4. 提案⼿手法 : blade-‐‑‒chest model
1. アイデア
2. 定式化，推定
5. 実験
1. ⼈人⼯工データ
2. 実データ : e-‐‑‒Sports, テニス...
6. まとめ

3. 1. 概要，貢献
• 概要
– 1対1の勝負/⽐比較において，さんすくみの関係を推定
する
– e-‐‑‒Sports の対戦データにおいてその傾向が顕著に現
れることを⽰示した
• 貢献
– ⾮非推移性を持つモデルを提案したこと

4. 2. 問題設定
• Pairwise Comparison
– ⼊入⼒力力 : ペア < a, b >
– 出⼒力力 : どちらが好まれるか/勝つか
• 実例例
– ⼆二⼈人のチェスプレイヤーのどちらが勝つか?
– どちらの寿司ネタが好まれるか?
– 応⽤用 : XBox Live におけるマッチング
• 強すぎる/弱すぎる相⼿手と当たっても⾯面⽩白く無い

5. 3. 既存⼿手法
• Bradlley-‐‑‒Terry (BT) model
– 古典的なモデル
– 仮定 : 各ユーザの強さは実数値 γ で表現される
– この時， a が b に勝つ確率率率は
matchup
func)on

6. 3. BTモデルの性質
• M(a, b) = 0 で a の勝率率率は50%
– M(a, b) > 0 になるにつれ， a の勝率率率が上がる
• M(a, b) = -‐‑‒M(b, a)
– P(a > b) = 1 – P(b > a)
• 推移性
– P(a > b) > 0 かつ P(b > c) > 0 なら P(a > c) > 0

7. 4-‐‑‒1. 提案⼿手法 – アイデア
• アイデア : ⾮非推移性 (intransitivity)
– 定義 : プレイヤー a, b, c について以下が成⽴立立する
• P(a > b) > 0.5
• P(b > c) > 0.5
• P(c > a) > 0.5
– じゃんけんの3つの⼿手の関係
• これを実現するため，各ユーザを多次元で表現する

8. 4-‐‑‒1. 提案⼿手法 – アイデア
• 例例 : 剣を使って戦う⼆二⼈人
– プレイヤー a と b は⼆二つの部位を持っている
• 剣 (blade)
– これでプレイヤーは攻撃する
• 胸部 (chest)
– ここを攻撃されると負ける
– ⾃自分の剣が相⼿手の胸に近い⽅方が勝利利する

9. 4-‐‑‒2. 提案⼿手法 – 定式化
• d 次元ベクトル a_̲blade / a_̲chest を⽤用いて
– blade-‐‑‒chest-‐‑‒dist-‐‑‒model
– blade-‐‑‒chest-‐‑‒inner-‐‑‒model
• d 次元のユーザ表現→戦いのスタイル

10. 4-‐‑‒2. 提案⼿手法 – 推定
• 推定 : SGDによる対数尤度度最⼤大化
– 勝敗データ集合 D におけるプレイヤー a/b について
a が na 回，b が nb 回勝利利していたとすると尤度度は
以下の式

11. 5-‐‑‒1. 実験 – ⼈人⼯工データ
• ⼊入⼒力力 : じゃんけん / 5すくみゲームの勝敗データ
• 出⼒力力 : d = 2 で推定した blade/chest
– ⽮矢印の先 : blade
– ⽮矢印の尾 : chest
Figure 2: The visualization of our model trained on rock-paper-scissors (left panel) and rock-paper-scissors-lizard-Spock (right
panel) datasets without bias terms and d set to 2. Each player is represented by an arrow, with the head being the blade vector and
the tail being the chest vector.
attack range, toughness, etc. The choice of what and when to build
based on scouting information from the enemy is an essential part
of the strategy of Starcraft II.
We collected all the match results of professional Starcraft II
players from the website aligulac.com up until February 20, 2014
(the day we did the crawling). There are two phases of Starcraft
II: the original game StarCraft II: Wings of Liberty (WoL), and the
later released expansion StarCraft II: Heart of the Swarm (HotS),
which adds more options for the players and is often considered as
a different game. We treat them separately. For of WoL, we have
4, 381 players with 61, 657 games, and 2, 287 players with 28, 582
main types of strategies called rush, boom and turtle[13], with rush
(early aggression) beating boom (economy first), boom beating tur-
tle (pure defensive), and turtle beating rush9
. We believe that the
relations between different types of general strategies that are as-
sociated with the nature of the game could also give rise to the
captured intransitivity in the Starcraft II data.
4.3.2 Defense of the Ancients 2
Defense of the Ancients 2 (DotA 2)10
is a multi-player online bat-
tle arena (MOBA) game developed by Valve Corporation. In con-
trast to Starcraft II, where each player commands a whole army, in
引用元
:
元論文
Figure
2

12. 5-‐‑‒2. 実験 – 実データ (1)
1. ⾮非推移性がオンラインゲームに存在するか?
• Yes (2/3 で精度度/対数尤度度[以降降評価指標]改善)
• データ : Starcraft II (WoL, HotS), DotA2
• DotA2のみ評価指標が改善せず
• 理理由 : チーム戦のため，チームの強さが重要
2. ⾮非推移性がプロテニスに存在するか?
• No (評価指標が改善せず)
• 理理由
• プロプレイヤーはオールラウンドな強さが求められる
• ランキングにもとづくトーナメント制が多いため

13. 5-‐‑‒2. 実験 – 実データ (2)
3. 格闘ゲームの相性表が再構成できるか?
• Yes
• データ : ストリートファイター4のダイヤグラム
• ⼿手法
• ダイヤグラム(実/⼈人⼯工)に基づいて対戦データを⽣生成，
ダイヤグラムが再構成できるか
– 実験の理理由
• ⾮非推移性が現れなかったのはデータ不不⾜足のため(?)

14. 5-‐‑‒2. 実験 – 実データ (3)
4. ランク統合データにも⾮非推移性が存在するか?
• Yes (弱いが)
• ⼿手法
• 複数の順序データを pairwise データに
– {マグロ>イクラ>イカ，イクラ>イカ>マグロ，イク
ラ>マグロ>イカ} を
– {イクラ>マグロ:2, イクラ>イカ:3, マグロ>イクラ:
1, マグロ>イカ:2, イカ>マグロ:1} に変換

15. 6. まとめ
• まとめ
– さんすくみの関係を持つ pairwise comparison のモ
デルを提案
– 実験により，明確に現れるデータとそうでないもの
が存在することを確認
• 感想
– シンプルで⾯面⽩白い
– 著者，PhD後はStarcraft2の開発会社に就職
• metric embedding の論論⽂文を他に書いている