社内勉強会LT Thursday 2018/01/18発表分

1. A/Bテストの
ための検定
理論
2018年 1月 18日
LT Thursday@Seminer Room
いしばし げんき

2. 自己紹介
● 石橋 弦樹(いしばし げんき)
● 2015年新卒としてCAに入社
● MDH DSPチーム 開発エンジニア
● 統計学・機械学習勉強中
● 日本史とか世界史とかの面白さは全然わか
らないけど、哲学とか数学とか新しい概念
が生まれる背景・歴史はすごい好き

3. A/Bテストとは
● A/Bテストとは、ある施策が良いかどうかを判断するために、2つの施策同士を比較
・検討すること
○ 色やレイアウトを変えて売上が増えたか否か
○ キャンペーン施策を打ってアプリの継続率が伸びたか否か
○ 文言の変更によって効果があったか否か
○ etc...
LPの最適化
https://liskul.com/lp_lpo3-5929
CVRの改善
https://liginc.co.jp/web/useful/135228

4. A/Bテストによる効果は？
● 新しい施策によって数は増えたけどほんとに優れた施策？？
○ 前日より売上が100万円伸びた
○ CVRが1%増えた
○ 視聴率が2%上がった
● その数値がたまたまじゃないって言える？？
検定の出番！！

5. 検定とは
● 検定とは、ある事象を仮定した時に、観測された事象が生じる確率を出すことでそ
の仮定が正しいか否か結論を出すこと
● 検定の考え方
○ A/Bテストの場合、施策前後で差があることを主張したい
○ ある事象Aともう一つの事象Bに差がないと仮定
○ 観測されたデータがその仮定上だと成り立つ可能性を算出
○ 可能性が非常に低いことを示すことことで最初の主張を正当化

6. 検定に用いる用語の説明
● 帰無仮説
○ ある事象ともう一つの事象に差がないとする仮説
● 対立仮説
○ ある事象ともう一つの事象に差があるとする仮説
○ 主張したしたいことはこいつ
● 有意水準
○ 可能性が非常に低いと判断するための閾値
○ 慣習的に1% or 5%が用いられる
● 統計量
○ 観測されたデータから算出される平均・分散・比率などのデータ
● 採択・棄却
○ 採択 = 設定した仮説を受け入れること
○ 棄却 = 設定された仮説を否定すること

7. 検定の手順
● 検定を行う手順
1. 帰無仮説と対立仮説を設定
2. 検定統計量を選択
3. 有意水準αの決定
4. 観測された検定統計量の実現値を求める
5. その実現値が棄却域に入れば帰無仮説を棄却して、対立仮説を採択
棄却域に入らなければ帰無仮説を採択

8. 具体例で考える検定
● Case 1. カープとジャイアンツどっちが強い？？
● Case 2. 新施策でCTRが上がった？？

9. Case 1 カープとジャイアンツどっちが強い？
● 問題設定
○ 2017年シーズン カープとジャイアンツの対戦成績 25戦中17勝8敗
■ 2017年度 公式戦シーズン成績 (http://npb.jp/bis/2017/stats/std_c.html)
○ カープとジャイアンツには実力は同じ？？実力差があった？？
● 検定の手順に則って確認してみよう！

10. Case 1 カープとジャイアンツどっちが強い？
● 帰無仮説と対立仮説を設定
○ 帰無仮説 = カープとジャイアンツの強さは同じ (勝率 = 1/2)
○ 対立仮説 = カープの方がジャイアンツより強い (勝率 > 1/2)
● 検定統計量を選択
○ カープの勝利数(25戦中17勝)
● 有意水準αの決定
○ 5%( = 0.05)を有意水準として利用
● 観測された検定統計量が分布のどこに位置するか把握
○ 観測されたデータは二項分布上 Bn(25, 0.5)に位置する

11. 二項分布とは
● 二項分布とは、結果が成功か失敗のいずれかで、n回の試行を行ったときの成功
数で表される確率分布

12. Case 1 カープとジャイアンツどっちが強い？
● 観測された検定統計量が分布のどこに位置するか把握
○ 観測されたデータは二項分布上 Bn(17, 25, 0.5)に位置する

13. Case 1 カープとジャイアンツどっちが強い？
● その検定統計量が棄却域に入れば帰無仮説を棄却して、対立仮説を採択。棄却
域に入らなければ、帰無仮説を採択
○ 勝率が5割と仮定した時に25戦中17勝以上になる確率は 2.2%( = p値)
○ 棄却域に入るので実力が五分五分は棄却され、カープの方が強いと主張できる

14. Case 2. 新施策でCTRが上がった?
● 問題設定
○ 既存の施策と並行して新しい施策を行った結果、クリック数が既存のものより増えた！
■ 既存：imp 1000, click 50 (CTR = 5%)
■ 新施策：imp 1200, click 70 (CTR = 5.833...%)
○ 新施策の方が既存のものより良いものといえるか？

15. Case 2. 新施策でCTRが上がった?
● 帰無仮説と対立仮説を設定
○ 帰無仮説 = それぞれの施策の比率に差はない (既存のCTR = 新施策のCTR)
○ 対立仮説 = 新施策の方が比率が大きい (既存のCTR < 新施策のCTR)
● 検定統計量を選択
○ 各施策の比率(= CTR)の差
● Case 1と違う点
○ 施策を行っていない側のユーザーのデータはない
○ 未来のユーザーを含めた全ユーザーへの調査は不可能 ( = 正確な比率がわからない )
○ 施策対象の人数がわからないため、二項分布の試行回数を決定できない
● よし、推定だ！

16. 推定とは
● 推定とは母集団の統計量を標本の統計量から予測すること

17. 推定例
● 標本統計量( = 標本平均)の分布が分かれば、母集団統計量( = 母平均)を予測可
○ 正規分布
母集団分布の正規分布 N(μ, σ^2) 標本平均の分布 N(μ, σ^2/n)
から標本を取った標本平均は正規分布 になる

18. 正規分布とは
● 正規分布とは平均と分散を決めると一意に定まる左右対称のつり鐘型分布
○ 工業製品の長さや重さなどある１つの数値を目標とした時に作業の偶然の誤差で生じる分布
○ 性別と年齢を固定にした時に身長に現れる分布
○ 偏差値に用いられる

19. 推定(母集団統計量の予測)
● 標本統計量が正規分布に従う場合、Z統計量が用いられる
● Z統計量(x: 確率変数, μ: 平均, σ: 標準偏差)
○ 観測された値xが平均から標準偏差何個分離れているか

20. 推定(母集団統計量の予測)
● 標本平均の分布
○ 母分散が既知
○ 母平均はz統計量の95%信頼区間で予測
● 母平均は95%の確率で上記の範囲に収まる
● 逆に95%信頼区間に収まることを帰無仮説として検定が可能
とサンプル数nから母平均の95%信頼区間を推定

21. 母比率を含む統計量の推定の場合
● 母集団が二項分布の場合、標本はどんな分布...？
母集団(母比率・試行回数がわからない二項分布)
標本抽出
標本比率の分布

22. 中心極限定理
● 中心極限定理とは母集団がどんな分布でも、標本平均はサンプル数を増やすと正
規分布に近似できる
一様分布 カイ二乗分布 正規分布
どの母集団でも標本数nが大きい時、標本の和・標本平均の分布は正規分布に従う
は
は
に
に従う
に従う

23. 母比率を含む統計量の推定の場合
● 母集団が二項分布の場合、標本数が多い場合標本平均正規分布に近似できる
母集団(母比率・試行回数がわからない二項分布)
標本抽出
母比率をpとする時二項分布の平均μと分散σ2
標本数が多い場合
標本平均の分布→正規分布

24. 母比率を含む統計量の推定の場合
● 中心極限定理より標本平均は正規分布N(np, np(1-p))に従う
○ 二項分布の平均は , 分散は
○ 正規分布に従うので z統計量について考える

25. 母比率を含む統計量の推定の場合
● z統計量の95%信頼区間について式変形
● 標本比率はサンプル数nが増えると母比率に近づくと考える95%信頼区間は以下
の用になる

26. Case 2. 新施策でCTRが上がった?
● 検定統計量を選択
○ 母比率の差(既存の母比率p1, 新施策の母比率をp2とする)
○ 中心極限定理より二項分布の平均・分散を用いた正規分布の差
● 有意水準αの決定
○ 5%( = 0.05)を有意水準として利用
● 観測された検定統計量の実現値を求める
○ 母比率の差は正規分布
○ z検定量
ただし、
に従う

27. 母比率の差の検定
● 観測された検定統計量の実現値を求める
● その実現値が棄却域に入れば帰無仮説を棄却して、対立仮説を採択。棄却域に入ら
なければ、帰無仮説を採択
○ 母比率の差のz統計量は棄却域に入っていないので母比率の差に有意差があるとはいえない

28. 母比率の差の検定を気軽にやりたい！
● 母比率の差の検定の計算フォーム
○ https://bellcurve.jp/statistics/blog/13953.html

29. まとめ
● 検定を使えば統計学的根拠をもって意見を主張できる
● 母集団が分かれば母集団分布から検定
● 母集団の統計量がわからない場合は、その統計量を含む分布を推定
● 母集団統計量を推定できれば検定が使える