Weitere ähnliche Inhalte
Ähnlich wie ironSource A/Bテストツール利用ガイド
Ähnlich wie ironSource A/Bテストツール利用ガイド (20)
ironSource A/Bテストツール利用ガイド
- 7. A/Bテスト - 設定
Step 1.
管理画面左側メニューより、
Monetize>Setup>A/Bを選択
し、A/Bテスト画面を開
き、”Create New Testをクリッ
クして新規A/Bテストの作成を
開始します。
新規テストの作成
- 9. A/Bテスト - 設定
Step 3.
GroupBにおけるアドネットワー
クの設定を行います。
新規のインスタンスID
(ZoneID,PlacementIDなど)を
設定する必要があります。
新規インスタンスを設定するこ
とにより、レポートにて A/B別々
で計測することができます。
*特定のインスタンスを使用したくない場合は、 ”inactive”にすることにより、初
期化されないように設定可能です。
*ironSourceネットワークのインスタンス IDについては、自動的に作成されま
す。
テストグループにおけるインスタンスの
設定
- 10. A/Bテスト - 設定
Step 4.
‘Start A/B Test’をクリックし、
A/Bテストを開始します。
A/Bテストは翌日のUTC 0:00
から開始されます。
A/Bテストの開始が選択される
と、ironSource側で、プレースメ
ント、ウォーターフォールなど既
存の全ての設定をBグループ
(テストグループ)へ複製しま
す。
Bグループの設定
*ironSourceプラットフォーム上でマルチインスタンスに対応していないアド
ネットワークは、Aグループのみでの運用に限られ、 Bグループへ設定する
ことはできません。
- 12. A/Bテスト - 設定
Step5. テストの終了
A/Bテスト後に継続したいグ
ループが決まった場合、 A/Bテ
スト画面から’Continue with A’
・’Continue with B’のいずれか
を選択します。
どちらかを選択すると、 A/Bテス
トが終了し、100%のトラフィック
に対して、選定したグループの
設定が適用されます。
*一度確定すると、元に戻すことはできません
*確定後、翌日のUTC 0:00にA/Bテストが終了となります。
*終了したテストは、’History’タブにて確認することができるようになりま
す。
- 13. A/Bテスト - 運用およ
びレポーティング
A/Bテスト Overviewタブ:
Overviewページでは、以下の
設定を行うことができます。
①Edit Test:
A/Bテスト中でもテスト名、詳
細、ユーザーの配分比率など
変更することが可能です。
変更自体は翌日のUTC 0:00
に適用されます。
*一度確定すると、元に戻すことはできません
*確定後、翌日のUTC 0:00にA/Bテストが終了となります。
*終了したテストは、’History’タブにて確認することができるようになります。
A/Bテストページ、もしくは Performance/User
Activityのレポートページにてデータを確認す
ることができます。
①
- 14. A/Bテスト - 運用およ
びレポーティング
②Show Reports:
Performance Report画面へ遷
移。デフォルトでA/Bテスト対象
アプリの数値のみを表示。
③テストの終了:
テストを終了することにより、
100%のユーザーへ選択したグ
ループの設定を適用します。
*一度確定すると、元に戻すことはできません
*確定後、翌日のUTC 0:00にA/Bテストが終了となります。
*終了したテストは、’History’タブにて確認することができるようになりま
す。
A/Bテストページ、もしくは Performance/User
Activityのレポートページにてデータを確認す
ることができます。
② ③
- 18. A/Bテスト - 設定
レポーティング画面の
PerformanceとUser Activityレ
ポートそれぞれにて、 A/Bグ
ループの比較が可能です。
①A/Bの比較レポートを表示す
るには、A/Bテストを実施してい
るアプリを選択し、
②BreakdownにてA/Bを選択し
ます。
レポーティング画面
①
②
*レポート画面では、インスタンス名ごとに数値が集計されます。したがって、
A/Bグループにて同じインスタンス名を設定している場合、他の Breakdown
を選択するとA/Bグループの合計値が表示されます。
- 20. A/Bテスト - ベストプラクティス
1. 指標はひとつずつテストする
広告収益戦略を最適化するにつれ、複数の機能や指標をテストしたくなるかと思います。変更箇所の影響
を効果的に検証するには、ひとつの指標ごとに計測し、検証していくしかありません。
たとえば、新規アドネットワークを追加すると同時に動画リワードプレースメントの報酬量を変更した場合、
得られた効果の原因がわからなくなってしまいます。この場合は、それぞれの変更点を個別に検証する必
要があります。
もちろん、複数の箇所を同時にテストすることは可能ですが、必ず各 KPIは独立して検証する必要がありま
す。
- 21. A/Bテスト - ベストプラクティス
2. グループA(Control Group)には触れない
テストを実施したい指標が定まったら、グループ A(既存の設定)は一切変えないようにしましょう。変更を加
えるのはグループB(Test Group)に限定することにより、グループ Aをより正確なベンチマークとすることが
できます。
グループAに変更を加えてしまった場合、ベンチマークとしての役割が薄れ、正確な検証ができなくなってし
まいます。
- 22. A/Bテスト - ベストプラクティス
3. ゴールを明確に
テスト開始前に、改善したい指標と、それをどのくらい改善したいのか明確にしておく必要があります。仮
に、テストの結果複数の指標に影響が出た場合に、どちらの指標を優先するのかも事前に決めておく必要
があります。
例えば、テストにより ARPDAUが伸びたとしても、リテンションにネガティブな影響が出て結果的に
ARPU(LTV)が下がってしまったとします。この場合 LTVを優先しておくことによって、円滑に適切な判断をす
ることができます。誤って ARPDAUのみに固執してしまった場合、 A/Bテストの結果としては良くても、結果
的にアプリのパフォーマンスは落ちてしまいます。
- 23. A/Bテスト - ベストプラクティス
4. 段階的なテストを
例え小さな変更でも、非常に大きなインパクトを与えることがあります。
したがって、A/Bテストを始める際は、少ないユーザー比率 (10%~20%)から始めることにより、リスクを軽減
することができます。
また、少ないユーザー比率で非常に良いパフォーマンスが得られたからといって、全ユーザーから同じパ
フォーマンスが得られない可能性もあります。したがって、テストグループのユーザー比率は 10%~20%から
始め、80%~90%まで段階的に増やしていくことによりリスクを抑えながら、より正確な検証を行うことができ
ます。
- 24. A/Bテスト - ベストプラクティス
5. 十分なテスト期間を
どんなテストでも、データが揃うまで相応の期間を要します。特にグループ B(テストグループ)は基本的に新
規インスタンスで開始することになりますので、各アドネットワークのアルゴリズムに応じて学習期間が必要
になります。
グループBのインスタンスの最適化が進むまで、 3~7日(使用するアドネットワークごとに異なる)。 A/Bテスト
自体は最低でも1週間の期間が必要で、理想としては 2週間かそれ以上の期間にて判断をすることを推奨し
ています。
- 25. A/Bテスト - ベストプラクティス
6. 十分なトラフィックを
もしグループB(テストグループ)が十分なトラフィック (DAU)が無い場合、データとしての信頼性は低下しま
す。トラフィック量が少ない場合、パフォーマンスが大きく変動する可能性が高くなってしまいます。
ベンチマークとしては、以下のいずれかを推奨しています。
1. グループB全体で10,000imp/日
2. グループBの各インスタンスにて 1,000imp/日
もし上記のいずれにも当てはまらない場合は、グループ Bのユーザー比率を上げることを検討する必要が
あります。
- 26. A/Bテスト - ベストプラクティス
6. 日常的にテストを
A/Bテストに基づく効果的な設定変更で、容易に収益増大を実現することができます。 1回のテストで終わら
せてしまうのではなく、常に A/Bテストを繰り返し、最適化を行っていきましょう!