1.
実験計画法 ( 直交表実験 ) の応用による LPO の実例 最小テストケースによる最適ケースの探索 尾花山 和哉

2.
目次 <ul><li>実験計画法とは？ </li></ul><ul><li>直交表実験を LPO に応用した事例紹介 </li></ul><ul><li>LPO に関するぼやき </li></ul>

3.
実験計画法とは・・・ 実験計画法は、元々は工業や農業の世界で『限られた実験回数の中でできる限り多くの情報を絞り出す』目的で作れた方法です。 条件は無数に考えられるにも関わらず、実験回数は限られているのが現実です。 そこで、実験が我々に何を教えてくれて、何が真実への到達を邪魔するものかを綿密に検討し、目的とする情報を絞り出す術が、実験計画法となります。 さて、おいしいお米を沢山つくるには どうしたらいいだろう…？ 品種？肥料？それとも… ? 均質で耐久性のよい金属加工製品を 作るにはどうしたらいいだろう…？ 合金？鋳造？あるいは…？

4.
実験計画法の具体例 例えば、パン作りを考えてみます。指標を『モニターがおいしいと評価する率』としたとき、これを決定する因子には小麦粉の種類、バターの量、発酵時間、湿度…などが考えられます。 本日ご紹介するのは、無数に考えられる因子の中で『何が決め手になっているのか』、『少ない実験回数から適当と思われる組み合わせはどれか』を見極める方法です。 画像 by ： Emiline220 小麦粉の種類 ・カメリヤ ・はるゆたか… etc. バターの量 ・ 10g ・ 20g…etc. 発酵時間 ・ 1 時間 ・ 4 時間… etc. 湿度 ・ 20% ・ 80%…etc. XXX ・ 4℃ ・ 25℃…etc. XXX ・ 4℃ ・ 25℃…etc. XXX ・ 4℃ ・ 25℃…etc.

5.
マーケティングへの応用 昨今はマーケティングに活用されているこの実験計画法ですが、これを LPO に適応するとヘッダーロゴの種類、ボタン、文言などを因子として計画を立てる事になります。 パン作りの例えと同様、最終的には何を因子として選ぶかは”分析者の感性”！ ロゴ ・コンパクト ・かわいらしい… etc. 文言 ・『入会して読む』 ・『詳しくは…』… etc. ボタン ・長方形 + 赤 ・楕円 + 橙… etc. なお、事例中では実験計画法を用いた LPO ツールを提供している IOIX 社の DLPO を利用しております。

6.
実験計画法の基礎理論 今回は、前回の反省を踏まえてあまり数学的な領域に立ち入らず、携帯サイトでの実施事例紹介を行いたいと思います。 α 1 +β 1 +γ 1 +μ=δCVR 1 α 1 +β 2 +γ 2 +μ=δCVR 2 α 2 +β 1 +γ 2 +μ=δCVR 3 α 2 +β 2 +γ 1 +μ=δCVR 4 ⅰ) α 1 +β 1 +γ 1 +μ=δCVR 1 α 1 -β 1 -γ 1 +μ=δCVR 2 -α 1 +β 1 -γ 1 +μ=δCVR 3 -α 1 -β 1 +γ 1 =δCVR 4 ⅲ) 変更を加えた領域を α,β,γ とし、それぞれ変更前を添え字 1 、変更後を 2 とする。 今、適当な 4 本の組み合わせの実験により得られた CVR の平均値からの差を δCVRi 、誤差を μ とすると、 の様な 7 元 1 次方程式に帰着できる。 ここで、 α,β,γ は各々の独立な効果の重ね合わせなので、以下の式が成り立つ。 α 1 +α 2 =0 β 1 +β 2 =0 γ 1 +γ 2 =0 ⅱ) 上式を用いて、 ⅰ ) を以下の様な 4 元 1 次方程式に帰着させることができるので、これを解けば各効果を算出できる。 実験計画法 ( 直交表実験 ) における主効果算出の手順を最も簡単な例を上げて紹介する。 この方法では、主効果を独立と仮定し、各因子効果の平均値の関係式を用いる事で 7 元 1 次方程式を 4 式 ( 実験 ) で解くことと言える。

7.
事例紹介 – LPO 対象サービス紹介 今回紹介する事例は、月額課金型の携帯サイトでの事例となります。目的は、『ページの見せ方を変化させる事で、サイト来訪者が有料入会してくれる率 (CVR) を向上させる事』です。 サービス概要： 月額 315 円で医師へ直接質問を投稿できる会員制の Q&A サイト。会員は過去ログも閲覧可能。

8.
事例紹介 – 直交表実験計画 会員登録の直前画面を LPO の対象として選定し、 Docomo では約 16 万通り、 AU では約 1.6 万通りの実験を計画。実験計画法を用いて現実的に実施可能なパターン数に絞り込みを行いました。 DOCOMO 1_ トップエリアロゴ ( 挿入 )×15 通り 2_USP コピー ( 挿入 )×9 通り 6_ 登録ボタン ( 変更 )×5 通り 3_ セールスポイント一覧 ( 変更 )×5 通り 4_ 追加セールスポイント ( 挿入 )×3 通り 7_ リンクテキストと ICON イメージ ( 変更 )×8 通り 5_ 「 SONY 」ブランド訴求 ( 挿入 )×2 通り 8_ 初月無料 ( 変更 )×4 通り 3_ セールスポイント一覧 ( 変更 )×5 通り 4_ 追加セールスポイント ( 挿入 )×3 通り 1_ トップエリアロゴ ( 挿入 )×15 通り 2_USP コピー ( 挿入 )×9 通り 5_ 「 SONY 」ブランド訴求 ( 挿入 )×2 通り AU

9.
事例紹介 – 直交表実験結果 1 つ目の『何が決め手になっているのか』に関する結果、表示上部および入会リンク周辺の変更が影響を与えやすい事が判明しました。 領域 領域 変更内容 主効果の差 *1 1_ トップエリアロゴ (16%) *2 2_USP コピー (26%) 5_ 「 SONY 」ブランド訴求 ( 3%) 6_ 登録ボタン (16%) 7_ リンクテキストと ICON イメージ ( 18%) 3_ セールスポイント一覧 (18%) 変更内容 4_ 追加セールスポイント (3%) 1_ トップエリアロゴ (36%) 2_USP コピー (30%) 5_ 「 SONY 」ブランド訴求 (1%) 8_ 初月無料 (9%) 3_ セールスポイント一覧 (11%) 4_ 追加セールスポイント (14%) ママ同士が利用するシーンを想起させる画像を採用 安心訴求の文言追加 『経験豊富な医師がすぐに回答』 SONY ブランド訴求の文言追加 ボタンの配色を変更 『橙色のボタン』 登録リンクの画像を変更 『十字アイコンを両端に追加』 セールスポイント文言の長さと背景色の変更 『寒色 × 簡潔』 追加セールスポイント部分の背景色の変更 『デフォルト』 携帯から医師へ相談できる利便性を訴求した画像を採用 簡便性訴求の文言追加 『 3 分で先生に相談』 SONY ブランド訴求の文言追加 ボタンの配色を変更 『赤色のボタン ( アニメ無 ) 』 セールスポイント文言の長さと背景色の変更 『寒色 × 簡潔』 追加セールスポイント部分の背景色の変更 『デフォルト』 +0.40% +0.18% +0.03% +0.14% +0.57% +0.34% 0% +0.73% +0.34% +0.01% +0.11% +0.06% 0% 主効果の差 *1 DOCOMO AU *1) デフォルトパターンとの主効果との差 *2) 青字の % は影響度 ( 変更に対する感度 )

10.
事例紹介 – 判別実験計画 二つ目の『少ない実験回数から適当と思われる組み合わせはどれか』については、直交表実験が本質的に誤差を持つために単純な Split Test を行う必要があります。 DOCOMO( 上位 30 件 ) AU( 上位 20 件 ) 推定 CVR から上位数を全件 Split Test 対象に抽出 ・ ・ ・ WAVE1 結果

11.
事例紹介 – 判別実験結果 最終的な LPO の結果を以下に紹介します。 Docomo で 21% 、 AU で 15%CVR が改善されました。 DOCOMO AU デフォルト デフォルト 改善後 改善後 ママ同士が利用するシーンを想起させる画像を採用 商品訴求の文言追加 『医師に直接相談できる Q&A サイト』 SONY ブランド訴求の文言追加 ボタンの配色を変更 『橙色のボタン』 登録リンクの画像を変更 『十字アイコンを両端に追加』 セールスポイント文言の長さと背景色の変更 『寒色 × 簡潔』 追加セールスポイント部分の背景色の変更 『デフォルト』 ( 変更なし ) 携帯から医師へ相談できる利便性を訴求した画像を採用 簡便性訴求の文言追加 『いつでも、どこでも、医師に相談』 SONY ブランド訴求の文言追加 文言の両端に絵文字を追加 『橙色の [ 無料 ] 絵文字』 セールスポイント文言の長さと背景色の変更 『寒色 × 簡潔』 追加セールスポイント部分の背景色の変更 『デフォルト』 ( 変更なし ) CVR 改善率： 21% CVR 改善率： 15%

12.
さて・・・ めでたし、めでたし…と言いたい所ですが、 LPO を本当に正しく結果を解釈して頂くために、 3 点ほどぼやきがあります。 <ul><li>改善されたのはホントに 21% ？ </li></ul><ul><li>実験計画法の取り扱い注意点 </li></ul><ul><li>LPO の落とし穴 </li></ul>

13.
さて・・・ めでたし、めでたし…と言いたい所ですが、 LPO を本当に正しく結果を解釈して頂くために、 3 点ほどぼやきがあります。 <ul><li>改善されたのはホントに 21% ？ </li></ul><ul><li>実験計画法の取り扱い注意点 </li></ul><ul><li>LPO の落とし穴 </li></ul>

14.
改善されたのはホントに 21% ？ 統計検定のお墨付きをつけて施策効果を出したのに『こんな効果でるのかなぁ…』と訝しがる事は良くある話ですが、これには不確定要素以外に根本的な誤解があります。 <ul><li>統計検定は、 Before と After の間に『差があるか』の検定であって、その幅は保証しない！ </li></ul><ul><li>毎日検定をかけた場合、有意差が見られる瞬間は『偶然差が検出し易かった日』に過ぎない！ </li></ul>改善幅 3.01%!! 実は… 0.01%? Before After

15.
改善されたのはホントに 21% ？ 統計検定のお墨付きをつけて施策効果を出したのに『こんな効果でるのかなぁ…』と訝しがる事は良くある話ですが、これには不確定要素以外に根本的な誤解があります。 Before After <ul><li>統計検定は、 Before と After の間に『差があるか』の検定であって、その幅は保証しない！ </li></ul><ul><li>毎日検定をかけた場合、有意差が見られる瞬間は『偶然差が検出し易かった日』に過ぎない！ </li></ul>1.80% 2.00% 1.40% 1.50% 1.60% 1.70% 1.80% 1.90% 2.00% 2.10% 2.20% CVR 改善は何 % ？ 1 週目 重なりが大きい

16.
改善されたのはホントに 21% ？ 統計検定のお墨付きをつけて施策効果を出したのに『こんな効果でるのかなぁ…』と訝しがる事は良くある話ですが、これには不確定要素以外に根本的な誤解があります。 Before After <ul><li>統計検定は、 Before と After の間に『差があるか』の検定であって、その幅は保証しない！ </li></ul><ul><li>毎日検定をかけた場合、有意差が見られる瞬間は『偶然差が検出し易かった日』に過ぎない！ </li></ul>1.75% 1.90% 1.40% 1.50% 1.60% 1.70% 1.80% 1.90% 2.00% 2.10% 2.20% 2 週目 徐々に小さくなる 平均値はバラつく CVR 改善は何 % ？

17.
改善されたのはホントに 21% ？ 統計検定のお墨付きをつけて施策効果を出したのに『こんな効果でるのかなぁ…』と訝しがる事は良くある話ですが、これには不確定要素以外に根本的な誤解があります。 Before After <ul><li>統計検定は、 Before と After の間に『差があるか』の検定であって、その幅は保証しない！ </li></ul><ul><li>毎日検定をかけた場合、有意差が見られる瞬間は『偶然差が検出し易かった日』に過ぎない！ </li></ul>1.70% 2.01% 1.40% 1.50% 1.60% 1.70% 1.80% 1.90% 2.00% 2.10% 2.20% 3 週目 重ならなくなった瞬間、有意差有と判定される！ しかし、バラついている平均値がどこに収束するかは未定！ CVR 改善は何 % ？

18.
ぼやき <ul><li>改善されたのはホントに 21% ？ </li></ul><ul><li>実験計画法の取り扱い注意点 </li></ul><ul><li>LPO の落とし穴 </li></ul>

19.
実験計画法の取り扱い注意点 実験計画法は 16 万以上のテストケースを 55 ケースに縮約できる一方で、最良のケースに対しては誤った結果を導きやすいため、実際には 500 ～ 700 ケースを上限とすることを推奨します。 <ul><li>今回の実験計画法の手続きでは、縮約後ケース数に対して指数的に精度が落ちる！ </li></ul><ul><li>長いテスト期間による誤差因子の変動をキャンセル出来ないため、効果の値がズレやすい！ </li></ul>入会直前 LPO 詳細ページ LPO ケース数 162,000 648 テスト期間 1.5 ヶ月 1 週間 効果 +21% +13% 事後検証 無意 (-5 ％ ) 有意 (+24%) 縮約後ケース数 55 11

20.
ぼやき <ul><li>改善されたのはホントに 21% ？ </li></ul><ul><li>実験計画法の取り扱い注意点 </li></ul><ul><li>LPO の落とし穴 </li></ul>

21.
LPO の落とし穴 仮に神の目で LPO の Split Test の結果を見透かしたとしても、分かる事は『この瞬間の最適解』であって将来的な最適解では無い可能性があります。よって、 LPO には時系列的な視点も必要となります。 <ul><li>LPO を繰り返せば、飽きの来やすい刹那的なケースに寄って行くため PDCA のやり過ぎ注意！ </li></ul><ul><li>プロモーション効果を予測する時系列分析という手法があるが、データ的にも手法的にも難易度高 </li></ul><ul><li>現実的には、感性の世界を蔑ろにしない事が重要！ </li></ul>テスト終了！ 効果が逆転？ ここに来る前に次の LPO に移行すべき

22.
最後に・・・ LPO は『数字へのこだわり』が見られる所ですが、『見えてる数字が全ては無い』複雑系の世界なので、定期的に感性と突き合わせて見直す事を提言したいと思います。 <ul><li>数値や分析にこだわりを持つならば、『今、何の数字を見ているか』を見失うと明後日の方角へ走る危険性あり。 </li></ul><ul><li>実験計画法とは、『実験を少し賢く』行う方法であって、『魔法の杖』ではないので用法・容量には注意してご利用下さい。 </li></ul><ul><li>顧客分析的に良いデータとは、『思いを体現するデータ』のことで、良いデータがあれば分かる事も多いものの、完璧なデータどころか、大抵の場合、データの意図も分析者に伝わらず分析は一定のバイアスでゆがんで行くため、感性との折り合いを大切に。 </li></ul>