互联网的渐进式解决方案， 灰度发布系统

1. A/B Testing
渐进式互联网实验方案
张文波 2012-2-27
阿里巴巴（中国）B2B-CBU-诚信发展部-会员组

2. Part I：概念与使用
什么是A/B Testing ?
Split Test
MVT（多变量测试）
用它解决什么问题？
页面优化
灰度发布
算法以及后台逻辑优化评估
尝试新想法

3. 它的价值在 里？
example:
PD: 左边更好,因为清爽，bababa......
视觉： 右边更好,因为视觉感强,bababa......
结论： Talk is cheap,Show me the data.

4. 业内产品
Google Website Optimizer（GWO）
A free A/B testing tool from the search giant. A great option to get
started, but lacks advanced features.
A/Bingo and Vanity
Server-side frameworks for Ruby on Rails developers. Requires
programming and integration in code.
Visual Website Optimizer
An easy-to-use A/B testing tool, with advanced features such as
WYSIWYG editor, click maps, visitor segmentation and tag-less
integration. (Disclaimer: my start-up.)
Unbounce & Performable
Landing-page creators with integrated A/B testing.
Alibaba-B2B
BucketTest （A/BTest技术领域）

5. Bucket如何使用？
基本方式：
1. 配置一个AB测试组
版本切分、流量分配、参数配置
2. 配置bucket应用描述
3. 集成二方库，分流业务代码

6. Show Time!

7. 使用中的一些问题
1.A/B 测试周期太长
建议测试时间不超过3天
2.适用范围
页面加字段，有必要A/B 测试吗？
样式变更有必要A/B 测试吗？

8. Part II:技术实现
整体架构模型
静态分流 & 动态分流
价值与意义

9. 整体架构

10. 动态分流

11. 附：参考资料
Wiki A/B Testing
http://en.wikipedia.org/wiki/A/B_testing
A/B Testing Framework Design
http://www.slideshare.net/patio11/ab-
testing-framework-design-3296257
B2B-BucketTest
http://b2b-doc.alibaba-inc.com/display/
b2buo/BucketTest

12. Q&A
Thank You!