<?xml version="1.0"?>
<feed xmlns="http://www.w3.org/2005/Atom" xml:lang="zh-Hans-CN">
	<id>https://pmwiki.world/mediawiki/index.php?action=history&amp;feed=atom&amp;title=%E4%BA%A7%E5%93%81%E7%BB%84%E5%90%88%E7%AE%A1%E7%90%86%E7%9A%84%E5%B7%A5%E5%85%B7%2FA-B%E6%B5%8B%E8%AF%95</id>
	<title>产品组合管理的工具/A-B测试 - 版本历史</title>
	<link rel="self" type="application/atom+xml" href="https://pmwiki.world/mediawiki/index.php?action=history&amp;feed=atom&amp;title=%E4%BA%A7%E5%93%81%E7%BB%84%E5%90%88%E7%AE%A1%E7%90%86%E7%9A%84%E5%B7%A5%E5%85%B7%2FA-B%E6%B5%8B%E8%AF%95"/>
	<link rel="alternate" type="text/html" href="https://pmwiki.world/mediawiki/index.php?title=%E4%BA%A7%E5%93%81%E7%BB%84%E5%90%88%E7%AE%A1%E7%90%86%E7%9A%84%E5%B7%A5%E5%85%B7/A-B%E6%B5%8B%E8%AF%95&amp;action=history"/>
	<updated>2026-11-19T02:14:33Z</updated>
	<subtitle>本wiki上该页面的版本历史</subtitle>
	<generator>MediaWiki 1.43.0</generator>
	<entry>
		<id>https://pmwiki.world/mediawiki/index.php?title=%E4%BA%A7%E5%93%81%E7%BB%84%E5%90%88%E7%AE%A1%E7%90%86%E7%9A%84%E5%B7%A5%E5%85%B7/A-B%E6%B5%8B%E8%AF%95&amp;diff=245&amp;oldid=prev</id>
		<title>Bot：​pmwiki-sync：发布 19-25 七篇（归入产品组合管理的工具）</title>
		<link rel="alternate" type="text/html" href="https://pmwiki.world/mediawiki/index.php?title=%E4%BA%A7%E5%93%81%E7%BB%84%E5%90%88%E7%AE%A1%E7%90%86%E7%9A%84%E5%B7%A5%E5%85%B7/A-B%E6%B5%8B%E8%AF%95&amp;diff=245&amp;oldid=prev"/>
		<updated>2026-11-12T00:57:57Z</updated>

		<summary type="html">&lt;p&gt;pmwiki-sync：发布 19-25 七篇（归入产品组合管理的工具）&lt;/p&gt;
&lt;p&gt;&lt;b&gt;新页面&lt;/b&gt;&lt;/p&gt;&lt;div&gt;= A/B 测试（A/B Testing） =&lt;br /&gt;
&lt;br /&gt;
== 一句话定义 ==&lt;br /&gt;
&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;把用户随机分成两组，一组用旧版本（对照 A），一组用新版本（实验 B），看哪个版本的指标更好，用统计方法判断差异是否真实。&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;hr /&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== 解决什么问题 ==&lt;br /&gt;
&lt;br /&gt;
* 这个改动到底有没有用？（而不是&amp;quot;感觉有用&amp;quot;）&lt;br /&gt;
* 新版本会不会让指标变差？&lt;br /&gt;
* 两个方案选哪个？&lt;br /&gt;
* 改动的效果是真实的，还是随机波动？&lt;br /&gt;
&lt;br /&gt;
&amp;lt;blockquote&amp;gt;核心思想：&amp;#039;&amp;#039;&amp;#039;用&amp;quot;随机分组 + 统计检验&amp;quot;来排除干扰，得出可信的因果结论。&amp;#039;&amp;#039;&amp;#039;&amp;lt;/blockquote&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;hr /&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== 核心概念 ==&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! 概念&lt;br /&gt;
! 含义&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;假设&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
| H₀（无差异）vs H₁（有差异）&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;对照组 / 实验组&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
| A 组用旧版，B 组用新版&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;p 值&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
| 假设&amp;quot;没差异&amp;quot;时，观察到当前或更极端结果的概率&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;显著性水平 α&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
| 通常 0.05（p &amp;lt; 0.05 认为&amp;quot;显著&amp;quot;）&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;统计功效（Power）&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
| 通常 0.8（有 80% 把握检出真实差异）&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;置信区间&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
| 效果的可能范围&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
&amp;lt;hr /&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== 怎么用（步骤） ==&lt;br /&gt;
&lt;br /&gt;
# &amp;#039;&amp;#039;&amp;#039;明确目标&amp;#039;&amp;#039;&amp;#039;：要验证什么？（如&amp;quot;新按钮位置能否提升导出率&amp;quot;）&lt;br /&gt;
# &amp;#039;&amp;#039;&amp;#039;定义指标&amp;#039;&amp;#039;&amp;#039;：主指标（导出率）+ 护栏指标（不能变差的指标）&lt;br /&gt;
# &amp;#039;&amp;#039;&amp;#039;算样本量&amp;#039;&amp;#039;&amp;#039;：需要多少用户才能检出差异（见下）&lt;br /&gt;
# &amp;#039;&amp;#039;&amp;#039;随机分组&amp;#039;&amp;#039;&amp;#039;：用户随机分到 A / B 组&lt;br /&gt;
# &amp;#039;&amp;#039;&amp;#039;运行测试&amp;#039;&amp;#039;&amp;#039;：收集数据（别中途偷看！）&lt;br /&gt;
# &amp;#039;&amp;#039;&amp;#039;统计检验&amp;#039;&amp;#039;&amp;#039;：算 p 值，判断是否显著&lt;br /&gt;
# &amp;#039;&amp;#039;&amp;#039;决策&amp;#039;&amp;#039;&amp;#039;：显著且方向正确 → 全量上线；否则 → 放弃或迭代&lt;br /&gt;
&lt;br /&gt;
&amp;lt;hr /&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== 完整示例 ==&lt;br /&gt;
&lt;br /&gt;
=== 场景：测试&amp;quot;导出按钮位置&amp;quot;对导出率的影响 ===&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! 组&lt;br /&gt;
! 按钮位置&lt;br /&gt;
! 用户数&lt;br /&gt;
! 导出率&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;A（对照）&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
| 右上角&lt;br /&gt;
| 5,000&lt;br /&gt;
| 20%&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;B（实验）&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
| 表格下方&lt;br /&gt;
| 5,000&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;27%&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;统计检验（两比例 z 检验）&amp;#039;&amp;#039;&amp;#039;：&lt;br /&gt;
&lt;br /&gt;
&amp;lt;pre&amp;gt;&lt;br /&gt;
合并比例 p = (1000 + 1350) / 10000 = 0.235&lt;br /&gt;
标准误 SE = √[ p(1−p)(1/n₁ + 1/n₂) ] = √[ 0.235×0.765×(2/5000) ] ≈ 0.0085&lt;br /&gt;
z = (0.27 − 0.20) / 0.0085 ≈ 8.25&lt;br /&gt;
p 值 &amp;lt; 0.001  →  差异高度显著&lt;br /&gt;
&amp;lt;/pre&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;结论&amp;#039;&amp;#039;&amp;#039;：B 组导出率显著高于 A 组 → &amp;#039;&amp;#039;&amp;#039;全量上线新按钮位置&amp;#039;&amp;#039;&amp;#039;。&lt;br /&gt;
&lt;br /&gt;
&amp;lt;hr /&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== 样本量计算（重要） ==&lt;br /&gt;
&lt;br /&gt;
要检出&amp;quot;从 p₁ 提升到 p₂&amp;quot;的差异，每组需要的样本量：&lt;br /&gt;
&lt;br /&gt;
&amp;lt;pre&amp;gt;&lt;br /&gt;
n = (z_α/2 + z_β)² × [ p₁(1−p₁) + p₂(1−p₂) ] / (p₁ − p₂)²&lt;br /&gt;
&amp;lt;/pre&amp;gt;&lt;br /&gt;
&lt;br /&gt;
* &amp;lt;code&amp;gt;z_α/2&amp;lt;/code&amp;gt; = 1.96（α=0.05）&lt;br /&gt;
* &amp;lt;code&amp;gt;z_β&amp;lt;/code&amp;gt; = 0.84（功效=0.8）&lt;br /&gt;
&lt;br /&gt;
=== 示例 ===&lt;br /&gt;
&lt;br /&gt;
要检出&amp;quot;导出率从 20% 提升到 27%&amp;quot;（7 个百分点）：&lt;br /&gt;
&lt;br /&gt;
&amp;lt;pre&amp;gt;&lt;br /&gt;
n = (1.96 + 0.84)² × [ 0.20×0.80 + 0.27×0.73 ] / (0.07)²&lt;br /&gt;
  = 7.84 × 0.3571 / 0.0049&lt;br /&gt;
  ≈ 572 人/组&lt;br /&gt;
&amp;lt;/pre&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;blockquote&amp;gt;&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;差异越小，需要的样本量越大&amp;#039;&amp;#039;&amp;#039;（平方反比）。&lt;br /&gt;
想检出 1% 的差异，可能需要几万人/组。&lt;br /&gt;
&amp;lt;/blockquote&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;hr /&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== 常见误区（非常重要） ==&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! 误区&lt;br /&gt;
! 说明&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;样本量不足&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
| 差异没检出，不代表&amp;quot;没差异&amp;quot;，可能只是样本不够（underpowered）&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;过早停止（Peeking）&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
| 中途看数据、看到显著就停 → 假阳性率飙升&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;多重比较&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
| 同时测 20 个指标，总有 1 个&amp;quot;显著&amp;quot;是偶然 → 需校正（Bonferroni 等）&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;辛普森悖论&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
| 分组看都涨，合起来却跌 → 检查是否有混杂因素&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;新奇效应&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
| 用户因&amp;quot;新鲜感&amp;quot;短期多用，长期回落 → 测试要跑够时间&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;溢出效应&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
| 实验组和对照组互相影响（如社交产品）→ 污染结果&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;只看平均值&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
| 忽略分布（可能少数用户贡献了大部分效果）&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
&amp;lt;hr /&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== 优点 / 局限 ==&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! 优点&lt;br /&gt;
! 局限&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;因果关系&amp;#039;&amp;#039;&amp;#039;（随机分组 → 排除干扰）&lt;br /&gt;
| 只能测&amp;quot;能随机分组&amp;quot;的场景&lt;br /&gt;
|-&lt;br /&gt;
| 客观、可重复&lt;br /&gt;
| 需要足够流量（小产品跑不起）&lt;br /&gt;
|-&lt;br /&gt;
| 能量化效果大小&lt;br /&gt;
| 短期指标 ≠ 长期效果&lt;br /&gt;
|-&lt;br /&gt;
| 避免&amp;quot;拍脑袋&amp;quot;决策&lt;br /&gt;
| 有些改动无法 A/B（如品牌、定价）&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
&amp;lt;blockquote&amp;gt;&lt;br /&gt;
关键：&amp;#039;&amp;#039;&amp;#039;A/B 测试是&amp;quot;验证&amp;quot;工具，不是&amp;quot;发现&amp;quot;工具&amp;#039;&amp;#039;&amp;#039;。&lt;br /&gt;
先有假设（来自数据/访谈），再用 A/B 验证。&lt;br /&gt;
&amp;lt;/blockquote&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;hr /&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== 与其他工具的关系 ==&lt;br /&gt;
&lt;br /&gt;
{| class=&amp;quot;wikitable&amp;quot;&lt;br /&gt;
|-&lt;br /&gt;
! 工具&lt;br /&gt;
! 作用&lt;br /&gt;
! 与 A/B 的关系&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;漏斗分析&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
| 找流失环节&lt;br /&gt;
| A/B 的&amp;#039;&amp;#039;&amp;#039;输入&amp;#039;&amp;#039;&amp;#039;（优化哪个环节）&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;产品分析&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
| 采集行为数据&lt;br /&gt;
| A/B 的&amp;#039;&amp;#039;&amp;#039;数据来源&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;卡诺模型&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
| 功能分类&lt;br /&gt;
| A/B 的&amp;#039;&amp;#039;&amp;#039;决策依据&amp;#039;&amp;#039;&amp;#039;（验证功能改动）&lt;br /&gt;
|-&lt;br /&gt;
| &amp;#039;&amp;#039;&amp;#039;留存分析&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
| 看长期效果&lt;br /&gt;
| A/B 的&amp;#039;&amp;#039;&amp;#039;补充&amp;#039;&amp;#039;&amp;#039;（短期指标可能骗人）&lt;br /&gt;
|}&lt;br /&gt;
&lt;br /&gt;
&amp;lt;hr /&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== 在产品管理中的应用 ==&lt;br /&gt;
&lt;br /&gt;
# &amp;#039;&amp;#039;&amp;#039;功能改动验证&amp;#039;&amp;#039;&amp;#039;：新按钮、新流程、新文案 → A/B 验证效果&lt;br /&gt;
# &amp;#039;&amp;#039;&amp;#039;定价测试&amp;#039;&amp;#039;&amp;#039;：不同价格对转化的影响&lt;br /&gt;
# &amp;#039;&amp;#039;&amp;#039;推荐算法&amp;#039;&amp;#039;&amp;#039;：不同算法的点击率/转化率对比&lt;br /&gt;
# &amp;#039;&amp;#039;&amp;#039;新用户引导&amp;#039;&amp;#039;&amp;#039;：不同引导流程的激活率对比&lt;br /&gt;
# &amp;#039;&amp;#039;&amp;#039;护栏指标&amp;#039;&amp;#039;&amp;#039;：确保改动不伤害留存、性能等&lt;br /&gt;
&lt;br /&gt;
&amp;lt;hr /&amp;gt;&lt;br /&gt;
&lt;br /&gt;
== 一句话总结 ==&lt;br /&gt;
&lt;br /&gt;
&amp;lt;blockquote&amp;gt;&lt;br /&gt;
&amp;#039;&amp;#039;&amp;#039;A/B 测试 = 随机分组 + 统计检验，用数据回答&amp;quot;这个改动到底有没有用&amp;quot;。&lt;br /&gt;
关键是：先算样本量、别中途偷看、警惕多重比较和辛普森悖论。&amp;#039;&amp;#039;&amp;#039;&lt;br /&gt;
&amp;lt;/blockquote&amp;gt;&lt;br /&gt;
&lt;br /&gt;
&amp;lt;hr /&amp;gt;&lt;br /&gt;
&lt;br /&gt;
---&lt;br /&gt;
&lt;br /&gt;
[[Category:产品组合管理]]&lt;br /&gt;
[[Category:工具清单]]&lt;/div&gt;</summary>
		<author><name>Bot</name></author>
	</entry>
</feed>