你确定自己真的理解A/B实验吗？

如果我告诉你，我们从教科书里学到的很多关于假设检验的知识，在工业界大规模应用时是错的，你会怎么想？如果我告诉你，A/B实验的真正价值根本不是为了“验证”你的好想法，而是恰恰相反呢？

在这期视频里，我将结合在亚马逊、Meta、腾讯的经验，以及现在作为Statsig (服务OpenAI, Notion, Figma等公司的实验平台) Evangelist的身份，为你系统性地梳理A/B实验的顶级认知。我们将彻底颠覆一些传统观念，并深入探讨那些顶尖公司能够保持高速迭代和指数级增长的秘密。

你将从这个视频中学到：
核心心法 (The Why): 为什么说实验的价值源于“惊喜” (Surprises)？为什么80%被寄予厚望的想法最后都被验证是无效甚至有害的？
架构设计 (The How): Meta等公司是如何通过将“功能开关” (Feature Gate) 和实验系统结合，实现100%功能上线皆可实验，把实验从“项目”变成“免费的默认项”的？
文化基石 (The Culture): 一套成熟的实验体系如何赋予工程师真正的自主权 (Agency)，用数据决策代替无休止的争论，并建立起“智识上的诚实” (Intellectual Honesty) 的文化。
统计基石 (The What): 深入浅出地讲解CUPED方差缩减技术、贝叶斯与频率学派的真正区别，以及为什么你需要用序贯检验 (Sequential Testing) 来系统性地“惩罚”数据偷看 (Peeking) 行为，降低错误上线率。

这不只是一期关于A/B实验的技术教程，更是一次关于产品开发、团队文化和数据驱动决策的深度思想交流。准备好升级你对A/B实验的认知了吗？

00:00:00 - 为什么我能把A/B实验讲到顶级认知？
00:00:54 - 第一部分：为什么要做实验？
00:02:07 - 核心理念：实验的价值源于“惊喜”
00:04:21 - 实现100%实验覆盖率的关键技术洞察
00:06:24 - A/B实验如何塑造工程师文化与自主权 (Agency)
00:09:24 - 第二部分：如何设计可规模化的实验体系？
00:11:08 - 规模化实验的基石：可信赖的数据与指标体系
00:13:22 - 一个危险的思维误区：数据科学家如何好心办坏事？
00:15:03 - 第三部分：最关键的统计学知识
00:18:14 - 颠覆认知：为什么教科书里的假设检验是错的？
00:19:02 - 高级技术 1: 用CUPED将实验速度提升5倍
00:20:22 - 高级技术 2: 贝叶斯 vs 频率学派，你该关心什么？
00:23:36 - 高级技术 3: 用序贯检验系统性对抗“数据偷看”
00:28:33 - 总结与其他更前沿的实验方法简介

视频录制于2025年八月份。

课程主页：ai-builders.com