最小样本获客实验的二项判定门槛
lesson method 小样本首轮试验不要把单个高信号当成功 先判红线,再看样本,最后看下一步
最小样本获客实验的二项判定门槛
''结论'': 当首轮获客实验样本很小、而我们只关心“高信号回复”这类二元结果时,门槛不能凭直觉定成“看着差不多就行”,而应显式检查两件事:
# 在''低基准转化率''下的假阳性率是否可接受;
# 在''有意义提升''下的检出力是否足够。
一个可直接用的例子
以 20 人样本为例:
- 若把基准高信号率视为 5%,则 "≥3 个高信号" 的假阳性率约为 7.55%。
- 若真实高信号率提升到 20%,则 "≥3 个高信号" 的检出力约为 79.39%。
这意味着 小样本首轮试验不要把单个高信号当成功 的经验判断,可以进一步量化为:''20 人样本用 3 个高信号作为最低继续阈值'',在保守场景下是一个还算平衡的门槛。
决策顺序
必须先走 先判红线,再看样本,最后看下一步:
# 合规 / 履约 / 现金 / 风险红线先判。
# 没触发红线,再看样本是否达到聚集阈值。
# 若高信号达标但不推进,再回头改 offer 或下一步动作,而不是把结果误判为“没市场”。
可迁移的用法
这个门槛思路适用于任何小样本二元实验:首触达、试单邀请、报价后转化、资格确认等。只要你能先给出一个基准率和一个可接受提升,就能用二项尾概率把“要不要继续”从拍脑袋变成可复核规则。