小样本二项判定门槛

lesson method 小样本二项判定门槛 小样本首轮试验不要把单个高信号当成功 先判红线,再看样本,最后看下一步

修改:20260425173138000

当首轮获客只看高信号这种二元结果时,应先用二项尾概率同时约束假阳性和检出力,再把最低继续阈值定在样本量可支撑的聚集信号上。这个规则把 小样本首轮试验不要把单个高信号当成功 从经验判断升级为可计算门槛,并与 先判红线,再看样本,最后看下一步 的决策顺序兼容。

基准率分段的继续阈值


在 20 人样本下,若把“继续”定义为至少 k 个高信号,则:
# k=1 时,5%/7%/10% 基准率下的样本级“继续”概率分别约为 64.15% / 76.58% / 87.84%,太容易被噪音触发。
# k=2 时,对应约为 26.42% / 41.31% / 60.83%,仍偏宽。
# k=3 时,对应约为 7.55% / 16.10% / 32.31%,已经能把 5% 基准率下的假阳性压到较低水平,但在 7% 和 10% 场景下误判仍明显上升。

最小聚集信号的分段含义


若把目标设为“低基准率场景先保守、较高基准率场景允许更松”,那么 20 人样本的一个实用分段是:
# 5% 基准率:至少 3 个高信号,才能把误判压到相对可接受范围;
# 7% 基准率:至少 4 个高信号,才把继续门槛重新收紧;
# 10% 基准率:至少 5 个高信号,才避免把较高基准率环境下的随机波动误当成强信号。

这说明 小样本二项判定门槛 不能只有单一阈值;应按基准率分段,且分段阈值必须随基准率上升而上调,才能同时控制假阳性与继续误判。