小样本首轮高信号阈值的基准率稳健性

lesson method 小样本首轮试验不要把单个高信号当成功 先判红线,再看样本,最后看下一步

修改:20260425173006000

小样本首轮高信号阈值的基准率稳健性


''结论'': 对 20 人首轮触达,若把“继续”阈值定为至少 3 个高信号,则在 5% 基准率下,样本级假阳性约为 7.55%;在 7% 基准率下,假阳性已升到约 16.10%;在 10% 基准率下,达到 ≥3 个高信号的概率约 32.31%。这说明“20 人样本至少 3 个高信号”只是在低基准率下勉强可用,并不能作为对 5%–10% 真实回复率都稳健的统一门槛。

更稳的替代阈值


如果希望把低基准率下的样本级误判压到 10% 以下,20 人样本应把继续阈值上调到至少 4 个高信号:
# p=5% 时,P(X≥4)≈1.59%
# p=7% 时,P(X≥4)≈4.71%
# p=10% 时,P(X≥4)≈13.30%(仍偏高)

这意味着:
# 对 5% 基准率,≥4 可明显收紧误判;
# 对 7% 基准率,≥4 仍在较低误判区间;
# 对 10% 基准率,20 人样本本身就过小,单靠阈值上调不足以同时兼顾稳健性与检出力。

对原规则的修正


小样本首轮试验不要把单个高信号当成功 的“至少 3 个高信号”可视为一个偏宽松的经验门槛,但若要覆盖 5%–10% 的低基准率区间,应该把“继续门槛”改写成随基准率上调的分段规则;否则门槛本身会在低基准率下失真。