配对比较、重复采样与发布门禁:练习答案
参考实现
完整实现:
python
def release_gate(gain_lower,safety_regressions,p95,cost):
return gain_lower>0 and safety_regressions==0 and p95<=1000 and cost<=10
assert release_gate(.01,0,1000,10)
for values in [(0,0,1000,10),(.01,1,1000,10),(.01,0,1001,10),(.01,0,1000,11)]:
assert not release_gate(*values)
print("all release constraints checked")零收益下界不能证明改善。这里演示门禁逻辑,没有用三条样本冒充真实发布证据。
条件完整性评分
第一句为 2 分:试用期每周 1 天与经理审批均明确,正式员工 2 天也来自同一证据;它没有用正式员工条件覆盖试用期。这里将“向经理申请”按问题语境理解为需要经理批准,若产品要求区分提交申请与已获批准,rubric 必须事先写明,而不是事后改分。第二句为 0 分:虽有正确的 1 天和经理批准,却添加证据没有的 HR 批准,应标 unsupported_claim,不能用“前半句正确”抵消新增业务限制。
仲裁记录应保存对应证据原句、rubric 版本、回答 ID 和上述理由。先独立人工评分再对比分歧;不要让程序按有没有 HR 关键词冒充普适事实校验。