Skip to content

配对比较、重复采样与发布门禁:练习答案 ​

参考实现 ​

完整实现:

python
def release_gate(gain_lower,safety_regressions,p95,cost):
    return gain_lower>0 and safety_regressions==0 and p95<=1000 and cost<=10
assert release_gate(.01,0,1000,10)
for values in [(0,0,1000,10),(.01,1,1000,10),(.01,0,1001,10),(.01,0,1000,11)]:
    assert not release_gate(*values)
print("all release constraints checked")

零收益下界不能证明改善。这里演示门禁逻辑,没有用三条样本冒充真实发布证据。

返回正文

条件完整性评分 ​

第一句为 2 分:试用期每周 1 天与经理审批均明确,正式员工 2 天也来自同一证据;它没有用正式员工条件覆盖试用期。这里将“向经理申请”按问题语境理解为需要经理批准,若产品要求区分提交申请与已获批准,rubric 必须事先写明,而不是事后改分。第二句为 0 分:虽有正确的 1 天和经理批准,却添加证据没有的 HR 批准,应标 unsupported_claim,不能用“前半句正确”抵消新增业务限制。

仲裁记录应保存对应证据原句、rubric 版本、回答 ID 和上述理由。先独立人工评分再对比分歧;不要让程序按有没有 HR 关键词冒充普适事实校验。

用心记录每一步成长