opencode/evals/agentpaas-acceptance/cases.json

[
  {
    "id": "data",
    "capability": "数据分析",
    "files": [
      "measurements.csv"
    ],
    "prompt": "分析上传的 measurements.csv。按 id 去重，重复 id 保留第一条；value 空白行在去重之后剔除。不插补。输出 acceptance.json，字段 valid_rows、excluded_missing、duplicates_removed、group_means（A 和 B）、overall_mean。另输出 cleaned.csv 和解释处理顺序的 report.md。所有数值必须从输入计算。",
    "artifact": "acceptance.json",
    "expected": {
      "valid_rows": 4,
      "excluded_missing": 1,
      "duplicates_removed": 1,
      "group_means": {
        "A": 3,
        "B": 7
      },
      "overall_mean": 5
    },
    "required_artifacts": [
      "acceptance.json",
      "cleaned.csv",
      "report.md"
    ],
    "review": [
      "cleaned.csv 是否恰好包含 id 1、2、3、4，且未修改有效值",
      "报告是否解释去重及缺失值处理，没有捏造推断"
    ],
    "mode": "iterate"
  },
  {
    "id": "qa",
    "capability": "文档问答",
    "files": [
      "policy.txt"
    ],
    "prompt": "只依据上传的 policy.txt 回答：当前月度上限是多少？旧规定是否冲突？文本能否确定外部协作者限额？输出 acceptance.json，字段 monthly_limit、effective_source、superseded_source、external_collaborator_limit（不知道用 null）、evidence_ids。另输出 report.md，逐条引用文档原句并解释新旧版本关系；禁止外部检索和猜测。 acceptance.json 还需 evidence_quotes 对象，键为 P1、P2、P3，值为对应来源的逐字原句（每句至少 12 字）；report.md 引用同样原句。",
    "artifact": "acceptance.json",
    "expected": {
      "monthly_limit": 12,
      "effective_source": "P2",
      "superseded_source": "P1",
      "external_collaborator_limit": null
    },
    "required_artifacts": [
      "acceptance.json",
      "report.md"
    ],
    "review": [
      "每条答案的引文是否确实支持主张",
      "是否区分版本覆盖与尚未解决的冲突",
      "未知问题是否明确拒绝猜测"
    ],
    "mode": "iterate"
  },
  {
    "id": "software",
    "capability": "软件工程",
    "files": [
      "software-task.md"
    ],
    "prompt": "完成上传的 software-task.md。生成 solution.py、test_solution.py、report.md 和 acceptance.json。acceptance.json 包含 result_cases，即题目给定四个输入的 normalize_labels 返回值。不要安装依赖、访问网络或执行破坏性命令；说明你实际进行了哪些验证，没有运行测试就明确说明。",
    "artifact": "acceptance.json",
    "expected": {
      "result_cases": [
        [
          "alpha",
          "beta"
        ],
        [],
        [
          "a",
          "b"
        ],
        [
          "x"
        ]
      ]
    },
    "required_artifacts": [
      "acceptance.json",
      "solution.py",
      "test_solution.py",
      "report.md"
    ],
    "review": [
      "在独立沙箱审阅代码后运行测试，记录真实通过数；本脚本不会执行模型生成的代码",
      "是否覆盖空白、大小写去重、非字符串值及顺序保持",
      "代码是否满足函数签名且无额外副作用"
    ],
    "mode": "iterate"
  },
  {
    "id": "research",
    "capability": "科学假设与计划",
    "files": [
      "evidence.md"
    ],
    "prompt": "针对上传 evidence.md 中的合成问题，形成可证伪假设和后续研究计划。资料是人工构造的测试材料，不是真实科学发现。不得把 E1 的相关性当因果，不得忽略 E2 反例。输出 acceptance.json，字段 evidence_ids、causal_claim_supported（布尔值）、simulation_executed（布尔值）；另输出 report.md，列明支持证据、反证、变量、对照、测量指标、失败判据，以及补充何种证据会改变结论。不接入真实实验，不得宣称进行了模拟。 acceptance.json 还需 evidence_quotes 对象，键为 E1、E2、E3，值为对应来源的逐字原句（每句至少 12 字）；report.md 引用同样原句。",
    "artifact": "acceptance.json",
    "expected": {
      "evidence_ids": [
        "E1",
        "E2",
        "E3"
      ],
      "causal_claim_supported": false,
      "simulation_executed": false
    },
    "required_artifacts": [
      "acceptance.json",
      "report.md"
    ],
    "review": [
      "假设是否来自给定证据，且反证被实际纳入推理",
      "是否包含可测量的结果与足以推翻假设的判据",
      "研究计划是否区分观测与干预，且预算与执行条件明确",
      "此用例只检查证据约束与流程，不证明真实科学创新或 125 问题覆盖"
    ],
    "mode": "iterate"
  }
]