交付任务、环境、证据与裁决
复杂评测不应只交付一份结果表。我们把专家资格、原创性、参考解、运行环境、轨迹、验证器、复核与版本记录一并纳入验收。
先验证任务与环境，再扩大并行运行
先确认任务可解、评分可区分、环境可复现和专家适配，再按批次扩展并发。
- 01
能力边界定义
明确模型要突破的知识、推理或执行边界，以及有效任务必须满足的条件。
- 02
原创任务与环境构造
由专家作者和验证工程师完成题目、参考解、运行环境、量规与验证逻辑。
- 03
独立求解与校准
通过专家复算、模型试跑、环境复跑和难度分层，排除歧义、泄漏与无效任务。
- 04
受控评测运行
统一管理任务版本、执行轨迹、实验日志、异常、返修与状态证据。
- 05
盲审与专业裁决
独立复核题目、答案、轨迹和验证器，以来源或运行证据解决分歧。
- 06
版本发布与反馈
交付数据、环境、验证器与验收记录，并把失败模式带入下一版本。
多任务评测运营场景
01
统一接口
项目问题由交付负责人汇总，避免贡献者无序直连客户。
02
版本管理
规则、样本和反馈使用明确版本，防止不同批次口径漂移。
03
分层产能
生产、领域复核与 QA 使用不同资格标准，按难度配置。
04
异常闭环
效率、质量、规则或系统问题有明确的升级与返修路径。
任务难度决定人才与 QA 配置
L1
领域作者层
金融 / 法律 / 医学 / STEM 专家
原创出题、参考答案、证据推导与专业边界
L2
评测研究层
研究生 / ML 研究人员 / 高阶评测员
难度校准、模型试跑、轨迹审阅与失败归因
L3
验证工程层
ML / 软件 / Benchmark 工程师
MLE、MLS、ProgramBench、DeepSWE、FrontierSWE 与程序化验证
SOP 版本
明确本批次执行规则与边界案例
生产记录
保留任务、人员、时间与状态信息
QA 证据
抽检、问题归因与返修结果可追踪
验收批次
按约定结构提交达标结果与复盘
THE DELIVERY OBJECT
交付结构，可以直接检查。
建议结构示意 · 具体字段与环境按项目校准
任务文件定义要完成的工作，验证文件说明如何判断结果，Manifest 记录批次、版本与材料清单。
JSON / DESIGN EXAMPLE
{ "task_id": "DEMO-AGENT-001", "instruction": "修复路由优先级，保留既有接口兼容性", "inputs": [ "固定版本起始工程", "行为规格" ], "environment": { "type": "isolated_terminal", "runtime": "项目确认" }, "expected_artifact": [ "可构建源码", "执行记录" ]}让下一批数据，针对你的能力目标
从任务目标与样例开始，共同确定材料、专家、验证方法与交付范围。