任务理解先于规模扩张
某代码模型评测需要避开短函数补全，转向可安装、可交互、包含状态和异常语义的完整程序重建。任务作者定义公开行为规格与黑盒参考；验证工程师从接口、文件、错误、状态、边界和并发六个维度编写隐藏测试；候选提交在隔离环境中安装、运行并复测，评分器稳定性另由独立人员验证。
01
从行为规格而非源代码重建完整程序
02
接口、状态、错误与边界测试组合
03
任务作者、验证工程师与评分器复验角色分离
02 / 采购评估结构
同一套结构用于对齐算法、数据、采购和安全团队的评估问题。
只给行为规格和黑盒参考，让模型重建完整、兼容且能通过隐藏测试的程序。
具备 CLI、文件读写、持久状态和错误语义的完整程序
黑盒规格设计、参考实现锁定、隐藏测试构造与隔离环境运行
代表批次 360+ 个任务，每项配置 26–140 个隐藏行为测试
黑盒规格 × 隐藏测试 × 评分器复验；任务作者、验证工程师与评分器复验角色分离
从行为规格而非源代码重建完整程序；接口、状态、错误与边界测试组合；评分器跨环境一致性高于 98%；偶然通过和实现泄漏在验收前剔除
客户身份、原始材料及部分规模已移除或区间化；本页用于说明交付方法，不构成未来结果承诺。
下一步
核对样例，再确定任务范围。
将这个方向带入沟通，确认交付结构、验证方式与可提供的样例范围。
让下一批数据，针对你的能力目标
从任务目标与样例开始，共同确定材料、专家、验证方法与交付范围。