OpenAI 为何不再评测 SWE-bench Verified
OpenAI 宣布不再使用 SWE-bench Verified 评测前沿编程能力,原因是该基准正日益受到污染,且存在测试缺陷与训练数据泄漏问题,已无法准确衡量模型进展。OpenAI 建议改用 SWE-bench Pro。
OpenAI 宣布不再使用 SWE-bench Verified 评测前沿编程能力,原因是该基准正日益受到污染,且存在测试缺陷与训练数据泄漏问题,已无法准确衡量模型进展。OpenAI 建议改用 SWE-bench Pro。