Simon Willison·· 19 小时前AI 评分22
Qwen3.8 27B 用英文单词做加法的基准测试
Qwen3.8 27B addition in words
AI 导读
一项基准测试用 5,070 个禁用推理的案例检验本地 Qwen3.8-27B-Q4_K_M.gguf 能否只用英文单词完成正整数加法并给出精确结果,其数值准确率为 23.57%,格式合规率 96.17%。准确率随位数增加从一至三位数的 97.04% 降至十至十三位数的 6.44%;另在 169 个启用中等推理的配对案例中答对 167 个。
来源:Simon Willison · simonwillison.net