跳到正文
原文
BestBlogs.dev· Yume_X·· 12 小时前AI 评分38

单台 DGX Spark 以 2.49 bpw 运行 321B 去拒答版 GLM-5.3-Flash 的基准测试与架构分析

单台 DGX Spark 运行 321B 去拒答版 GLM-5.3-Flash

AI 导读

作者在单台 128 GB 显存的 DGX Spark 上,通过 SAGE EXL3 量化将 321B 参数的 GLM-5.3-Flash 去拒答版 RED-SNOW-5.3-FLASH 压至 2.49 bpw 运行,测试了解码速度、高达 240k 的长上下文召回率及 12 项网络安全基准。

来源:BestBlogs.dev · bestblogs.dev