BestBlogs.dev· Yume_X·· 12 小时前AI 评分38
单台 DGX Spark 以 2.49 bpw 运行 321B 去拒答版 GLM-5.3-Flash 的基准测试与架构分析
单台 DGX Spark 运行 321B 去拒答版 GLM-5.3-Flash
AI 导读
作者在单台 128 GB 显存的 DGX Spark 上,通过 SAGE EXL3 量化将 321B 参数的 GLM-5.3-Flash 去拒答版 RED-SNOW-5.3-FLASH 压至 2.49 bpw 运行,测试了解码速度、高达 240k 的长上下文召回率及 12 项网络安全基准。
来源:BestBlogs.dev · bestblogs.dev