量化 vs 原精度
量化之后能力掉多少
同一份权重、同一推理引擎和硬件,只换精度。基线是官方 BF16,全部自部署,最高推理档。
官方 8-bit(FP8 / MXFP8)—分综合分平均变化,0 组
4-bit(NVFP4 / GGUF Q4_K_M)—分综合分平均变化,0 组
4-bit 掉分最多的大类—能力平均变化 — 分
综合分
BF16 基线8-bit4-bit
0
25
50
75
100
暂无数据
没有符合条件的结果
量化之后能力掉多少
同一份权重、同一推理引擎和硬件,只换精度。基线是官方 BF16,全部自部署,最高推理档。
暂无数据
没有符合条件的结果