量化 vs 原精度

量化之后能力掉多少

同一份权重、同一推理引擎和硬件,只换精度。基线是官方 BF16,全部自部署,最高推理档。

官方 8-bit(FP8 / MXFP8)—分综合分平均变化,0 组
4-bit(NVFP4 / GGUF Q4_K_M)—分综合分平均变化,0 组
4-bit 掉分最多的大类—能力平均变化 — 分

综合分

BF16 基线8-bit4-bit
0
25
50
75
100

暂无数据

没有符合条件的结果