Qwen3-4B-gptq-W4A16

Qwen/Qwen3-4B 的 GPTQ 量化版本，用 llm-compressor 生成， 权重格式为 compressed-tensors，可直接被 vLLM 加载（Marlin kernel）。

用 Hessian 做逐列误差补偿，需要校准数据。

量化配置

实测结果

环境：AutoDL · RTX 4090 24GB · PyTorch 2.8.0+cu128 · vLLM 0.11.0

用法

from vllm import LLM, SamplingParams

llm = LLM(model="Brilliantccc/Qwen3-4B-gptq-W4A16", max_model_len=4096)
out = llm.generate(["用三句话解释什么是模型量化。"],
                   SamplingParams(temperature=0.7, top_p=0.8, max_tokens=256))
print(out[0].outputs[0].text)

也可以用 transformers（注意：非对称零点格式 transformers 可能解不开， 这类 checkpoint 请用 vLLM）：

from transformers import AutoModelForCausalLM, AutoTokenizer
tok = AutoTokenizer.from_pretrained("Brilliantccc/Qwen3-4B-gptq-W4A16")
model = AutoModelForCausalLM.from_pretrained("Brilliantccc/Qwen3-4B-gptq-W4A16", dtype="auto", device_map="auto")

说明

• 量化会带来精度损失，建议在自己的业务数据上先做一次对比评测再上线；
• 该模型由社区工具链生成，遵循基座模型的许可证。

同系列量化模型

同一个基座、同一套校准配置下的其他量化结果，可横向对比（W4A16 体积相同，差异在精度与是否需要校准）：