Hugging Peers

Qwen3-4B-MNN

☆ Save
by MNN text-generation MNN Apache License 2.0
520 downloads 1 likes on ModelScope updated

Model card

Qwen3-4B-MNN

介绍（Introduction）

此模型是使用llmexport从Qwen3-4B导出的4bit量化版本的MNN模型。

下载

#安装ModelScope
pip install modelscope



#命令行工具下载
modelscope download --model 'MNN/Qwen3-4B-MNN' --local_dir 'path/to/dir'



#SDK模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('MNN/Qwen3-4B-MNN')

Git下载

#Git模型下载
git clone https://www.modelscope.cn/MNN/Qwen3-4B-MNN.git

使用

# 下载MNN源码
git clone https://github.com/alibaba/MNN.git

# 编译
cd MNN
mkdir build && cd build
cmake .. -DMNN_LOW_MEMORY=true -DMNN_CPU_WEIGHT_DEQUANT_GEMM=true -DMNN_BUILD_LLM=true -DMNN_SUPPORT_TRANSFORMER_FUSE=true
make -j

# 运行
./llm_demo /path/to/Qwen3-4B-MNN/config.json prompt.txt

文档

MNN-LLM