llamafile是一个将大型语言模型和运行环境全部封装在一个文件中的创新项目。不需要进行复杂的配置或安装，只需下载一个.llamafile文件, 就能直接用上大模型的强大功能。这里提供llamafile工具包，包括llamafile-convert等工具，支持将gguf文件，直接转换成可执行文件。同时还包括llamafile-quantize, llamafile-tokenize等一些列工具。
本工具包从官方发布页面 https://github.com/Mozilla-Ocho/llamafile/releases 整理而来，并且会保持持续更新。
使用命令行下载工具箱
推荐使用命令行下载您需要的，指定的llamafile工具。首先请确保您已经安装了modelscope：
pip install modelscope
使用如下命令下载包含所有工具的zip包 llamafile-0.9.1.zip，下载后再自行进行解压。
modelscope download --model=modelscope/llamafile-tools llamafile-0.9.1.zip --local_dir ./ --revision v0.9.1
unzip llamafile-0.9.1.zip
解压后包括llamafile-converter在内的多种工具均可从./llamafile-0.9.1/bin/文件夹里获取。关于llamafile工具的更多说明可以参见其github说明。
Note：在使用工具前，需要确保相关工具均有可执行权限，例如通过如下命令：
chmod +x ./llamafile-0.9.1/bin/*
转换GGUF文件为llamafile可执行格式
相比于GGUF格式，llamafile文件提供了一个可执行文件（executable），可以在包括Linux/iOS/Windows在内的，各个操作系统上直接运行。将GGUF文件转换成llamafile使用llamafile-convert工具实现。
比如有一个我们从Qwen2.5-3B官方repo下载的qwen2.5-3b-instruct-q4_k_m.gguf文件，就可以通过如下命令进行转换：
./bin/llamafile-convert /<path-to-file>/qwen2.5-3b-instruct-q4_k_m.gguf
运行成功后，会生成一个新的qwen2.5-3b-instruct-q4_k_m.llamafile可执行文件。确保当前文件在系统中有可执行权限后，就可以直接运行了：
./qwen2.5-3b-instruct-q4_k_m.llamafile
运行结果如下：
将这个qwen2.5-3b-instruct-q4_k_m.llamafile可执行文件拷贝到您的Mac电脑上，同样可以运行：
其他下载方式
当然您也可以通过其他方式来下载本repo的内容，包括SDK和git clone等。
SDK模型下载
from modelscope import snapshot_download
model_dir = snapshot_download('modelscope/llamafile-tools')
Git clone模型下载
#使用--depth 1选项减少下载的git历史文件
git clone https://www.modelscope.cn/modelscope/llamafile-tools.git --depth 1