llama.cpp

0 downloads 0 likes on ModelScope updated

Model card

llama.cpp 预编译二进制

自编译的 llama.cpp 二进制文件。

包含版本

目录 说明
cpu/ CPU 版本
cuda_12_120/ CUDA 12.8 版本

使用

./cpu/llama-server -m model.gguf ./cuda_12_120/llama-server -m model.gguf