TL;DR · 一句话理解
在本地设备上高效运行大语言模型的C++推理引擎
✓ 更适合
- +需要本地推理、跨平台支持能力的用户
- +希望国内访问门槛更低的中文用户
- +预算敏感、希望先免费尝试的个人用户
✗ 需谨慎
- −必须全中文界面和中文客服的新手用户
核心能力
🖥️
本地推理
无需联网，在本地设备上运行大语言模型
🌍
跨平台支持
支持Windows、macOS、Linux等多种操作系统
⚡
量化优化
通过量化技术减少模型体积，提升推理速度
📦
轻量部署
体积小、依赖少，适合边缘设备或嵌入式场景
上手步骤
01
从GitHub克隆仓库
02
编译项目（支持CMake）
03
下载量化模型文件
04
运行命令行推理
国内用户须知
访问方式
国内直连
国内访问状态最后更新：50 天前，建议以官网为准
常见问答
Q：支持哪些模型？
A：支持LLaMA、Mistral、Falcon等主流开源模型
Q：需要GPU吗？
A：可在CPU上运行，也支持GPU加速
Q：如何量化模型？
A：使用内置的quantize工具进行4-bit/8-bit量化
Q：llama.cpp 国内能用吗？
A：llama.cpp 可以国内直连使用，无需 VPN。
Q：llama.cpp 收费吗？
A：llama.cpp 完全免费，无需订阅或付费即可使用全部功能。
