llama.cpp

在本地设备上高效运行大语言模型的C++推理引擎

• +需要本地推理、跨平台支持能力的用户
• +希望国内访问门槛更低的中文用户
• +预算敏感、希望先免费尝试的个人用户

• −必须全中文界面和中文客服的新手用户

无需联网，在本地设备上运行大语言模型

支持Windows、macOS、Linux等多种操作系统

通过量化技术减少模型体积，提升推理速度

体积小、依赖少，适合边缘设备或嵌入式场景

从GitHub克隆仓库

编译项目（支持CMake）

下载量化模型文件

运行命令行推理