选择判断
价格
免费
国内访问
国内直连
中文支持
英文为主
注册门槛
未确认
适合场景
需要本地推理、跨平台支持能力的用户
替代方案
暂无明确替代
工具简介
在本地设备上高效运行大语言模型的C++推理引擎
LLM inference in C/C++ — runs on a Raspberry Pi. - GitHub +1,872 stars/week - C++
适合谁使用
更适合
- ✓ 需要本地推理、跨平台支持能力的用户
- ✓ 希望国内访问门槛更低的中文用户
- ✓ 预算敏感、希望先免费尝试的个人用户
需要谨慎
- · 必须全中文界面和中文客服的新手用户
如何开始使用
- 1从GitHub克隆仓库
- 2编译项目（支持CMake）
- 3下载量化模型文件
- 4运行命令行推理
功能亮点
✓ 本地推理✓ 跨平台支持✓ 量化优化✓ 轻量部署
国内用户须知
访问方式
国内直连
最后更新：2026/5/11
中文界面
❌ 不支持
免费额度
—
API 开放
—
中国用户实操信息
注册方式
未确认
海外手机号
不需要
实名认证
不需要
支付限制
无明显限制
人民币价格
免费
微信小程序
未确认
中国区 App Store
未确认
微信公众号
未确认
合规状态最后更新时间未确认，建议以官网为准
常见问答
Q：支持哪些模型？
A：支持LLaMA、Mistral、Falcon等主流开源模型
Q：需要GPU吗？
A：可在CPU上运行，也支持GPU加速
Q：如何量化模型？
A：使用内置的quantize工具进行4-bit/8-bit量化