项目Smolmaxxing旨在在小型和旧设备上运行大型语言模型，支持多种设备，包括小米电视盒子、iPad Air和OnePlus Nord CE 2。
Smolmaxxing项目旨在让大型语言模型（LLM）在小型和旧设备上运行。该项目支持多种设备，包括小米电视盒子（第3代）、iPad Air（2013）和OnePlus Nord CE 2（2022）。这些设备通常拥有有限的CPU、RAM和闪存存储，但Smolmaxxing通过优化内核、内存使用和从闪存流式传输权重，使这些设备能够运行尽可能大的模型。
项目使用了针对不同芯片定制的内核，例如为Cortex-A55和A7处理器重新打包的1位查找表内核。此外，项目通过减少每个模型所需的RAM，以及仅在需要时从闪存读取专家模型，实现了在有限资源上的高效运行。例如，电视盒子和iPad Air在约1GB的RAM上运行8B和16B混合专家模型，而手机则运行35B和80B模型。
Smolmaxxing项目提供了详细的文档和指南，帮助用户在各自的设备上运行模型。项目还鼓励用户在小型设备上运行模型并提交结果，以便添加到项目的结果中。
更多详情请见原文链接: https://github.com/hyperionaidev/smolmaxxing/