HN热议：Llama-modchip项目允许在64GB RAM上运行284B DeepSeek模型，无需GPU支持。
Llama-modchip是一个由ggml/llama.cpp内核补丁、量化转码器和运行时工具组成的集合，旨在在x86_64 (AVX-512 / AVX2) 和ARM64 (NEON / SVE / Apple Metal) 处理器上完全在系统RAM中运行稀疏混合专家（MoE）检查点。
该项目允许将284B DeepSeek-V4-Flash模型（总参数量为284.33B，其中13.17B为活动参数，分布在43个MLA层和256个路由专家中）适配到64GB物理RAM中（磁盘上占56.56GiB，1.71 bpw）。标准UD-IQ1_S构建的DeepSeek-V4-Flash模型占用76.87GiB（82.5GB），超过了64GB Linux系统上的约62.5GiB可用RAM，导致页面缓存抖动或OOM终止。Llama-modchip将检查点减小到56.56GiB（60.73GB），使得整个模型加上256K KV缓存（57.61-58.9GiB VmRSS）可以锁定在RAM中，无需交换空间。
CPU缓存和SIMD内核补丁（+77%预填充，+53%解码）：在提示预填充期间，用4级寄存器（ZMM AVX-512BW）+ L1D（32 KB）+ L2（1 MB）+ L3（64 MB）多列（{8,4,3,2}）tiling调度替换单列量化矩阵-向量循环，实现了在16核心Zen 5上的25.0 -> 44.36 tok/s的提升，并使用注册站定的MQA8 FlashAttention和非临时_MMM_HINT_NTA MoE流，以确保冷专家权重不会驱逐L3中的热KV缓存行。
量化与内存分解：通过使用1.64 MB的L2/L3 Zobrist n-gram drafter（Stockfish-PVS v2）和/dev/shm KV槽快照（40工具Claude Code提示的13.1-32.6 ms恢复时间），以及一个$O(1)$的投机回滚修复，用于deepseek4的递归/MLA状态。
原文链接: https://github.com/synchopate/llama-modchip