热门模型发布
Jalapeño 跑分炸场,GPU 推理路线开始分裂?
TL;DR · 一句话结论
OpenAI 的 Jalapeño 芯片在推理性能上表现出色,GPU 推理路线开始分化。
主要内容
- 01Jalapeño 芯片在 GPT-OSS 120B、DeepSeek R1 670B 和 Kimi K2.5 1T 上,峰值吞吐位置每瓦完成的 AI 工作提高约 1.5~1.9 倍。
- 02端到端延迟降低约 1.7~3.6 倍。
- 03Jalapeño 芯片额定功耗是 700W,这批负载中的持续功耗没有超过 550W。
- 04NVIDIA 正在把 Groq 3 LPU 拉进推理系统,专门处理 Token 生成。
- 05Google 也把 TPU 8 拆成偏训练和偏推理的两条路线。
背景
OpenAI 发布了自研推理芯片 Jalapeño,NVIDIA 和 Google 也分别展示了各自的推理芯片设计。
为什么值得关注
Jalapeño 芯片的发布标志着 GPU 推理路线的开始分化,对 AI 工具用户和开发者具有重要意义。
🇨🇳
对中国用户与市场
Jalapeño 芯片的发布将推动国内 AI 芯片技术的发展。
继续关注
⚠尚未确定的部分
- ·Jalapeño 芯片目前还处于生产资格验证和规模部署之前,实际应用效果有待进一步验证。
→可采取的行动
- ·关注 AI 芯片技术的发展。
- ·了解不同 AI 芯片的特点和应用场景。
摘记
Jalapeño 芯片在推理性能上表现出色。
#OpenAI#Jalapeño#NVIDIA#Groq 3 LPU#Google#TPU 8t#TPU 8i#AI 芯片#推理#GPU
🤖 本文根据 雷峰网 的 RSS 内容整理,并由 AI 辅助提炼要点。完整上下文请以 原文 为准。