热议中模型发布
上下文窗口限制被打破：Subquadratic推出了一个1200万Token的窗口
TL;DR · 一句话结论
Subquadratic 发布支持 1200 万 Token 上下文窗口的模型，远超当前主流产品的 128K 水平，但具体技术细节、运行成本及可用性尚未披露。
主要内容
- 01当前主流模型上下文窗口通常为 128K 或更少。
- 02该窗口大小可处理超长文档或大规模代码库。
- 03暂无技术原理、模型架构和性能评测细节。
- 04未说明是否开源、API 价格或部署方式。
背景
上下文窗口决定模型一次能处理的文本长度，是长文档分析、代码理解等场景的关键瓶颈。GPT-4 等模型窗口约 128K Token，Claude 达到 200K，而 Subquadratic 宣称 1200 万 Token 是数量级提升，可能基于稀疏注意力或线性注意力等架构创新。
为什么值得关注
对 AI 工具用户意味着可直接分析整本书级文档、完整代码仓库或长时间对话历史，无需分块或摘要。开发者可构建更强大的 RAG 应用、法律文书审查、全量日志分析等场景。但实际性能、推理速度和成本才是落地关键。
🇨🇳
对中国用户与市场
中文用户需关注模型是否支持中文、API 访问是否受限，以及是否可以通过国内云平台调用。若为海外服务，可能面临网络延迟或合规要求。同时可能刺激国内厂商加速长窗口研究。
继续关注
⚠尚未确定的部分
- ·目前仅有标题信息，无官方博客或论文佐证。
- ·1200 万 Token 窗口的推理延迟和成本可能极高。
- ·该窗口是否实际可用或只是技术演示，尚不明确。
- ·模型名称、可用平台、许可证等细节均缺失。
→可采取的行动
- ·关注 Subquadratic 官方渠道获取技术详情。
- ·若为开源，可测试长文档摘要、代码理解能力。
- ·对比现有长窗口方案（如 LM Studio、Hugging Face 上的 LongLLaMA）。
- ·评估自身业务是否需要如此大的上下文窗口。
#Subquadratic#上下文窗口#长文本#大模型#Token限制#AI突破
🤖 本文根据 InfoQ 中文 AI 的 RSS 内容整理，并由 AI 辅助提炼要点。完整上下文请以 原文 为准。