热门模型发布
犀牛鸟前沿 | 犀牛鸟精英人才 ICML 2026 入选论文解读
主要内容
- 01HPD结合正向和反向KL优势优化蒸馏。
- 02Many-Shot CoT-ICL发现推理任务扩展规律不同。
- 03三篇论文均由腾讯与高校联合完成。
- 04HPD在数学推理和代码生成上效果提升。
- 05CamGeo在稀疏相机条件下生成一致运动视频。
背景
知识蒸馏用于LLM压缩，ICL是非参数化适配手段，视频生成依赖密集视角。现有方法在效率、推理稳定性、稀疏几何一致性上有短板。这三篇分别提出HPD、CDS示例排序、CamGeo蒸馏框架，直接改进现有技术。
为什么值得关注
HPD可为中小团队提供更高效的模型蒸馏方案；Many-Shot CoT-ICL的发现指导开发者优化上下文示例组织；CamGeo使稀疏视角视频生成更可行，对内容创作和三维视觉应用有价值。
🇨🇳
对中国用户与市场
三篇均由腾讯与国内高校（上交、港科大、北大）合作，技术可集成到腾讯混元、微信、营销等产品中。中文开发者可借鉴HPD改进自身蒸馏流程，利用CDS原则优化推理案例，或参考CamGeo的思路做视频生成应用。
继续关注
⚠尚未确定的部分
- ·HPD实验结果是否适用所有模型族需更多验证。
- ·Many-Shot CoT-ICL方法长上下文窗口代价待评估。
- ·CamGeo的蒸馏策略可能增加训练复杂度。
→可采取的行动
- ·阅读三篇论文原文，了解HPD具体实现。
- ·测试Many-Shot CoT-ICL的CDS排序方法到自有推理任务。
- ·关注CamGeo开源代码（若有）并尝试稀疏视角视频生成。
- ·评估蒸馏方案在自身模型压缩场景的适用性。
摘记
将长上下文窗口从'检索缓存'重定义为'上下文测试时学习的结构化课程'
#腾讯#上海交通大学#香港科技大学#北京大学#ICML#HPD#CamGeo#VGGT#知识蒸馏#长上下文推理
🤖 本文根据 雷峰网 的 RSS 内容整理，并由 AI 辅助提炼要点。完整上下文请以 原文 为准。