热议中AI公司动态
深圳市大数据研究院4项科研成果被ICML 2026录用
主要内容
- 01AdaMeZO：零阶优化器，微调LLM额外显存仅7%。
- 02Romberg-ZOGE：多尺度外推降低梯度估计偏差。
- 03SCOPE：边云协同视频推理，时延降低85%。
- 04MIMOMamba：矩阵值注意力，参数复杂度降至D²。
- 05研究机构：深圳市大数据研究院与港中大（深圳）合作。
背景
ICML是机器学习三大顶会之一。深圳市大数据研究院本次录用的4篇论文分别针对大模型微调显存瓶颈、零阶梯度估计偏差、长视频推理延迟、以及序列模型效率与表达能力权衡等实际问题，提出了新的算法框架。
为什么值得关注
AdaMeZO让资源受限设备微调LLM成为可能；SCOPE为视频监控等边缘场景提供低成本方案；MIMOMamba挑战Transformer在长序列上的效率瓶颈。这些成果可直接降低开发者部署成本，提升模型推理速度。
🇨🇳
对中国用户与市场
国内开发者可关注AdaMeZO在国产GPU上的微调适配，SCOPE适用于智慧城市视频分析等场景。但论文尚未开源，实际复现效果需验证。
继续关注
⚠尚未确定的部分
- ·论文是否开源代码尚未明确，复现依赖后续发布。
- ·AdaMeZO在更大规模模型上的实际收益待进一步验证。
- ·SCOPE框架依赖于云端大模型质量，边缘端能力可能受限。
→可采取的行动
- ·关注AdaMeZO代码开源后，尝试在消费级GPU上微调7B模型。
- ·评估SCOPE框架是否适用于自身的视频分析流水线。
- ·跟进MIMOMamba在长文本任务上的开源实现。
- ·对照Romberg-ZOGE改进现有零阶优化器的梯度估计。
摘记
AdaMeZO 在保留 MeZO 低显存优势的同时，引入类似 Adam 的自适应
SCOPE 在 16 帧设置下达到与纯云端相同的 66.04% 准确率，并将端到
#深圳市大数据研究院#香港中文大学（深圳）#ICML#AdaMeZO#Romberg-ZOGE#SCOPE#MIMOMamba#MeZO#ICML 2026#大模型微调
🤖 本文根据 雷峰网 的 RSS 内容整理，并由 AI 辅助提炼要点。完整上下文请以 原文 为准。