英伟达发布 Eagle 2.5 视觉语言 AI 模型:8B 参数媲美 GPT-4o

英伟达发布 Eagle 2.5 视觉语言 AI 模型:8B 参数媲美 GPT-4o

人工智能 2025-04-25 12:05:04 11天前

IT酷哥 4 月 23 日消息,科技媒体 marktechpost 昨日(4 月 22 日)发布博文,报道称英伟达最新推出 Eagle 2.5,一款专注于长上下文多模态学习的视觉-语言模型(VLM)。

该模型专注于理解大规模视频和图像,尤其擅长处理高分辨率图像和长视频序列。尽管参数规模仅为 8B,Eagle 2.5 在 Video-MME 基准测试(512 帧输入)中得分高达 72.4%,媲美 Qwen2.5-VL-72B 和 InternVL2.5-78B 等更大规模模型。

创新训练策略

Eagle 2.5 的成功离不开两项关键训练策略:信息优先采样(Information-First Sampling)和渐进式后训练(Progressive Post-Training)。

信息优先采样通过图像区域保留(IAP)技术,保留超过 60% 的原始图像区域,同时减少宽高比失真;自动降级采样(ADS)则根据上下文长度动态平衡视觉和文本输入,确保文本完整性和视觉细节的优化。

渐进式后训练逐步扩展模型上下文窗口,从 32K 到 128K token,让模型在不同输入长度下保持稳定性能,避免过拟合单一上下文范围。这些策略结合 SigLIP 视觉编码和 MLP 投影层,确保了模型在多样化任务中的灵活性。

定制数据集

Eagle 2.5 的训练数据管道,整合了开源资源和定制数据集 Eagle-Video-110K,该数据集专为理解长视频设计,采用双重标注方式。

自上而下的方法采用故事级分割,结合人类标注章节元数据、GPT-4 生成的密集描述;自下而上的方法则利用 GPT-4o 为短片段生成问答对,抓取时空细节。

通过余弦相似度(cosine similarity)筛选,数据集强调多样性而非冗余,确保叙事连贯性和细粒度标注,显著提升了模型在高帧数(≥128 帧)任务中的表现。

性能表现

Eagle 2.5-8B 在多项视频和图像理解任务中表现出色。在视频基准测试中,MVBench 得分为 74.8,MLVU 为 77.6,LongVideoBench 为 66.4;在图像基准测试中,DocVQA 得分为 94.1,ChartQA 为 87.5,InfoVQA 为 80.4。

消融研究(Ablation studies)表明,IAP 和 ADS 的移除会导致性能下降,而渐进式训练和 Eagle-Video-110K 数据集的加入则带来更稳定的提升。

IT酷哥附上参考地址

Eagle 2.5: Boosting Long-Context Post-Training for Frontier Vision-Language Models

GitHub 页面

项目页面

文章版权声明:除非注明,否则均为网络转载文章,转载或复制请以超链接形式并注明出处。

相关阅读

  • 夏普推出基于 ChatGPT 的 App,让自家机器人型手机打造你的专属故事
  • 谷歌推出多项功能:识别皮肤病、模拟试穿衣服
  • 王小川创立的百川智能发布中英文大模型:采用开源模式,可免费商用
  • 当一个网站的内容被 AI 完全接管
  • OpenAI CTO 揭晓 ChatGPT 内幕,原本只是一个研究示范项目
  • 软银 CEO 孙正义宣布策略调整:AI 革命正在爆发,公司将“转守为攻”
  • 全球首个 AI 广播频道公司完成 1900 万美元融资,开发无障碍及游戏 NPC 技术
  • Meta 和 OpenAI 公司 CEO 公开支持欧盟推行 AI 监管方案
  • 开源模型 PrivateGPT 上线,可本地搭建、避免信息外泄
  • 复旦大学与阿里巴巴达成全面战略合作,共享 AI 大模型底层能力
  • AI 图像编辑技术 DragGAN 开源,拖动鼠标即可将狮子 P 转头
  • 人工智能深度调查:用过 AI 工具的人并没想象的那么多
  • 微软推出生成式 AI 培训项目,免费提供在线课程和证书
  • 正版文心一言上架 App Store,百度此前起诉苹果“盗版 App 泛滥”
  • MetaGPT AI 模型开源:可模拟软件公司开发过程,生成高质量代码
  • 多家欧洲企业签署公开信,批评欧盟 AI 法案草案限制产业发展
  • 匈牙利公司推出世界首款 AI 研发饮料,口味、包装均由 AI 完成
  • 陈天桥再投 10 亿元支持 AI 脑科学,筹建睡眠梦境、抗衰老等前沿实验室
  • 华为宣布联合 26 家企业启动昇腾 AI 大模型联合创新,已建成业界首个万卡 AI 集群
  • 百度华为阿里入局 AI 大模型“国家队”,联合担任首个标准化专题组组长
  • 最新资讯

    热门资讯