北京智源发布悟道 3.0 大模型系列

北京智源发布悟道 3.0 大模型系列

人工智能 2023-06-12 19:07:02 1年以前

IT酷哥 6 月 10 日消息,在“2023 北京智源大会”上,北京智源人工智能研究院发布悟道 3.0 大模型系列,包含悟道・天鹰(Aquila)语言大模型系列、“天秤(FlagEval)”大语言评测体系及开放平台以及悟道・视界视觉大模型系列。

IT酷哥附详细内容:

悟道・天鹰 Aquila 语言大模型是第一个中英文双语大模型,支持商用、符合数据合规要求,在中英高质量合规的语料数据库基础上从零开始训练。这次发布了该系列模型中的 7B、33B 和 AquilaChat 对话模型,即 70 亿参数、330 亿参数的基础模型,AquilaCode 文本代码生成模型。

7B、33B 在技术上继承了 GPT-3、LLaMA 等的架构设计优点,替换了一批更高效的底层算子实现、重新设计实现了中英双语的 tokenizer,升级了 BMTrain 并行训练方法,在 Aquila 的训练过程中实现了比 Magtron+DeepSpeed ZeRO-2 将近8倍的训练效率。

AquilaCode-7B 代码模型,是基于 Aquila-7B 基础模式的代码模型,它也是 7B(70 亿参数),用小数据集、小参数量实现了高性能,支持中英双语。

大语言模型评测体系“天秤”在能力、任务、指标三个维度上建立了全方位的评测体系,包括 30 多种能力,加上 5 种任务,再乘以 4 大类的指标,总共差不多 600 维的评测体系。目前天秤开源大模型评测体系已经面向公众开放注册申请。在硬件方面支持英伟达、华为的昇腾、寒武纪、昆仑芯等多种芯片架构,以及 PyTorch 等多种深度学习框架。

视觉大模型方面,智源大会公布了在多模态序列中补全一切的多模态大模型 Emu、最强十亿级视觉基础模型 EVA、性能最强开源 CLIP 模型 EVA-CLIP、首创了上下文图像学习技术路径的通用视觉模型 Painter、分割一切的视界通用分割模型、以及首个零样本视频编辑方法 vid2vid-zero 等成果。

文章版权声明:除非注明,否则均为网络转载文章,转载或复制请以超链接形式并注明出处。

相关阅读

  • 东云睿连与英特尔联合发布虚拟数字人解决方案
  • 调查显示近四成日本大学生使用过生成式 AI,近两成将其用于求职
  • 日本发布 2023 年知识产权推进计划,将重点讨论生成式 AI 侵权界定
  • 消息称三星正开发“类 ChatGPT”AI 大语言模型供内部使用,投入全部 GPU 资源
  • 联合国秘书长称支持建立全球人工智能监管机构
  • 全球最大资产管理公司 CEO:人工智能可能是一种抑制通货膨胀的技术
  • 赛博手冢治虫:GPT-4 将参与漫画《怪医黑杰克》续作创作过程
  • 英特尔研究院发布全新 AI 扩散模型,可根据文本提示生成 360 度全景图
  • 亚马逊投入 1 亿美元成立 AI 创新中心,助力 AWS 业务发展
  • 日本起草针对学校的生成式 AI 使用指南,禁止学生用 ChatGPT 写作文
  • Dropbox 网盘推出 AI 搜索工具 Dropbox Dash:聚合多办公平台,可视化管理工作任务
  • 外媒提议更新开源许可证:摆脱 80 年代束缚,应对当下人工智能时代
  • 微软推出生成式 AI 培训项目,免费提供在线课程和证书
  • 2023 全球 AI 指数排名公布:美中稳居前二,亚洲国家表现亮眼
  • 英国初创公司用 AI 提升垃圾回收效率,每年追踪量达 320 亿件
  • 金山办公宣布与英伟达团队合作,加速 WPS AI 服务
  • 李开复创业大模型公司“零一万物”官网上线:致力于打造全新的 AI 2.0 平台
  • 首款搭载 ChatGPT 的自行车问世,让你骑行不再孤单
  • 研究发现 AI 筛选的私募基金回报率高于大部分机构投资者
  • ChatGPT 技术被滥用,绍兴警方侦破团伙制作虚假视频案
  • 最新资讯

    热门资讯