北京智源发布悟道 3.0 大模型系列

北京智源发布悟道 3.0 大模型系列

人工智能 2023-06-12 19:07:02 1年以前

IT酷哥 6 月 10 日消息,在“2023 北京智源大会”上,北京智源人工智能研究院发布悟道 3.0 大模型系列,包含悟道・天鹰(Aquila)语言大模型系列、“天秤(FlagEval)”大语言评测体系及开放平台以及悟道・视界视觉大模型系列。

IT酷哥附详细内容:

悟道・天鹰 Aquila 语言大模型是第一个中英文双语大模型,支持商用、符合数据合规要求,在中英高质量合规的语料数据库基础上从零开始训练。这次发布了该系列模型中的 7B、33B 和 AquilaChat 对话模型,即 70 亿参数、330 亿参数的基础模型,AquilaCode 文本代码生成模型。

7B、33B 在技术上继承了 GPT-3、LLaMA 等的架构设计优点,替换了一批更高效的底层算子实现、重新设计实现了中英双语的 tokenizer,升级了 BMTrain 并行训练方法,在 Aquila 的训练过程中实现了比 Magtron+DeepSpeed ZeRO-2 将近8倍的训练效率。

AquilaCode-7B 代码模型,是基于 Aquila-7B 基础模式的代码模型,它也是 7B(70 亿参数),用小数据集、小参数量实现了高性能,支持中英双语。

大语言模型评测体系“天秤”在能力、任务、指标三个维度上建立了全方位的评测体系,包括 30 多种能力,加上 5 种任务,再乘以 4 大类的指标,总共差不多 600 维的评测体系。目前天秤开源大模型评测体系已经面向公众开放注册申请。在硬件方面支持英伟达、华为的昇腾、寒武纪、昆仑芯等多种芯片架构,以及 PyTorch 等多种深度学习框架。

视觉大模型方面,智源大会公布了在多模态序列中补全一切的多模态大模型 Emu、最强十亿级视觉基础模型 EVA、性能最强开源 CLIP 模型 EVA-CLIP、首创了上下文图像学习技术路径的通用视觉模型 Painter、分割一切的视界通用分割模型、以及首个零样本视频编辑方法 vid2vid-zero 等成果。

文章版权声明:除非注明,否则均为网络转载文章,转载或复制请以超链接形式并注明出处。

相关阅读

  • 赛博手冢治虫:GPT-4 将参与漫画《怪医黑杰克》续作创作过程
  • 印象笔记开放旗下“印象 AI”,可一键生成思维导图、写文章等
  • 蚂蚁集团证实正研发语言和多模态大模型,定名“贞仪”
  • 软银 CEO 孙正义宣布策略调整:AI 革命正在爆发,公司将“转守为攻”
  • AI 模型 Stable Diffusion 升级:正常生成五指、图像更逼真
  • 科大讯飞星火 AI 大模型出海东南亚,将在新加坡实施“1+4”战略
  • 谷歌 DeepMind 自曝正开发新型 AI 模型 Gemini,号称“比 GPT-4 强”
  • 人工智能深度调查:用过 AI 工具的人并没想象的那么多
  • 美国银行分析师:聊天机器人中 ChatGPT 占据最大优势,过半用户会为其付费服务买单
  • 微软推出生成式 AI 培训项目,免费提供在线课程和证书
  • 特斯拉人形机器人将于 7 月亮相上海 2023 世界人工智能大会
  • MetaGPT AI 模型开源:可模拟软件公司开发过程,生成高质量代码
  • 学而思网校推出《人工智能第一课》,号称首个基于自研大模型的 AIGC 课程
  • “世界上最像人的机器人”Ameca 接入 Stable Diffusion 和 GPT-3,现场完成作画
  • 匈牙利公司推出世界首款 AI 研发饮料,口味、包装均由 AI 完成
  • 热度过去用户兴趣降低:数据显示 ChatGPT 流量在 6 月首次出现下降
  • 奔驰正在车辆生产中测试 ChatGPT,进行质量管理和流程优化等活动
  • 精准度可提高 20%:英国九家银行签约使用基于 AI 的“消费者欺诈风险系统”应对诈骗
  • 微软大中华区董事长侯阳:今后每一家公司的每一个应用程序都将由 AI 来驱动
  • 小冰 CEO 李笛:马斯克呼吁停止研发 AI 大模型,可能是想给自己争取更多时间
  • 最新资讯

    热门资讯