北京智源发布悟道 3.0 大模型系列

北京智源发布悟道 3.0 大模型系列

人工智能 2023-06-12 19:07:02 1年以前

IT酷哥 6 月 10 日消息,在“2023 北京智源大会”上,北京智源人工智能研究院发布悟道 3.0 大模型系列,包含悟道・天鹰(Aquila)语言大模型系列、“天秤(FlagEval)”大语言评测体系及开放平台以及悟道・视界视觉大模型系列。

IT酷哥附详细内容:

悟道・天鹰 Aquila 语言大模型是第一个中英文双语大模型,支持商用、符合数据合规要求,在中英高质量合规的语料数据库基础上从零开始训练。这次发布了该系列模型中的 7B、33B 和 AquilaChat 对话模型,即 70 亿参数、330 亿参数的基础模型,AquilaCode 文本代码生成模型。

7B、33B 在技术上继承了 GPT-3、LLaMA 等的架构设计优点,替换了一批更高效的底层算子实现、重新设计实现了中英双语的 tokenizer,升级了 BMTrain 并行训练方法,在 Aquila 的训练过程中实现了比 Magtron+DeepSpeed ZeRO-2 将近8倍的训练效率。

AquilaCode-7B 代码模型,是基于 Aquila-7B 基础模式的代码模型,它也是 7B(70 亿参数),用小数据集、小参数量实现了高性能,支持中英双语。

大语言模型评测体系“天秤”在能力、任务、指标三个维度上建立了全方位的评测体系,包括 30 多种能力,加上 5 种任务,再乘以 4 大类的指标,总共差不多 600 维的评测体系。目前天秤开源大模型评测体系已经面向公众开放注册申请。在硬件方面支持英伟达、华为的昇腾、寒武纪、昆仑芯等多种芯片架构,以及 PyTorch 等多种深度学习框架。

视觉大模型方面,智源大会公布了在多模态序列中补全一切的多模态大模型 Emu、最强十亿级视觉基础模型 EVA、性能最强开源 CLIP 模型 EVA-CLIP、首创了上下文图像学习技术路径的通用视觉模型 Painter、分割一切的视界通用分割模型、以及首个零样本视频编辑方法 vid2vid-zero 等成果。

文章版权声明:除非注明,否则均为网络转载文章,转载或复制请以超链接形式并注明出处。

相关阅读

  • 麦肯锡:到 2045 年左右,将有 50% 工作被 AI 接管
  • 【IT之家评测室】讯飞星火认知大模型 V1.5 体验:真变成随身智能助理了
  • 对公司缺乏信心,Meta 去年流失三分之一 AI 研究人员
  • 折腾十年,扎克伯格痛失 AI 好局
  • 宜家发布由 AI 设计的下一代沙发:轻便、扁平、模块化,采用 100% 可回收材料
  • 报告称 5 月美国生成式 AI 岗位激增 20%
  • 美图秀秀发布七款 AI 工具:修图一样修视频、打造电影级上镜脸
  • YouTube 测试 Aloud 人工智能配音功能,可将视频转述为不同语言
  • 日本起草针对学校的生成式 AI 使用指南,禁止学生用 ChatGPT 写作文
  • AI 作画工具 Midjourney 迎来 5.2 版本更新,可生成相机“变焦效果”
  • AI 公司 MosaicML 推出 300 亿参数模型 MPT-30B,号称训练成本仅为竞品零头
  • 科大讯飞星火 AI 大模型出海东南亚,将在新加坡实施“1+4”战略
  • 为防止泄密,美国国会明确要求职员仅可使用付费版 ChatGPT
  • 2023 全球 AI 指数排名公布:美中稳居前二,亚洲国家表现亮眼
  • 近 12 年由 AI 造成的事故暴涨 15 倍,Facebook、特斯拉、OpenAI 位居总量前三
  • 16 名匿名人士起诉 ChatGPT 侵犯隐私,向微软和 OpenAI 索赔 30 亿美元
  • 特斯拉人形机器人将于 7 月亮相上海 2023 世界人工智能大会
  • 微软必应聊天周报:改善体育相关话题、向 Skype 开放图片生成工具
  • 韩媒称三星先进封装技术落后于台积电,导致难以取得 AI 芯片订单
  • Pixela 推出 ChatGPT 翻译 App:支持中日英韩互译,限时免费上架 Google Play
  • 最新资讯

    热门资讯