英特尔升级多显卡 AI 推理,Battlematrix 整体性能最高提升 80%

英特尔升级多显卡 AI 推理,Battlematrix 整体性能最高提升 80%

人工智能 2025-08-14 07:00:08 2天前

IT酷哥 8 月 12 日消息,科技媒体 WccfTech 昨日(8 月 11 日)发布博文,报道称英特尔为其锐炫 Pro 系列 GPU 的 Battlematrix 项目,发布首个重磅软件更新 LLM Scaler v1.0,重点优化了 AI 推理能力。

IT酷哥曾于 5 月报道,英特尔在 COMPUTEX 2025 台北国际电脑展上,推出锐炫 Arc Pro B50 和 B60 两张显卡之外,还推出了 Project Battlematrix 推理工作站平台,支持最多 8 张锐炫 Pro 显卡并具备软件包支持,能运行高达 150B 参数的中等规模且精度高的 AI 模型。

Battlematrix 平台集成硬件与定制化软件栈,优化推理性能和企业部署体验;而 LLM Scaler 是基于 vLLM 框架开发的 AI 大模型推理容器,支持多 GPU 扩展、长序列高效推理及多模态任务。

LLM Scaler v1.0 重点优化了 vLLM 推理框架,对于 32B KPI 模型,40K 序列长度下性能提升可达 1.8 倍;70B KPI 模型同条件下提升高达 4.2 倍,8B 至 32B 规模模型输出吞吐量较上版提升约 10%。

该版本还引入分层在线量化,有效降低显存占用,并支持管道并行、数据并行、多模态模型及嵌入、重排序等功能,提升模型适应性与扩展性。

为便于企业级运维,LLM Scaler v1.0 集成了 XPU Manager 工具,支持 GPU 电源管理、固件升级、诊断及显存带宽检测。

新容器基于 Linux 平台,充分利用多 GPU 扩展和 PCIe 点对点数据传输,实现最高 80% 的整体性能提升,系统同时具备 ECC、SRIOV、遥测与远程固件更新等可靠性与可管理性特性,满足企业级部署需求。

英特尔强调,新软件栈遵循行业标准,兼容主流开发流程,OneCCL 基准测试工具的集成也为开发者调优和性能评测提供了便利,进一步丰富了 Battlematrix 平台的生态支持。

根据英特尔路线图,本季度内还将发布更为稳固的容器版本,进一步优化 vLLM 服务能力。预计到今年第四季度,Battlematrix 项目将实现全功能版本落地,推动大模型推理平台的持续升级,为专业领域用户带来更高效、更易用的 AI 解决方案。

文章版权声明:除非注明,否则均为网络转载文章,转载或复制请以超链接形式并注明出处。

相关阅读

  • 知网、中文在线等 26 家单位联合发布国内首份生成式 AI 数据版权倡议书
  • 微软 GitHub Copilot 编程助手被投诉:换口吻改写公共代码来躲版权
  • 英国投资 1 亿英镑,成立 AI 工作组和 OpenAI 等共建基础模型
  • 360 发布 AI 数字人广场,可同孙悟空、爱因斯坦等古今中外人物角色对话
  • 打不过就加入:首家承认 ChatGPT 影响收入的公司 Chegg 选择拥抱 AI ,裁减 4% 员工
  • 美国心理学会:经常接触 AI 的员工更容易孤独,增加疾病风险
  • Stack Overflow 发布 2023 年度报告:JavaScript 位列榜首,83% 的人用过 ChatGPT
  • 百度与中国石化签署战略合作框架协议,将在 AI 等领域深化合作
  • 中科院自研新一代 AI 大模型“紫东太初 2.0”问世,支持视频、3D 等模态数据
  • 【IT之家评测室】讯飞星火认知大模型 V1.5 体验:真变成随身智能助理了
  • (更新)消息称谷歌将与联发科合作打造 AI 服务器芯片,后者回应“错误报道”
  • OpenAI CTO 揭晓 ChatGPT 内幕,原本只是一个研究示范项目
  • 美国安全公司发现两款仿冒 ChatGPT 恶意应用,提醒用户暂无官方安卓客户端
  • 快手旗下视频剪辑类产品“快影”内测多款 AIGC 创作功能,可一键生成文案等
  • 阿里、腾讯、字节、美团内部算法名单公开,网信办发布深度合成服务备案信息
  • 丰田推出生成式 AI 工具:输入文字指令可自动设计汽车外形,并符合工程学需求
  • AI 公司 Databricks 推出人工智能模型共享机制,可令开发者与公司实现“双赢”
  • AI 入局世界网球温布顿锦标赛,可分析赢球概率及生成球评
  • 微软用 AI 缩短癌症放疗时间:扫描速度提高 2.5 倍,准确率达 90%
  • 香港电台推出 AI 天气主播 Aida,表情、动作均由电脑合成
  • 最新资讯

    热门资讯