当越来越多的 AI 翻译大模型走向应用落地，如何从使用效果来全面评价 AI 翻译水平，成为业界的新命题。

近日，首个应用型 AI 翻译测评榜单 TransBench 在 OpenCompass 上线，与传统的翻译测评体系相比，增加了幻觉率、文化禁忌词、敬语规范等指标，首次针对行业的细分领域构建评测数据和评测方法。这些指标均来自真实场景的使用反馈，由此来测评大模型是否符合大规模应用的标准。

传统的翻译测评维度主要关注通用质量（如 BLEU、COMET），而大模型时代翻译面临幻觉等更多问题。随着 AI 技术的发展，业内也对大模型翻译效果有了更高的要求，比如要符合不同地区的文化特性、能体现不同行业的语言特色等。

为此，阿里国际的 AI Business 团队联合上海人工智能实验室、北京语言大学一起，构建了更全面、最新的评测标准和规范，包括：

全面的通用标准：不仅包括通用质量，还新增幻觉率和鲁棒性评测；

行业垂直标准：首次针对行业的细分领域构建评测数据和评测方法，数据均来自行业细分领域真实数据，并利用语言专家在应用中的标注数据训练面向行业的打分模型；

跨文化特性标准：首次提出文化禁忌和敬语规范的评测数据和评测方法。

例如，电商场景下的用户投诉，通常与敬语、禁忌语等相关，这些翻译结果从字面意思看无误，但会直接影响到对话人的体验，应该被纳入到测评的范围中。

为什么是阿里国际推出了 AI 翻译领域的首个应用型测评榜单？阿里国际旗下有 Aliexpress、Lazada、Alibaba.com、Trendyol 及 Daraz 等电商业务，覆盖全球 200 多个国家和地区，多语言翻译是助力业务发展的重要一环。去年 10 月，阿里国际的 AI Business 团队发布了首个大规模商用的翻译大模型 Marco MT，其效果赶超 Google、DeepL 等头部 AI 翻译工具。Marco MT 的日均调用量 6 亿次，是电商领域使用量最大的翻译大模型。

基于 Marco MT 在全球市场的用户反馈，阿里国际推出了此次的测评榜单 TransBench，并将 TransBench 的测评方法进行了开源，希望借此推动业界共建新的大模型标准。目前，TransBench 已发布了首期测评结果，欢迎更多的 AI 翻译机构参与打榜。

根据公开信息，2023 年 3 月，阿里国际成立了 AI Business，基于全球化电商场景探索 AI 技术。现在，阿里国际的所有电商平台均已广泛应用 AI 能力，已服务了超 50 万卖家，形成了以服务中小企业出海为核心，覆盖全球多元市场、多种电商模式的规模级 AI 应用。

今年以来，阿里国际持续加大对 AI 人才的招募，在最近启动的 2026 届校招中，80% 为 AI 岗位，包括 AI 算法、研发、AI 产品经理等。

附测评网址：https://transbench.com/#/?lang=zh-cn