首个AI翻译实战榜单出炉！GPT-4o稳坐天花板，文化方面Qwen系列一马当先丨开源

这是首次针对行业的细分领域构建评测数据和评测方法。这些指标均来自真实场景的使用反馈，由此来测评大模型是否符合大规模应用的标 准。 目前， TransBench评测方法与数据集已全面开源 ，也已发布了首期测评结果。 衡宇 发自 凹非寺 量子位 | 公众号 QbitAI AI替咱打工搞翻译，到底谁家最好用？ 终于，有人来统一翻译江湖的标准了： 首个应用型AI翻译测评榜单TransBench在OpenCompass上线 。 它由阿里国际AI Business团队联合上海人工智能实验室、北京语言大学共同发布。 与传统的翻译测评体系相比，TransBench 增加了幻觉率、文化禁忌词、敬语规范等指标 ，专门针对大模型翻译最容易出错的关键问题进行 实战考核。 比如： 欢迎各个AI翻译机构去打榜，一较高下～ GPT-4o稳坐"翻译AI天花板" 官网表示，TransBench数据集中涵盖中、英、法、日、韩、西班牙等多种语言。 此外，还在不断持续更新海量小语种。 TransBench评测体系中的数据集，根据"通用标准""电商文化""文化特性"三个大类，整理了不同的数据集。 目前，TransBench多语言翻译评测榜单首期已经出 ...