Meta Platforms今天公开了NLLB—200的系统代码NLLB—200是由Meta开发的人工智能系统,可以翻译200种语言的文本
Meta还发布了一套工具,帮助研究人员更容易地将NLLB—200应用于软件项目。
根据Meta的说法,NLLB—200可以理解的200种语言中有许多都没有得到其他人工智能翻译系统的良好支持目前,广泛使用的翻译工具支持的非洲语言不到25种,而NLLB—200支持的非洲语言多达55种
Meta,翻译准确性是NLLB—200优于其他工具的另一个方面Meta采用BLEU评测系统的准确度标准,BLEU是一种用来衡量机器翻译文本质量的算法据Meta统计,NLLB 200的BLEU评分比以前提高了44%
Meta的CEO马克·扎克伯格说:我们刚刚开放了一个自研的AI模型,可以翻译200种不同语言mdashmdash当前的翻译系统不支持其中的许多语言我们称这个项目为不让一种语言掉队,我们使用的人工智能建模技术正在对全球数十亿人使用的语言进行高质量的翻译
NLLB—200有超过500亿个参数,这些配置决定了人工智能系统处理数据的方式人工智能系统的参数越多,精度越高
NLB—200拥有如此大量的参数,这并不是它能够高精度支持200种语言的唯一因素,因为NLLB—200系统还借鉴了Meta工程师开发的许多其他AI创新。
使用Meta开发的LASER Toolkit来支持机器学习相关的研究使用这个工具包,研究人员可以训练神经网络用一种语言执行特定的任务,然后相对容易地将神经网络适配到其他语言,这对翻译非常有用
LASER的原始版本包括一个名为LSTM的神经网络,这是一个专门的组件,可以将文本转换为人工智能系统可以理解的数学表示这种数学表示有助于生成更准确的翻译结果在LASER3中,Meta用Transformer代替了LSTM神经网络前者是一种高级的自然语言处理模型,可以更有效地执行相同的任务
梅塔还使用了其他几种方法来提高NLLB—200的功能例如,Meta升级了收集训练数据的系统,并对AI训练工作流程进行了更改
用Meta开发的研究超级集群超级计算机训练NLLB—200Meta在今年1月首次推出Research SuperCluster时表示,该系统配备了6080颗英伟达最新的A100数据中心GPU,最终将升级到16000颗GPU
Meta计划使用NLLB—200在脸书,Instagram和其他平台上提供更好的自动翻译功能预计该系统每天将支持超过250亿次翻译
在努力在内部推广NLLB—200的同时,Meta还计划帮助其他商业组织将该系统应用到他们自己的软件项目中。
除了NLLB—200,Meta还开放了可用于训练AI的源代码,以及一个名为FLORES—200的数据集,用于评估翻译的准确性Meta将提供高达20万美元,帮助非营利组织采用NLLB—200此外,Meta将与维基媒体基金会合作,将自动翻译技术应用于维基百科的文章
郑重声明:此文内容为本网站转载企业宣传资讯,目的在于传播更多信息,与本站立场无关。仅供读者参考,并请自行核实相关内容。