研究人员开发了一种人工智能模型，以帮助计算机更有效地使用更广泛的语言。
非洲语言很少受到计算机科学家的关注，因此非洲的大片地区几乎没有自然语言处理能力。滑铁卢大学 David R. Cheriton 计算机科学学院的研究人员开发的新语言模型开始填补这一空白，使计算机能够分析非洲语言文本以执行许多有用的任务。
研究人员称之为 AfriBERTa 的新神经网络模型使用深度学习技术为低资源语言实现了最先进的结果。
该神经语言模型专门用于 11 种非洲语言，例如阿姆哈拉语、豪萨语和斯瓦希里语，这些语言的总人数超过 4 亿。尽管仅从 1 GB 的文本中学习，但它实现了与现有最佳模型相媲美的输出质量，而其他模型需要数千倍的数据。
滑铁卢大学计算机科学硕士生 Kelechi Ogueji 说：“预训练的语言模型已经改变了计算机处理和分析从机器翻译到问答等任务的文本数据的方式。”“可悲的是，非洲语言几乎没有受到研究界的关注。”
“其中一个挑战是神经网络的构建需要大量的文本和计算机。与拥有大量可用文本的英语不同，全世界使用的大约 7,000 种语言中的大多数都可以归为资源匮乏的特征，因为缺乏可用的数据来馈送数据饥渴的神经网络。”
大多数这些模型使用称为预训练的技术工作。为了实现这一点，研究人员向模型展示了一些文字被掩盖或掩盖的文本。然后模型必须猜测被屏蔽的词。通过重复这个过程数十亿次，该模型学习了单词之间的统计关联，这模仿了人类的语言知识。
“能够对某些下游任务同样准确的模型进行预训练，但使用极少的数据有很多优势，”计算机科学 Cheriton 主席兼 Ogueji 的顾问 Jimmy Lin 说。“需要更少的数据来训练语言模型意味着需要更少的计算，从而降低与运营海量数据中心相关的碳排放。较小的数据集也使数据管理更实用，这是减少模型中存在的偏差的一种方法。”
标签：
郑重声明：本文版权归原作者所有，转载文章仅为传播更多信息之目的，如作者信息标记有误，请第一时间联系我们修改或删除，多谢。