中国航空报讯：梅塔的人工智能实验室创建并推出了大规模的新语言模型，该模型具有OpenAI首创的神经网络GPT-3的非凡能力和不可避免的缺陷。对于大型科技公司来说，这是前所未有的举措。现在Meta正在把它交给研究人员，一起讨论建立和训练语言模型过程中的技术细节。 　　

　　

　　“我们坚信，让他人参与仔细检查您的工作是我们研究工作的重要组成部分。我们真诚地邀请更多的人参与这种合作模式。”乔尔皮诺长期倡导技术发展的透明度，他说。她现在是Meta AI的董事总经理。 　　

　　

　　Meta此举是首次为感兴趣的研究人员提供一个经过充分训练的大语言模型。这一消息受到了许多人的欢迎，他们担心小团队很难闭门造车地构建这一强大的技术。 　　

　　

　　“我欣赏他们的透明度。”华盛顿大学的计算语言学家艾米丽M本德说，她经常批评语言模型的开发和部署。 　　

　　

　　“这是一个伟大的举动。”拥抱脸的首席科学家马玟沃尔夫说。抱脸是大科学背后的人工智能创业公司。这个项目在世界各地的1000多名志愿者正在共同开发一个开源语言模型。“模型越开放越好。”他补充道。 　　

　　

　　大型语言模型作为一种能够生成文本段落和模拟人类对话的强大程序，已经成为过去几年人工智能领域最热门的趋势之一。然而，他们本身也有许多缺陷，如传播虚假信息、偏见和有害语言。 　　

　　

　　理论上来说，更多人参与解决这个问题应该是有帮助的。然而，语言模型需要大量的数据和计算能力来训练，迄今为止，它们仍然是大型科技公司的独特项目。然而，在研究界等更广泛的关注群体中，包括担心人工智能被滥用的伦理学家和社会科学家，他们只能旁观。 　　

　　

　　Meta表示要改变这一点。“我们中的许多人都是大学里的研究人员，”皮诺说。“我们知道，在建立这些模型的能力方面，大学和行业之间存在巨大差距。让研究人员一起讨论这项技术的好处是显而易见的。”她希望别人能仔细研究自己的作品，拆解分析，或者在此基础上进行构建。她说，当更多的人参与进来时，突破就会更快地实现。 　　

　　

　　Meta正在制作一个名为Open Pre-trained Transformer (OPT)的语言模型，它可以用于非商业目的。它还发布了记录训练过程的代码和日志。包含来自团队成员的关于训练数据的每日更新：如何将其添加到模型中，以及何时，什么有效，什么无效。在100多页的笔记中，研究人员记录了2021年10月至2022年1月三个月不间断训练过程中的每一次错误、崩溃和重启。 　　

　　

　　OPT语言模型中大约有1750亿个参数(这些参数可以在神经网络的训练过程中进行调整)，与GPT-3的规模基本相当。皮诺说，这是精心设计的，因为该小组在建立OPT时，考虑了在语言任务的准确性和危害性方面与GPT-3相匹配。OpenAI已经提供了GPT-3作为付费服务，但没有共享模型本身或其代码。皮诺说，这个想法是为研究人员提供一个类似的语言模型进行研究。 　　

　　

　　谷歌正在探索在其搜索产品中使用 　　

　　

　　大型语言模型也因缺乏透明性而受到批评。谷歌在2020年经历了一场风暴，因为在团队主要成员进行了一项突出大型语言模型技术问题的研究后，谷歌驱逐了其AI伦理团队的成员。 　　

　　

　　文化冲突 　　

　　

　　那么，Meta为什么要这么做呢？毕竟，Meta是一家很少公布脸书和Instagram背后的算法是如何工作的公司，并且曾经以让其内部研究团队隐藏其缺点而闻名。Meta的不同做法的一个重要原因是皮诺本人，她多年来一直在推动人工智能研发的透明度。 　　

　　

　　皮诺帮助研究人员在几个最大的学术会议上展示他们的研究，并推出了一个研究人员必须与结果一起提交的列表，包括代码和如何进行实验的详细信息。自2017年加入Meta(当时的脸书)以来，她一直在她的人工智能实验室倡导这种文化。 　　

　　

　　最后，皮诺希望改变人们评判人工智能的方式。“我们现在研究的最先进的东西不能只和性能有关，”她说。“就责任而言，也一定是最高级的。” 　　

　　

　　然而，开放其大型语言模型对Meta来说是一个大胆的举动。“我不能告诉你这种模式是否会产生其他可怕的风险。”皮诺说。 　　

　　

　　权衡风险 　　

　　

　　玛格丽特是谷歌2020年强制离职的人工智能伦理研究员之一。她现在在拥抱脸工作，她认为OPT的发布是一个积极的举动。但是她认为透明度是有限度的。因为语言模型经过了足够严谨的测试？可预见的收益是否大于可预见的危害？比如在这个过程中如何避免误传或者种族主义、厌恶女性的语言？ 　　

　　

　　她说，“大型语言模型的发布是对它可能拥有广泛使用的受众或受其输出影响的世界负责。”米切尔指出，这种模式不仅可以自己产生有害内容，还可以通过研究人员在其上构建的下游应用程序产生有害内容。 　　

　　

　　皮诺说，元人工智能审计选择 　　

消除一些有害行为，但这个工作关键的一点是发布一个可供研究人员从中学习的模型。“有很多关于模型危险性的讨论，我们也知道这个模型在声誉方面存在着非零风险，在伤害方面也存在着非零风险，”她说。她驳斥了不应该发布模型的想法，仅仅是因为它太危险了――这就是OpenAI给出的不发布GPT-3的前身GPT-2的原因。“我理解这些模型的弱点，但这不是一种研究心态，”皮诺说。

　　

本德曾在谷歌与米切尔共同合作过相关研究，也担心着如何处理潜在的危害。“降低任何机器学习技术风险的真正关键是要在特定用例中进行评估和探索，”她说，“例如这个系统是用来做什么的？谁将使用它？系统输出将如何呈现给他们？”

　　

一些研究人员因为它们有潜在的危害，所以质疑为什么要建立大型语言模型。而对于皮诺来说，这些担忧应该通过更多的公开讨论来解决，而不是减少沟通。“我相信建立信任的唯一方法是极度透明，”本德说。

　　

“世界各地的人们对于什么样的对话是合适的有不同的看法。而人工智能是对话的一部分，”本德说。她不希望语言模型能说出令每个人都同意的话。“但我们该如何应对呢？那就是在讨论过程中多去听取他人的声音。”