机器心脏报告 　　

　　

　　机器之心编辑部 　　

　　

　　人工DALLE之所以擅长画各种神奇的形象，是因为它不会说人类的语言。 　　

　　

　　“我们发现DALLE-2似乎有一个隐藏的词汇，用来生成各种荒诞描述的图像。例如，Apoploe vesrreaitais似乎指的是鸟类，而contara ccetxniams luryca taniounos有时指的是昆虫。研究人员写道：“我们发现，这些提示通常在孤立的情况下是一致的，但有时它们会结合在一起。” 　　

　　

　　Dal-e生成的各种诡异图片已经在社交网络上刷屏一段时间了。很多研究人员都在问，为什么人工智能可以生成自然界不存在的东西。最近，来自德克萨斯大学奥斯汀分校的学者发现，DALL-E2会使用看似随机但与视觉概念有某种联系的词语来描述他们的行为。 　　

　　

　　简而言之，AI创造了一种自己的语言，这种解释性的方式让人深思，就连加里马库斯也感到震惊。 　　

　　

　　 　　

　　

　　自从OpenAI发布DALLE和DALLE-2以来，多模态大模型的视觉生成能力有目共睹。使用文本标题作为输入，他们可以生成与给定文本匹配的高质量图像。 　　

　　

　　DALLE-2使用没有分类器的扩散引导，但是它的许多众所周知的限制是它将抵制文本。例如，当文本提示是“一个单词飞机的图像”时，生成的图像通常完全不理解文本的含义。研究人员发现，这种生成的文本不是随机的，而是揭示了一个隐藏的系统，这种词汇模型似乎是从内部发展起来的。例如，当输入这些不知所云的文本时，模型通常会生成飞机。 　　

　　

　　这些隐藏的单词中的一些可以被学习并用于创建一些奇异的提示，并最终生成自然的图像。例如，Apoploe vesrreaitais似乎是“鸟”的意思，而Contara ccetzniams Luryca Tannioounons有时是“虫子”或“害虫”的意思。研究人员发现，一个提示，如“一个卡通apoploe vesrreaitais的图像”可以用来生成卡通鸟类图像，甚至这些单词可以组合起来创造以鸟类为食的昆虫。 　　

　　

　　 　　

　　

　　还有人提到，这种现象已经不是第一次了。早在几年前，脸书的一个机器人就开始用它的洋泾浜语交流。 　　

　　

　　 　　

　　

　　还有人说，这个故事就像当年的“聪明的汉斯”实验一样： 　　

　　

　　 　　

　　

　　发现 DALLE-2 的「黑话」 　　

　　

　　发现之后，研究人员摸索出一种简单的方法来发现DALLE-2的俚语。这个规则可以用一个例子来体现： 　　

　　

　　假设我们想找到“蔬菜”对应的俚语，可以用下面的一个句子(或者这些句子的变体)作为DALLE-2的提示： 　　

　　

　　写着蔬菜这个词的书；两个农民在聊蔬菜，有字幕；蔬菜这个词用10种语言写成。对于上面的每个提示，DALLE-2通常会创建包含一些文本的图像。对于人类来说，这些书面文字通常都是胡言乱语，这一点在原始论文和马库斯的评论中都有提及。 　　

　　

　　然而，研究人员观察到一个令人惊讶的现象：这些文本并不像看起来那样“令人困惑”。在很多情况下，它与要翻译的单词密切相关。 　　

　　

　　例如，如果我们将prompt设置为“两个农民带字幕谈论蔬菜”，我们将得到如图2(a)所示的图像。如果您解析图像中出现的文本，并继续将它用作提示，获得的结果如图2(b)和(c)所示， 　　

　　

　　似乎Vicootes的意思是蔬菜，Apoploe vesrreaitais的意思是鸟。好像是两个农民在讨论鸟干扰了他们的蔬菜。 　　

　　

　　当然，研究人员也注意到这种简单的方法并不总是有效的。有时候，当prompt返回模型时，生成的文本也会随机显示图像。然而，他们也发现，通过一些实验(选择一些单词，运行不同的生成文本等。)，通常可以找到随机词，并与一些视觉概念相关(至少在某些语境下)。关于这个规律，有兴趣的可以继续挖。 　　

　　

　　 　　

　　

　　黑话词汇表 　　

　　

　　此外，研究者还对发现的DALLE-2俚语进行了初步研究。 　　

>组合性。从前面的例子中，我们了解到，Apoploe vesrreaitais 似乎是鸟类的意思。通过重复农民的实验，我们还了解到: Contarra ccetnesniams luryca tanniounons 可能意味着「害虫」或「虫子」。

　　

一个有趣的问题是，我们是否可以像在普通语言中那样，把这两个概念组合成一个句子？图 1 已经说明了这是可能的，至少有时是这样。「Apoploe vesrreaitis eating Contarra ccetnxniams luryca tannions」给出了鸟类吃虫子的图像。研究者的发现是，这种情况只发生在部分图片上，并非所有生成的图片都是如此。

　　

风格转换。DALLE-2 能够根据 prompt 中指定的不同风格，生成某些概念的图像。例如，你可能会要求一张苹果的逼真图像，或者一张展示苹果的线条艺术图。研究者测试了一些发现的单词 (例如 Apoploe vesrreaitais) 是否与视觉概念相对应，这些视觉概念可以根据 prompt 的上下文转换为不同的样式。实验结果如图 3 所示，似乎这种 prompt 有时会导致生成飞虫而不是鸟类。

　　

　　

DALL-E 2 在 prompt「Apoploe vesrreaitais」下生成的不同图像。这些图像都保持了同一个要素：「会飞的东西」。

　　

文本与标题及生成图像的一致性。回忆一下刚才农民的例子，prompt 是「两个农民在谈论蔬菜，带字幕」。从这个例子中，研究者发现了蔬菜和鸟类这两个词。两个农民谈论鸟类确实是极有可能的，因此这提出了一个非常有趣的问题，即 DALLE-2 的文本输出是否与文本条件和生成的图像一致。

　　

最初的实验表明，有时得到的乱码文本会转化为与最初创建的乱码文本标题相匹配的视觉概念。例如，prompt「两只鲸鱼在谈论食物，带字幕」生成了带有文本「Wa ch zod ahaakes rea」（或至少接近这个）的图像。研究者将此文本作为 prompt 提供给模型，并在生成的图像中看到了一些「海鲜」，如图 3 所示。似乎乱码文本确实具备有时与产生它的文本条件一致的含义。

　　

　　

图 4：左：使用 prompt：「Two whales talking about food, with subtitles」生成的图像；右图：使用 prompt：「Wa ch zod ahaakes rea.」生成的图像。乱码文本「Wa ch zod ahaakes rea.」会生成与第一张图像的标题和视觉输出相关的图像。

　　

安全性和可解释性挑战

　　

DALL-E 2 的语言」让我们大开眼界，来的研究出现了一些有趣的方向。研究者表示某些乱码也许是不同语言中正常单词的拼写错误，但尚未搜索到此类示例。许多 prompt 中词的来源仍然令人困惑，并且在该研究的初步实验中，其中一些词与其他词不一致。

　　

另一个有趣的问题是 Imagen 是否也有类似的隐藏词汇表，因为它是用语言模型而不是 CLIP 训练的。研究者推测 DALL-E 的 prompt 是 CLIP 文本编码器的对抗性示例，即「Apoploe vesrreaitais」的向量表征接近「鸟类（bird）」的表征。研究者试图在 CLIP 上使用其他对抗性攻击方法（例如白盒）来生成荒谬的文本 prompt，并用 DALL-E 2 生成目标图像。

　　

稳健性和局限性

　　

最重要的问题之一是所用方法的一致性。例如，该研究初步研究表明，像「Contarra ccetnxniams luryca tanniounons」 这样的 prompt 有时存在 bug，多次实验生成的图像不一致；而 「Apoploe vesrreaitais」这样的 prompt 则更加稳健。

　　

研究者还强调，寻找其他强大的 prompt 具有挑战性，需要大量的实验。该研究尝试了各种让 DALL-E 生成图像的方法，并测试生成文本的一致性。虽然这种方法适用于一些乱码 prompt（很难找到），但这仍然是一个很大的可解释性和安全性问题。如果一个系统以非常不可预测的方式运行，即使这种情况很少发生，它仍然是一个重要的安全隐患，尤其是对于某些应用程序。

　　

其中，首要的安全问题就是这些乱码 prompt 可能与后门对抗性攻击或一些绕过滤波器的方法有关。荒谬的 prompt 让我们对大型生成模型产生怀疑。显然，我们需要更多的基础研究来理解这些现象，并创建符合人类预期的语言和图像生成模型。