据澳大利亚“对话”网站6月7日刊登了一篇题为《人工智能真的发明了自身“秘密语言”吗?》的文章,主要内容编译如下:
新一代人工智能模型可以在文本提示的基础上,按照需求制作出“创造性”图像。诸如Imagen、MidJourney和DALL-E 2等图像生成系统正在开始改变创作内容对版权和知识产权的影响方式。
虽然这些模型的输出往往令人震惊,但是现在还难以确定它们究竟是如何产生结果的。上周,美国研究人员令人饶有兴趣地宣称:DALL-E 2模型或许发明了自身的秘密语言。
通过提示DALL-E 2系统创作包含文本字幕的图像,然后再将由此产生的字幕gibberish(令人费解的胡话)输回系统,研究人员发现:DALL-E 2认为“Vicootes”的意思是“蔬菜”,而“Wa ch zod rea”则是指“鲸可能会吃的海洋动物”。
人工智能(视觉中国)
这些说法令人着迷,如果属实,可能对这种大型人工智能模型产生重要的安全与解读能力影响。那么,真相到底如何呢?
拥有秘密语言?
DALL-E 2可能并无“秘密语言”。或许比较准确的说法是,它拥有自己的词汇,但是即便如此,我们也没把握。
首先,这个阶段,很难证明有关DALL-E 2及其他大型人工智能模型的任何说法,因为只有少数研究人员和创意从业者接触它们。
公开分享的任何图像都应打个折扣,因为它们是由人从人工智能创作的很多图像中“筛选出来的”。
即使是那些接触这些系统的人,也只能有限使用这些模型。比如,DALL-E 2用户可以制作或修改图像,但是(迄今)不能更深入地与人工智能系统互动,比如修改幕后代码。
这意味着不能用“可解释的人工智能”的方法理解这些系统的工作原理,而系统性地研究其行为也非常困难。
一种可能是,“令人费解的胡话”短语与来自非英语的词语有关。比如“Apoploe”,类似于拉丁语“Apodidae”(雨燕科)一词,似乎以Apoploe作提示创作出来的图像都是鸟类。
这似乎是一种合理的解释。比如,DALL-E 2接受大量基于互联网搜索而来的数据的训练,包括很多非英语词语。
类似情况以前也发生过:由于机缘巧合,大型自然语言人工智能模型在没有接受刻意培训的前提下学会了编写计算机代码。
真相扑朔迷离
支持这种理论的一个论点就是如下事实:人工智能语言模型与你我解读文本方式并不相同。相反,它们将输入文本打碎成“令牌”,然后再进行处理。
不同的“令牌化”方法会产生不同的结果。把每个词当作一个令牌,似乎是一种直觉的方法,但是当相同的令牌有不同的意思时(比如“match”一词,当打网球时以及点火时,就有不同的意思),就会引起麻烦。
另一方面,把每一个字母当作一个令牌,所产生的可能的令牌数量较少,但是每个令牌传递的信息含义都要小得多。
DALL-E 2(及其他模型)使用一种中间方法,称做字节对编码(BPE)。检查某些令人费解的胡话的字节对编码表征可以发现,这可能是理解这种“秘密语言”的重要因素。
这种“秘密语言”也可能只是“垃圾进,垃圾出”原则的一个例子。DALL-E 2不会说“我不知道你在说什么”,因此它总是通过给定的输入文本,产生某种图像。
不管怎样,这些选项都不是完整的解释。比如,从令人费解的胡话中去掉个别字母,似乎会以非常具体的方式破坏已产生的图像。而且,将单个胡话词语组合起来,并不一定产生合乎逻辑的复合图像(如果确实存在秘密“语言”,那是可以的)。
正视现有担忧
除了求知欲,你或许在思考这是否真的重要。
答案是,是的。DALL-E的“秘密语言”是机器学习系统“对抗攻击”的一个例子:一种通过故意选择人工智能无法正确处理的数据输入,打破系统的故意行为。
对抗攻击担心的一个原因是:它们挑战我们对这个模型的信心。如果人工智能以意外方式解读胡言乱语,那么它或许也会以意外方式解读有意义的词。
对抗攻击也提出了安全关切。DALL-E 2对输入文本进行过滤,防止用户产生有害或侵权内容,但是令人费解的胡话“秘密语言”可能会让用户规避这些过滤。
近期研究发现:某些语言人工智能模型的对抗“触发短语”——简短的废话,可能触发模型涌出种族主义、有害或带有偏见的内容。这项研究也是目前正在开展的调研活动,以便理解和控制复杂的深度学习系统如何通过数据进行学习。
最后,DALL-E 2“秘密语言”这种现象引起了解读能力担忧。我们希望这些模型按照人类的预期那样表现,但是看到胡言乱语的结构化输出令我们的预期受挫。
你或许还记得2017年关于脸书网站一些“发明了自身语言的”聊天机器人的喧嚣争论。现在局面有点类似:结果令人担忧,但不是那种“‘天网’即将取代世界”式的担忧。
资料图片仅供参考
相反,DALL-E 2的“秘密语言”突出了目前对于深度学习系统的稳健性、安全以及解读能力的担忧。
在这些系统较广泛地应用之前,特别是,在来自非英语文化背景的广泛用户能够应用它们之前,我们确实无法真正了解到底在发生什么。