欢迎光临KOTOO财情




史丹佛研究发现,AI 也会“偷吃步”来达成任务

2024-11-28 233

我们都知道电脑会完全按照我们的要求去做,这点在神经网络的训练也是如此,AI 会尝试各种方法达成团队设定的目标,然而史丹佛大学和 Google 团队在 2017 年训练 AI 转换地图的研究发现,如果表达不够清楚,AI 也是会找到方法“偷吃步”达成目标。

2017 年的这项研究中,研究团队开发出称为 CycleGAN 的神经网络,希望透过大量训练,让 CycleGAN 学会有效准确地将地图在“卫星地图”和“街道地图”间互相转换。

训练过程中,CycleGAN 的表现都非常好,甚至有些太好了──即使团队要求 CycleGAN 从转换完成的街道地图重建卫星照片时,CycleGAN 也能“完美”做到,甚至一些在街道地图消失的细节又平空冒出,这引起团队的怀疑。

虽然我们难以深入了解 AI 神经网络的处理讯息过程,但团队还是可以轻松审核生成的数据,透过一些实验,他们终究发现 CycleGAN 究竟动了什么手脚让自己表现完美。

训练 CycleGAN 转换两种地图过程中,团队目的是希望 AI 能解读两种地图的任何一种特征,并且将其与另一种地图的正确特征互相匹配,然而实际上 CycleGAN 被评分的关键是“卫星地图与原始地图有多接近”以及“街道地图有多清晰”,而问题正出于此。

CycleGAN 并没有达成团队希望达成的目标,学会如何将一个地图转换为另一个。相反的,CycleGAN 学会的,是如何在评分时取得高分:透过将特征巧妙编码到另一张图片,CycleGAN 让卫星地图的细节变成在街道地图只有 AI 可见的“小抄”。

▲ (a)为来源图片,(b)为 CycleGAN 制作的街道图片,(c)是电脑展现的可视化细微差别,(d)为 CycleGAN 用街景图重建的卫星图片。(Source:arXiv via Stanford University and Google)

从(c)图你可看到 CycleGAN 在街道地图暗藏了和卫星地图一样的形状,但除非这些差别仔细放大并突显,人们永远无法注意到,但这些人眼难以察觉的数千个微小颜色变化,电脑却可以轻松侦测并使用。

事实上,电脑非常擅长将这些细节藏入街道地图,CycleGAN 已学会将任何卫星地图编码成为任何街道地图,它甚至不必知道相对街道地图长得如何,研究人员证实,CycleGAN 可将卫星照片的所有数据无差别叠加在完全不同的街道地图上。

将数据编码到图像的做法并不新鲜,这种技术称为“隐写术”(steganography),经常用于浮水印图片或在相片加入拍摄的相机相关设定,但 AI 能找到方式创造自己的隐写术,以另一种方式达到任务目标还是很新奇。

有些人可能会认为这显示机器越来越聪明,然而事实上是,就像人类在一些情况下选择“偷吃步”或“作弊”,这反而意味着 CycleGAN 并不够聪明,正因为无法做到将这些复杂的图像类型相互转换,它取而代之找到一种人类难以察觉其中异样的方式来达成任务。

可想见研究者未来将会以更严格的评估方式来避免这种情况,这也为我们提供一个观点:与往常一样,电脑完全按照人类的要求操作,因此在开口前,你最好非常非常具体了解自己要求了什么。

在这种情况下,电脑选择了一个有趣的解决方案,揭示了这类型的神经网络可能有的弱点,也就是如果没有明确禁止这么做,电脑基本上会找到一种方法将细节传输给自己,以便快速轻松解决特定问题。

  • This clever AI hid data from its creators to cheat at its appointed task

(首图来源:shutterstock)

2019-03-11 05:31:00

标签:   资讯头条 kotoo科技资讯 kotoo科技 kotoo科技资讯头条 科技资讯头条 KOTOO商业产经 新闻网 科技新闻网 科技新闻 Kotoo科技新闻网 Kotoo科技新闻网 科技新闻 科技新闻网 新闻网 KOTOO商业产经 科技资讯头条 kotoo科技资讯头条 kotoo科技 kotoo科技资讯 资讯头条 Kotoo 科技新闻 科技新闻网 新闻网 KOTOO商业产经 科技资讯头条 kotoo科技资讯头条 kotoo科技 kotoo科技资讯 资讯头条
0