2022-08-21 13:30

人工智能如何看穿镜子:镜子另一边的事情是不一样的

Visual Chirality Abstract

镜子另一边的情况就不一样了。

文本是落后。时钟运行逆时针。汽车在道路的反方向行驶。右手变成了左手。

康奈尔大学的一组研究人员对反射如何以微妙或不那么微妙的方式改变图像感到好奇,他们利用人工智能研究了是什么将原始图像与反射图像区分开来。他们的算法学会了捕捉意想不到的线索,如头发部位、注视方向,以及(令人惊讶的)胡子——这些发现对训练机器学习模型和检测伪造图像具有启示意义。

“宇宙不是对称的。康奈尔理工大学计算机科学副教授、“视觉手性”研究的资深作者诺亚·斯内夫利说。该研究在6月14日至19日举行的2020年计算机视觉和模式识别会议上发表。“我对用新方法收集信息所能做出的发现很感兴趣。”

林志圻20是论文的第一作者;合著者是计算机科学助理教授Abe Davis和Cornell Tech博士后研究员Jin Sun。

对人工智能来说,区分原始图像和反射图像是一项非常简单的任务,Snavely说,如果一张图像被翻转过,一个基本的深度学习算法可以快速学习如何分类,准确率为60%到90%,这取决于用于训练算法的图像类型。人类很难注意到它捕捉到的许多线索。Original and Reflection

研究人员发现,人工智能学会了捕捉意想不到的线索,从而将原始图像与反射图像区分开来。信贷:康奈尔大学

在这项研究中,该团队开发了一种技术来创建一个热图,表明图像中算法感兴趣的部分,以了解它是如何做出这些决定的。

不出所料,他们发现最常用的线索是文本,每一种书面语言的文本看起来都不一样。为了了解更多信息,他们从数据集中移除了带有文字的图片,并发现接下来的特征集中在手表、衬衫领子(纽扣通常在左边)、脸和手机——大多数人倾向于用右手拿着——以及其他显示右撇子习惯的因素。

研究人员对算法关注人脸的趋势很感兴趣,因为人脸看起来并不明显不对称。“在某些方面,它留下的问题比答案更多,”斯内夫利说。

然后,他们又进行了另一项关注脸部的研究,发现热图在包括头发部位、眼睛凝视(研究人员不知道为什么,大多数人在人像照片中都是注视左边的)和胡子等区域发光。

斯内夫利说,他和他的团队成员不知道算法在胡须中找到了什么信息,但他们假设,人们梳头或刮脸的方式可能会揭示用手习惯。

“这是一种视觉发现,”斯内夫利说。“如果你能对数百万张图片进行大规模的机器学习,也许你就能开始发现关于世界的新事实。”

研究结果显示,这些线索中的每一条都可能是不可靠的,但该算法可以通过组合多条线索来建立更大的信心。研究人员还发现,该算法使用相机处理图像的方式产生的低水平信号来做出决定。

虽然还需要更多的研究,但这些发现可能会影响机器学习模型的训练方式。这些模型需要大量的图像来学习如何分类和识别图片,因此计算机科学家经常使用现有图像的反射来有效地增加他们的数据集。

斯内夫利说,研究这些反射图像与原始图像的不同之处,可以揭示机器学习中可能导致不准确结果的偏差信息。

“这给计算机视觉界带来了一个开放的问题,那就是,什么时候可以通过翻转来扩大数据集,什么时候不可以?””他说。“我希望这将让人们更多地思考这些问题,并开始开发工具,以了解它是如何使算法产生偏差的。”

了解反射如何改变图像还可以帮助人工智能识别伪造或篡改的图像——这是一个在互联网上日益受到关注的问题。

“这可能是一种新的工具或洞察,可以用于图像取证领域,如果你想知道一些东西是真的还是假的,”斯内夫利说。

# # #

参考文献:“视觉手性”,作者:林志秋,孙晋,Abe Davis, Noah Snavely, 2020年计算机视觉与模式识别会议。pdf

这项研究得到了慈善家、谷歌前首席执行官埃里克•施密特和温迪•施密特的部分支持。