xml地图|网站地图|网站标签 [设为首页] [加入收藏]

无所不能的人工智能竟能被一张图片给戏弄了,

近日,一个来自比利时鲁汶大学(KU Leuven)的科研团队发现,使用特殊设计的图案遮挡部分身体,就可以让基于 YOLOv2 模型的监控系统丧失对人物的识别能力,从而实现在摄像头下顺利”隐身”的效果。他们把这样的图案叫做”对抗图案”(Adversarial Patch)。

选自arxiv

前言

监控探头在如今的大小城市中随处可见。据报道,北京市在 2015 年就已建成了由 3 万余个监控探头组成的立体防控网络,覆盖了城市街道的所有重点部位。这些探头在交通管理、治安联防、环境保护等各个方面,都发挥着越来越重要的作用。

作者:Simen Thys等

在我们的现实生活中,摄像头是无处不在的,小到每家每户门口的小型摄像头,大到各个十字路口上的公安局天网摄像头,让我们的路径行踪时时刻刻都是暴露在信息网里面。再者,现在人工智能日渐发达,有着AI系统的配合,使得视频监控系统进一步强大了起来。

近年来,卷积神经网络模型在学术界早已风生水起。其中许多技术的应用,特别是用于监控探头的对象识别,也已经进入了我们的日常生活。

机器之心编译

然而最新的研究发现,只要一张打印出来的贴纸,就能“欺骗”AI系统!下面让我们探讨这个发现吧。

奥门银河官方app 1

参与:路、淑婷

一张图片就能“隐身”?

图 |基于卷积神经网络 的街面对象识别(来源:Dayan Mendez/EbenezerTechnologies)

对抗攻击是计算机视觉领域的一大研究热点,如何使模型对对抗攻击具备鲁棒性是很多学者的研究方向。但之前的研究主要主要涉及具备固定视觉图案的对象,如交通标志。交通标志的外观大致相同,而人的长相千差万别。来自比利时鲁汶大学的研究者针对人物识别检测器进行研究,他们创建了一个 40cm×40cm 的小型「对抗图像块」,它竟然使人在 YOLOv2 检测器下「隐身」。

奥门银河官方app 2

然而,CNN模型的缺点却也十分明显。

如下图所示,左侧没有携带对抗图像块的人可被准确识别出来,而右侧携带对抗图像块的人并未被检测出来。

来自比利时鲁汶大学 (KU Leuven) 几位研究人员最近的研究发现,借助一张简单打印出来的图案,就可以完美避开 AI 视频监控系统。

首先,我们目前无法彻底地解释它实现图像识别的机制。CNN 模型的结构通常十分复杂。在训练中,模型不断地识别不同类型的图片,自主调整上百万个参数的数值,最终就可以达到极高的识别准确率。

奥门银河官方app 3

已小编之前的了解,两个人的任何动作都会被AI识别出来,但现在,他们在AI面前练成“隐身术”,只要在肚子上贴一张图片。虽然肉眼看得到你在挥手,目标检测算法已经当你不存在了。

这就像是一个”黑箱子”,我们只知道放入一个图片,就能得到它的类别名称,但是我们看不到也弄不清箱子里的过程。更重要的是,由于训练数据中并不存在为了迷惑识别器而特意设计的图片(比如给衣服印上特制图案),识别器对不常见的变化就几乎完全不能宽容。

研究者还发布了一个 demo 视频,展示了这个对抗图像块的「魔力」:

当然要记住,这难道就是真正意义上的隐身?如果我们走在路上带着这张图片,AI不会把我们识别成其他物件,是全然忽视存在,只看到旁边的兄弟,这样想想岂不是很刺激。

IanGoodfellow 带领的团队曾经做过这样的实验,对图片中个别的像素点数值做一些人眼无法察觉的细微修改之后,CNN模型就彻底丧失了识别的准确率。正所谓即使数据只是”失之毫厘”,CNN 识别器的功效也会”谬以千里”。

研究主题

那么把这张图片穿个旁边的兄弟呢?

由鲁汶大学副教授 Toon Goedemé带领的团队,便是利用了 CNN 模型的这些”弱点”。发明了一套严谨的方法,用来生成可以迷惑 CNN 的”对抗图案”。用图案挡住人体的某个部分,监控探头就无法检测到这个人的存在。

卷积神经网络

奥门银河官方app 4

奥门银河官方app 5

的兴起使得计算机视觉领域取得巨大成功。CNN 在图像上学习时所用的数据驱动端到端流程在大量计算机视觉任务中取得了最优结果。由于这些架构的深度,神经网络能够学习网络底部的基础滤波器,也能学习网络顶层非常抽象的高级特征。

AI就能识别出身形了,但是旁边那位兄弟就“隐身”了。要知道 YOLOv2 可是目标检测界的翘楚者。如此一来,是不是就能逃过智能监控系统,潜入某个空间,做奇怪的事情也不被察觉……人类真危险。

图 |使用”对抗图案”让识别器无法识别(来源:Simen Thys/KU Leuven)

因此,典型 CNN 包含数百万参数。尽管这一方法能够生成非常准确的模型,但其可解释性大大下降。要想准确理解一个网络为何把人分类为人是非常困难的。网络通过观察其他人的大量照片,从而学习到人的长相应该是什么样子。模型评估过程中,我们可以对比输入图像和人物标注图像,从而判断模型在人物检测(person detection)任务上的性能。

其实对于AI 系统只能成功检测到左边的人,而右边的人却被忽略了,是因为右边的人身上挂着一块彩色纸板,在论文中被称为 “对抗性补丁”(adversarial patch),正是这块补丁 “欺骗” 了 AI 系统,让系统无法发现画面中还有一个人。

实验中,被 Toon Goedemé 和他的团队”迷惑”的摄像头,使用着名的 YOLOv2 卷积神经网络。YOLOv2 属于实时对象识别模型,它的结构是由 9 个不同尺寸的卷积层连接而成。当一张图片从输入层进入 YOLOv2 后,在输出层会得到一系列的向量。向量里记录的是以原始图片上各个位置为中心,5 种不同尺寸的检测框中存在探测目标的概率,他们把这些概率中的最大值计作 L_obj。

但是,用这种方式评估模型只能使我们了解到模型在特定测试集上的性能,而该测试集通常不包含以错误方式控制模型的样本,也不包括用来欺骗模型的样本。这对于不太可能存在攻击的应用是合适的,比如老人跌倒检测,但对安防系统来说,这带来了现实问题。安防系统中人物检测模型如果比较脆弱,则可能会被用于躲避监控摄像头,破坏安保。

这种欺骗利用了一种称为对抗性机器学习的方法。大多数计算机视觉系统依赖训练 神经网络来识别不同的东西,方法是给它提供大量样本,调整它的参数,直到它能正确地分类对象。通过将样本输入一个训练好的深度神经网络并监控输出,可以推断出哪些类型的图像让系统感到困惑。

奥门银河官方app 6

本文主要研究人物检测的对抗攻击,它针对常用的 YOLOv2 目标检测器。YOLOv2 是全卷积的模型,其输出网格的分辨率是原始输入分辨率的 1/32。输出网格中每个单元包含五个预测,其边界框包含不同的宽高比。每个锚点包含向量

写出“对抗性补丁”,就可以“隐身”了:

图 |YOLOv2 工作流程示意图。中间上图表示不同尺寸和位置的检测框,中间下图表示按照概率划分出可能存在目标的区域。(来源:Simen Thys/KU Leuven)

YOLOv2 模型架构如下图所示:

他们是如何生成这块神奇的 “对抗性补丁” 的呢?

要想生成可以迷惑 YOLOv2 的”对抗图案”,首先需要有一个可以准确识别人物的 YOLOv2 模型,并且随机生成一张初始的”对抗图案”。然后,使用 YOLOv2 模型将每张训练图片中的人体都框选出来。再用现有的”对抗图案”覆盖住已识别的一部分人体。最后把覆盖后的训练图片送回到模型中再次识别,并计算相应的优化目标值 L。然后使用反向传播法 (backpropagation) 和 Adam 算法,相应调整”对抗图案”上的像素数值。不断重复覆盖识别和调整像素值的过程,持续降低目标值 L,直至得到最优的”对抗图案”。

奥门银河官方app 7

优化目标包括以下三个部分:

整个过程中,YOLOv2 模型的参数值没有任何的改变,它仅仅被用来改进”对抗图案”。

图 2:YOLOv2 架构。该检测器输出 objectness 分数(包含某个对象的概率,见图中上)和类别分数(哪些类在边界框中,见图中下)。图源:

Lnps:非可打印性得分,这个因子表示贴纸中的颜色在多大程度上可由普通打印机打印出来。有下式:

奥门银河官方app 8

一件躲避人物检测器的「隐身衣」

奥门银河官方app 9

图 |”对抗图案”的生成工艺(来源:Simen Thys/KU Leuven)

这篇论文介绍了对抗攻击给人物检测系统造成的风险。研究者创建了一个小型(40cm×40cm)「对抗图像块」(adverserial patch),它就像一件隐身衣,目标检测器无法检测出拿着它的人。

其中 ppatch 是贴纸中的一个像素,而 cprint 是一组可打印颜色 C 中的颜色。这种损失有利于确保图像中的颜色与可打印颜色集中的颜色密切相关。

为了生成效果最佳的”对抗图案”,研究人员对比了优化目标 L 的不同计算方法。其中最小化识别率(Minimising ObjectnessScore, OBJ)方法取得了最满意的效果。在 OBJ 方法下,L 被定义为 L_obj,L_nps 和 L_tv 的加权平均值。其中,L_obj 是检测框中存在探测目标的最大概率,L_nps 表示”对抗图案”的打印难度,L_tv 衡量的是它像素点间的变化程度(为了使图片看起来柔和)。

奥门银河官方app 10

Ltv:图像总变化。该损失函数损失确保优化器支持平滑颜色过渡的图像并防止图像噪声。可以由 P 计算 Ltv:

奥门银河官方app 11

论文:Fooling automated surveillance cameras: adversarial patches to attack person detection

如果相邻像素相似则得分较低,如果相邻像素不同则得分较高。

图 |优化目标 L 的不同计算方法比较,可见 OBJ 方法生成的”对抗图案”使模型查全率和查准率 (Precision) 都下降最快。(来源:Simen Thys/KU Leuven)

奥门银河官方app 12

Lobj:图像中的最大对象分数。补丁的目标是隐藏图像中的人。所以训练的目标是对探测器输出的目标或类别分数实现最小化。将这三个部分相加得到总损失函数:

在得到最佳的”对抗图案”之后,研究团队把它打印了出来。然后特意制作了一段演示视频,展示其在现实中”迷惑”YOLOv2 模型的能力。

论文链接:

奥门银河官方app 13

奥门银河官方app 14

近几年来,人们对机器学习中的对抗攻击越来越感兴趣。通过对卷积神经网络的输入稍作修改,就能让网络的输出与原输出几乎背道而驰。最开始进行这种尝试的是图像分类领域,研究人员通过稍微改变输入图像的像素值来欺骗分类器,使其输出错误的类别。

采用由经验确定的因子 α 和 β 对三个部分进行按比例缩放,然后求和,并使用 Adam 算法进行优化。优化器的目标是总损失 L 的最小化。在优化过程中冻结网络中的所有权重,并仅更改 patch 中的值。在过程开始时,以随机值对 patch 进行初始化。

图 | ”对抗图案”演示视频截图(来源:Simen Thys/KU Leuven)

此外,研究人员还尝试用「图像块」来实现这一目的。他们将「图像块」应用于目标,然后欺骗检测器和分类器。其中有些尝试被证明在现实世界是可行的。但是,所有这些方法针对的都是几乎不包含类内变化的类别。目标的已知结构被用来生成对抗图像块。

奥门银河官方app 15

不可否认,卷积神经网络作为近几年人工智能技术发展的主流和前沿,许多应用已经开始融入普通人的生活。然而,它所存在的局限性也一定不能被否认和忽视。恰恰因为这些”漏洞”的存在,人们将更加努力地探索和发展这项新技术。未来,越来越多的 CNN 模型将会被创造或者改造,并终将为人类带来更多的便利和价值。

这篇论文展示了一种针对大量类内变化生成对抗图像块的方法。该研究旨在生成能够使人不被人物检测器发现的对抗图像块。例如可被恶意使用来绕过监控系统的攻击,入侵者可以在身前放一块小纸板,然后偷偷摸摸地靠近而不被摄像头发现。

实验结果:

参考:

实验证明,该研究提出的系统能够大大降低人物检测器的准确率。该方法在现实场景中也起作用。据悉,该研究是首次尝试这种针对高级类内变化的工作。

事实证明这确实是一个很大的漏洞,使得报警几率明显降低,摄像头不在安全。那很多人就会问,如果做一件这样的衣服,那不就可以为所欲为了吗?小编也在想什么时候可以印一件卫衣啊。

生成针对人物检测器的对抗图像块

奥门银河官方app 16

本文的目标是创建这样一个系统:它能够生成可用于欺骗人物检测器的可印刷对抗图像块。之前的一些研究主要针对的是停车牌,而本文针对的是人。与停车牌的统一外观不同,人的长相千差万别。研究者执行优化过程,尝试在大型数据集上寻找能够有效降低人物检测准确率的图像块。这部分将深入介绍生成对抗图像块的过程。

其实实验主要用了三步的优化,来解决这个问题:

论文:

该研究的优化目标包括三部分:

首先要保证,定制的纹理图打印出来还能被AI捕捉到。如果纹理用到了许多打印不出的颜色,就不太乐观了。所以,要测量一个“不可打印”的分值。

L_nps:不可印刷性分数(non-printability score),这个因素代表图像块的颜色在普通打印机上的表现。公式如下:

第二要保证,定制纹理图上的颜色过度平滑,避免噪点过多。所以,需要测量一张图像的总变化值 (Total Variation) ,任意两个像素的色彩越相近,这个值就越小。

-End-

奥门银河官方app 17

第三最重要,就是让YOLOv2看不出人来。也就是让AI给出的分类结果,分值降低,变成不太确定的分类。

请随简历附上3篇往期作品

其中 p_patch 是图像块 P 中的像素,而 c_print 是一组可印刷颜色 C 中的一种颜色。该损失函数帮助图像块图像中的颜色与可印刷颜色中的颜色接近。

最后:

{"type":2,"value":"

L_tv:17] 中描述的图像总体变化。该损失确保优化器更喜欢色彩过渡平滑的图像并且防止噪声图像。我们可以根据图像块 P 计算 L_tv,如下所示:

小编很是佩服外国人的脑洞和他们的创新能力,也打破了很多人之前对于智能监控系统的了解。但是今天我们人类发现了AI的致命缺陷,明天它就会进一步完善,变得更加强大。

奥门银河官方app 18

如果相邻像素比较相似,则分数较低;反之,则分数很高。

L_obj:图像中的最大 objectness 分数。对抗图像块的目标是隐藏图像中的人。为此,该研究的训练目标是最小化检测器输出的目标或类别分数。

总损失函数由这三个损失函数组成:

奥门银河官方app 19

研究者将根据实验确定的因子 α 和 β 缩放的三个损失相加,然后利用 Adam 算法进行优化。

该优化器的目标是最小化总损失 L。在优化过程中,研究者冻结网络中的所有权重,只改变对抗图像块中的值。优化开始时,根据随机值初始化对抗图像块。

图 3 概述了目标损失的计算过程,类别概率也是根据相同的过程计算的。

奥门银河官方app 20

图 3:计算目标损失的过程。

实验

研究者使用和训练时相同的过程,将对抗图像块应用于 Inria 测试集以进行评估。在实验过程中,研究者最小化一些可能隐藏人的不同参数。作为对照,研究者还将其结果与包含随机噪声的图像块进行了比较,二者的评估方式完全一样。

奥门银河官方app 21

图 5:不同方法(OBJ-CLS、OBJ 和 CLS)与随机图像块和原始图像的 PR 曲线对比。

奥门银河官方app 22

表 1:不同方法的 recall 对比。不同方法躲避警报的效果如何?

奥门银河官方app,图 6 展示了将该研究创建的对抗图像块应用于 Inria 测试集的一些示例。

奥门银河官方app 23

图 6:在 Inria 测试集上的输出示例。

在图 7 中,研究者测试了可印刷图像块在现实世界中的效果。

奥门银河官方app 24

图 7:在现实世界中使用该可印刷图像块的情况。

该研究已公布源代码: EAVISE/adversarial-yolo,感兴趣的读者可以一探究竟。

本文为机器之心编译,转载请联系本公众号获得授权。


本文由奥门银河官方app发布于银河游戏平台网址,转载请注明出处:无所不能的人工智能竟能被一张图片给戏弄了,

相关阅读