【新智元导读】众所周知，打印一张图揣身上就能骗过图像识别，那你知道如何才能骗过红外识别么？
在疫情期间，红外行人识别系统被广泛应用。
这得益于热红外识别的系统的两个重要的优势：
1. 对于温度敏感，红外图像的成像利用了物体的热辐射，所以可以反映出物体的温度，这一特性对于人体的非接触式测温具有重要的应用。
2. 红外成像具有一定的「透视」特性，即使人体被一些衣物遮挡，但是热辐射依然可以透过衣物被接收器感知到，所以可以透过遮挡进行成像。
尽管目前红外行人检测系统被广泛使用，但是很少有人去关注该系统的安全隐患。
今年，来自清华大学的研究团队就提出了一项基于小灯泡的物理攻击方法。相关论文发表在AAAI2021会议上（Zhu et al. Fooling Thermal Infrared Pedestrian Detectors in Real World Using Small Bulbs）。相关技术已经申请国家发明专利。
以下就是一个例子，从图中我们看到，持有小灯泡板子的人成功地逃避了检测器的检测，而持有空白板子和不带任何东西的人却被检测器检测到。
研究背景
近年来，对抗样本的研究越来越引起人们的重视。在数字空间中，研究者发现，通过设计特定的噪声，神经 络会以很高的置信度对图像进行了错误的分类，而且这种噪声人眼不易察觉。更进一步地，人们发现对抗样本也可以在现实世界中产生威胁。
例如，一个3D打印的乌龟，当其表面装饰有对抗性的纹理之后，会被神经 络误认为是一个来福枪。对抗样本除了可以干扰分类模型，也可以干扰目标检测模型，例如，一张打印出来的对抗性纸张，可以成功地欺骗目标检测器YOLOv2，使得其检测不到行人。
但目前几乎所有的关于对抗样本的研究都集中在可见光领域。而对于红外领域的研究还处于空白阶段。与可见光的图像（三通道）相比，红外图像只有一个灰度通道，而且红外图像的纹理信息远远少于可见光的信息。
另外，为了实现物理攻击，红外图像不能像可见光图像一样，直接通过激光打印机打印到一张纸上。因此，如何在物理世界中显示特定的图案是一件困难的事情。
研究方法
最后发现了一个看似简单却十分好用的器件——小灯泡！因为小灯泡所成的热红外图像十分接近于一个二维高斯函数。
在拍摄了单个灯泡的红外图像之后，尝试用一个二维的高斯函数来建模和拟合。函数拟合后发现，二维高斯函数可以很好地拟合灯泡的红外图像。
而这个图案，恰好可以与物理世界一一对应，正方形平面对应于一块板子，而数字世界的「光斑」，就是对应于物理世界中小灯泡的成像效果。
优化的目标函数包括检测器的物体置信度输出以及patch光滑度的和。通过反向传播来优化patch上「光斑」的位置，直到找到一个最优的图案。
而当数字世界验证好以后，就可以通过小灯泡将此图案在物理世界中实现，从而达到在物理世界中攻击红外行人检测器的目的。
实验结果
思路明确了，那么实验的效果如何呢？
实验结果表明，数字世界中基于二维高斯函数的patch可以成功地使得YOLOv3检测器的AP (Average Precision) 降低了64.12%。
注意到与之对比的同样大小的随机噪声patch和空白的patch仅使得检测器性能分别降低了25.05%和29.69%。
以下左图是实际制造出来的装有小灯泡的板子，而右图是这个板子的红外热图像与模拟的数字图像的对比。
计算结果表明，在物理世界中，优化后的小灯泡板子可以使得YOLOv3检测器的AP降低了34.48%，而同样大小的空白板子仅仅使得检测器的性能下降了14.91%。
以下给出了一组具体的例子，由图中可以看到，在相同的条件下，使用了优化后的小灯泡板子的人没有被YOLOv3检测到，而持有空白板子以及什么都不带的人，被YOLOv3检测到了。
这表明，经过优化后的小灯泡板子可以成功攻破红外行人检测器。
由此可见，集成攻击的效果相比于直接迁移攻击有了大幅度的提高。
总结和展望
参考资料：
https://arxiv.org/abs/2101.08154
声明：本站部分文章内容及图片转载于互联 、内容不代表本站观点，如有内容涉及侵权，请您立即联系本站处理，非常感谢！