异常检测 | 视频的异常检测

视频异常检测算法以无监督算法为主 。

视频异常检测主要挑战：

1、大部分实验方法无法实时检测视频。

2、科研与落地应用的联系不大，落地应用更需要定位到具体的异常位置以及异常情况。对于现实的数据集，模型难以训练。

3、各个数据集之间，异常的情况定义模糊。比如有数据集中，将行人在马路上跳舞定义为异常情况。

4、模型的迁移性差，ShanghaiTech的数据集是多摄像头融合的数据集，大部分模型表现一般。

一、视频异常分类

１）外观异常

这些异常可以被认为是场景中不寻常的物体出现．例如人行道上的骑自行车者，或马路上的纸箱．检测这些异常只需要检查１帧视频的局部区域．

２）短期运动异常

这些异常可以被认为是场景中不寻常的物体运动．例如一个人在图书馆跑步，或在军事基地附近闲逛．检测这些异常通常只需要在短时间内检查视频的局部区域．外观异常和短期运动异常可以进一步称为局部异常，因为它们具有额外的属性．

３）长期轨迹异常

这些异常可以被认为是场景中不寻常的物体轨迹．例如在人行道上拐来拐去的人，或在车流中不断加塞的汽车．检测轨迹异常需要检查较长时间的视频片段．

４）群体异常

可以被认为是场景中不寻常的物体相互作用．比如一群人突然向四周跑动．检测群体异常需要分析视频中２个或多个区域之间的关系．

５）时间异常

这种异常与所有其他类型的异常是正交的．使这些活动异常的是它们发生的时间．这些异常在本质上与前面讨论的位置相关异常非常相似，只是相关的上下文是时间，而不是空间．举个例子，人们在黎明时分进入游乐场．通常，检测这些异常只需要在一天的不同时间使用不同的正常状态模型．

二、视频异常检测方法分类

1）基于距离的 2）基于概率的 3）基于重构的

2.1 基于特征表示的主题

2.2 检测方法的建模

一些人使用o n e-c l a s s支持向量机（one – class·support vectormachine , OC SVM) .

另一些人用２种方式之一来解释异常的位置特殊性：

１）根据体素在视频帧中的位置来给出异常得分；

２）以来自邻近体素的信息形式提供额外的上下文进行评分．

三、 基于距离的方法

基于距离的方法是使用训练数据来构建一个正常模型，并从这个模型中测量偏差来确定异常的分数．通常，这些模型本身非常简单，但是巧妙地表示会带来良好的性能．以距离为基础的方法可以被视为概率和基于重建的方法的一种更一般的形式．

Saligrama V，Chen Zhu. Video anomaly detection based onlocal statistical aggregates[C]//Proc of the IEEE ComputerSociety Conf on Computer Vision and Pattern Recognition.Los Alamitos，CA:IEEE Computer Society，2012:2112-2119

论文地址：Sci-Hub | [IEEE 2012 IEEE Conference on Computer Vision and Pattern Recognition (CVPR) – Providence, RI (2012.06.16-2012.06.21)] 2012 IEEE Conference on Computer Vision and Pattern Recognition – Video anomaly detection based on local statistical aggregates | 10.1109/cvpr.2012.6247917

Guo Huiwen，Wu Xinyu，Li Nannan，et al. Anomalydetection and localization in crowded scenes using short-termtrajectories [C]//Proc of the IEEE Int Conf on Robotics andBiomimetics.Piscataway，NJ:IEEE，2013:245-249

Xu Dan，RicciE，Yan Yan，etal. Learning deeprepresentations of appearance and motion for anomalous eventdetection[J]. Computer Vision and Image Understanding ,2015，156:117-127

Ｘｕ等人提出了使用学习表示与深度 络进行视频异常检测的首创方法．他们利用堆叠去噪自编码器（ＤＡＥ）的２种流（ＲＧＢ 和光流）在多尺度固定大小的重叠视频块上学习低维表示．然后，利用带有 ＲＢＦ核的 ＯＣ ＳＶＭ 中 ＤＡＥ的潜在编码，对异常检测进行分类．他们进一步提出了２种方式来实现融合，分别是在特征表示阶段和后面的异常得分阶段．

Smeureanu s，Ionescu RT，Popescu M， et al. Deepappearance features for abnormal behavior detection in video[G]//Proc of the Image Analysis and Processing-ICIAP.Berlin:Springer，2017:779-789

Sabokrou M，Fayyaz M，Fathy M，et al. Deep-cascade:Cascading 3D deep neural networks for fast anomalydetection and localization in crowded scenes[J]. IEEETransactions on Image Processing，2017，26(4):1992-2004

Sabokrou M，Fathy M，Hoseini M，et al.Real-time anomalydetection and localization in crowded scenes[C]//Proc of theIEEE Conf on Computer Vision and Pattern RecognitionWorkshops. Piscataway，NJ:IEEE，2015:56-62

Tran HTM,Hogg D. Anomaly detection using aconvolutional winner-take-all autoencoder [C]//Proc of theBritish Machine Vision Conf. London: BMVA Press，2017:1-12

这篇文献中提出了一种使用卷积赢者通吃自动编码器的方法，从固定尺寸的视频块的光流场中学习运动特征表示．然后，他们使用学习到的运动特征表示来构建依赖位置的OC SVM来进行异常评分．

Turchini F，Seidenari L，Del Bimno A. Convex polytopeensembles for spatio-temporal anomaly detection[G]//LNCS10484 😛roc of the Int Conf on Image AnalysisandProcessing. Berlin : Springer，2017:174-184

Sun Qianru，Liu Hong，Harada T. Online growing neuralgas for anomaly detection in changing surveillance scenes [J].Pattern Recognition，2017，64:187-201

Sabokrou M，Fayyaz M，Fathy M，et al. Deep-anomaly :Fully convolutional neural network for fast anomaly detectionin crowded scenes [J]. Computer Vision and ImageUnderstanding，2018，172:88-97

Ravanbakhsh M，Nabi M，Mousavi H，et al. Plug-and-playCNN for crowd motion analysis: An application in abnormalevent detection [C]l/Proc of the IEEE Winter Conf onApplications of Computer Vision ( WACV). Piscataway，NJ:IEEE，2018:1689-1698

Sabokrou M，Khalooei M，Fathy M，et al. Adversariallylearned one-class classifier for novelty detection[C]//Proc ofthe IEEE/CVF Conf on Computer Vision and PatternRecognition. Piscataway，NJ:IEEE，2018: 3379-3388

这篇文献中提出了一种使用对抗性训练来检测视频异常的方法．他们使用一个判别器（ｄｉｓｃｒｉｍｉｎａｔｏｒ，Ｄ） 络来区分原始的图像块和由去噪自编码器 络（Ｒ）得到有噪声的图像块的重构．由于 Ｒ 只在训练数据的图像块上进行训练，所以它可以去除异常值，使得 Ｄ可以很容易地从重构的图像块中辨别出异常值．

Ionescu R T，Smeureanu S，Popescu M，et al. Detectingabnormal events in video using narrowed normality clusters[C]//Proc of the IEEE Winter Conf on Applications ofComputer Vision ( WACV). Piscataway，NJ:IEEE，2019:1951-1960

Ionescu RT，Khan F S,Georgescu M I，et al.Object-centricauto-encoders and dummy anomalies for abnormal eventdetection in video [C]//Proc of the IEEE/CVF Conf onComputer Vision and Pattern Recognition (CVPR). Piscataway,NJ:IEEE，2019:7834-7843

Ramachandra B，Jones M. Street scene: A new dataset andevaluation protocol for video anomaly detection[J]. arXivpreprint，arXiv: 1902.05872，2019

Ramachandra B，Jones M J，Raju V R. Learning a distancefunction with a Siamese network to localize anomalies invideos [C]//Proc of the IEEE Winter Conf on Applications ofComputer Vision. Piscataway，NJ:IEEE，2020:2587-2596