Video Anomaly Detection Based on Space-Time Fusion Graph Network Learning
-
摘要: 视频中异常事件所体现的时空特征存在着较强的相关关系.针对视频异常事件发生的时空特征相关性而影响检测性能问题,提出了基于时空融合图网络学习的视频异常事件检测方法,该方法针对视频片段的特征分别构建空间相似图和时间连续图,将各片段对应为图中的节点,考虑各节点特征与其他节点特征的Top-k相似性动态形成边的权重,构成空间相似图；考虑各节点的m个时间段内的连续性形成边的权重,构成时间连续图．将空间相似图和时间连续图进行自适应加权融合形成时空融合图卷积网络,并学习生成视频特征.在排序损失中加入图的稀疏项约束降低图模型的过平滑效应并提升检测性能.在UCF-Crime和ShanghaiTech等视频异常事件数据集上进行了实验,以接收者操作曲线(receiver operating characteristic curve, ROC)以及曲线下面积(area under curve, AUC)值作为性能度量指标.在UCF-Crime数据集下,提出的方法在AUC上达到80.76%,比基准线高5.35%；在ShanghaiTech数据集中,AUC达到89.88%,比同类最好的方法高5.44%.实验结果表明:所提出的方法可有效提高视频异常事件检测的性能.Abstract: There are strong correlations among spatial-temporal features of abnormal events in videos. Aiming at the problem of performance for abnormal event detection caused by these correlations, a video anomaly detection method based on space-time fusion graph network learning is proposed. In this method, spatial similarity graph and temporal trend graph for the segments are constructed in terms of the features of the segments. The spatial similarity graph is built dynamically by treating the features of the video segments as the vertexes in graph. In this graph, the weights of edges are dynamically formed by taking the relationship between vertex and its Top-k similarity vertexes into account. The temporal trend graph is built by taking the time distance for m sequential segments into account. The space-time fusion graph convolutional network is constructed by adaptively weighting the spatial similarity graph and temporal trend graph. The video embedding features are learnt and generated by using this graph convolutional network. A graph sparse regularization is added to the ranking loss, in order to reduce the over-smoothing effect of graph model and improve detection performance. The experiments are conducted on two challenging video datasets: UCF-Crime(University of Central Florida crime dataset) and ShanghaiTech. ROC(receiver operating characteristic curve) and AUC (area under curve) are taken as performance metrics. Our method obtains the AUC score of 80.76% rising by 5.35% compared with the baseline on UCF-Crime dataset, and also gets the score of 89.88% rising by 5.44% compared with SOTA(state of the art) weakly supervised algorithm on ShanghaiTech. The experimental results show that our proposed method can improve the performance of video abnormal event detection effectively.
-
-
期刊类型引用(20)
1. 马行坡，闫梦凡，闵洁，殷明. 一种基于“云-边”协同计算的新安全联邦学习方案. 信阳师范大学学报(自然科学版). 2025(01): 66-71 . 
百度学术
2. 白静，许建军，张龙昌. 随机供需云环境中应用提供商收益驱动的最优资源协同配置策略. 信息系统学报. 2025(01): 105-127 . 百度学术
3. 何涵，刘鹏，赵亮，王青山. 无人机任务卸载与充电协同优化. 工程科学与技术. 2024(01): 99-109 . 百度学术
4. 朱思峰，蔡江昊，柴争义，孙恩林. 车联网边缘场景下基于免疫算法的计算卸载优化. 吉林大学学报(工学版). 2024(01): 221-231 . 百度学术
5. 陈晶腾，陈芳. 分布式新能源接入的配电网降损技术研究. 自动化与仪器仪表. 2024(06): 291-295 . 百度学术
6. 白静，张龙昌. 云应用提供商收益驱动的最佳云资源配置策略. 计算机集成制造系统. 2024(07): 2495-2505 . 百度学术
7. 冯起，薛喜红，任龙，冯英. 考虑云端距离的科技服务边缘计算资源均衡调度算法. 自动化技术与应用. 2024(08): 95-98+104 . 百度学术
8. 纪雯，杨哲铭，王智，郭斌，沈博. 视觉端边云融合架构:面向超级智慧城市群演进的关键技术. 中国科学:信息科学. 2024(11): 2518-2532 . 百度学术
9. 赵璞，肖人彬. 基于自组织劳动分工的边云协同任务调度与资源缓存算法. 控制与决策. 2023(05): 1352-1362 . 百度学术
10. 唐续豪，刘发贵，王彬，李超，蒋俊，唐泉，陈维明，何凤文. 跨云环境下任务调度综述. 计算机研究与发展. 2023(06): 1262-1275 . 本站查看
11. 原静，孙骏. 基于边缘计算的智能电网数据调度与快速分发方法. 信息与电脑(理论版). 2023(06): 226-229 . 百度学术
12. 刘鲤君，丁红，祁鸿燕，杜丽华，孙艳丽，姜宁. PaaS架构后端管理平台的云边协同调度算法设计. 现代电子技术. 2023(16): 91-96 . 百度学术
13. 徐胜超. 基于混合蛙跳算法的容器云资源低能耗部署方法. 重庆邮电大学学报(自然科学版). 2023(05): 952-959 . 百度学术
14. 何卫刚，王晓敏. 多技术辅助的高可靠矿井通信网络框架. 陕西煤炭. 2023(06): 150-153 . 百度学术
15. 蒋伟进，孙永霞，朱昊冉，陈萍萍，张婉清，陈君鹏. 边云协同计算下基于ST-GCN的监控视频行为识别机制. 南京大学学报(自然科学). 2022(01): 163-174 . 百度学术
16. 周伟，谢志强. 考虑多工序设备权重的资源协同综合调度算法. 电子与信息学报. 2022(05): 1625-1635 . 百度学术
17. 李凌，陈曦，沈维捷，熊汉武，蔡冉冉. 面向电工装备智能监造的边缘缓存策略. 计算机与现代化. 2022(05): 61-67 . 百度学术
18. 关天柱. 基于随机优化的边缘网络任务资源协同传输调度机制. 长江信息通信. 2022(06): 59-61 . 百度学术
19. 邓勇琛，胡忠波，王素贞. 边缘计算环境下的任务调度综述. 河北省科学院学报. 2022(04): 1-7 . 百度学术
20. 王其朝，金光淑，李庆，王锴，杨祖业，王宏. 工业边缘计算研究现状与展望. 信息与控制. 2021(03): 257-274 . 百度学术
其他类型引用(28)
计量
- 文章访问数: 1175
- HTML全文浏览量: 3
- PDF下载量: 794
- 被引次数: 48
下载:
