适应立体匹配任务的端到端深度网络

李曈; 马伟; 徐士彪; 张晓鹏

doi:10.7544/issn1000-1239.2020.20190478

适应立体匹配任务的端到端深度网络

¹(北京工业大学信息学部北京 100124)
²(中国科学院自动化研究所北京 100190) (772402345@qq.com)

基金项目: 国家自然科学基金项目(61771026，61671451)；模式识别国家重点实验室开放课题基金

详细信息

中图分类号: TP391
计量
- 文章访问数: 0808
- HTML全文浏览量: 0
- PDF下载量: 0163
出版历程
- 发布日期: 2020-06-30

Task-Adaptive End-to-End Networks for Stereo Matching

¹(Faculty of Information Technology, Beijing University of Technology, Beijing 100124)
²(Institute of Automation, Chinese Academy of Sciences, Beijing 100190)

Funds: This work was supported by the National Natural Science Foundation of China (61771026, 61671451) and the Open Project Program of the National Laboratory of Pattern Recognition (NLPR).

摘要

摘要: 针对现有立体匹配深度网络中特征提取模块冗余度高以及用于视差计算的3D卷积模块感受野受限问题,提出改进的端到端深度网络.相比现有网络,该网络特征提取模块遵循立体匹配特性,结构更简洁;引入分离3D卷积实现大卷积核3D卷积运算以扩充感受野.在SceneFlow数据集上,从匹配精度和计算开销等方面评估所提出网络.实验结果显示:所提出网络在准确度上达到了先进水平;相比现有同类型模块,所提出特征提取模块在保证结果精度的同时能减少90%的参数量,并减少约25%的训练时间;相比3D卷积,所提出的分离3D卷积将卷积核大小提升至覆盖整个视差维度,搭配群组归一化(group normalization, GN),其端点误差(end-point-error, EPE)较基础方法降低了12%的相对量.
- 立体匹配 /
- 视差计算 /
- 特征提取 /
- 3D卷积 /
- 端到端网络
Abstract: Estimating depth/disparity information from stereo pairs via stereo matching is a classical research topic in computer vision. Recently, along with the development of deep learning technologies, many end-to-end deep networks have been proposed for stereo matching. These networks generally borrow convolutional neural network (CNN) structures originally designed for other tasks to extract features. These structures are generally redundant for the task of stereo matching. Besides, 3D convolutions in these networks are too complex to be extended for large perception fields which are helpful for disparity estimation. In order to overcome these problems, we propose a deep network structure based on the properties of stereo matching. In the proposed network, a concise and effective feature extraction module is presented. Moreover, a separated 3D convolution is introduced to avoid parameter explosion caused by increasing the size of convolution kernels. We validate our network on the dataset of SceneFlow in aspects of both accuracy and computation costs. Results show that the proposed network obtains state-of-the-art performance. Compared with the other structures, our feature extraction module can reduce 90% parameters and 25% time cost while achieving comparable accuracy. At the same time, our separated 3D convolution, accompanied by group normalization (GN), achieves lower end-point-error (EPE) than baseline methods.
- stereo matching /
- disparity estimation /
- feature extraction /
- 3D convolution /
- end-to-end network

HTML全文

参考文献(0)

施引文献(27)

期刊类型引用(14)

1.	暴琳，朱志宇，孙晓燕，徐标. 面向多源异构数据的个性化搜索和推荐算法综述. 控制理论与应用. 2024(02): 189-209 . 百度学术
2.	王一博，张鹏翼. 基于LDA模型的国内用户画像研究主题及演化分析. 情报探索. 2024(02): 99-105 . 百度学术
3.	韩永印，王侠，王志晓. 基于决策树的社交网络隐式用户行为数据挖掘方法. 沈阳工业大学学报. 2024(03): 312-317 . 百度学术
4.	黄玲，黄镇伟，黄梓源，关灿荣，高月芳，王昌栋. 图卷积宽度跨域推荐系统. 计算机研究与发展. 2024(07): 1713-1729 . 本站查看
5.	廖彬，张陶，于炯，李敏. NLGAE:一种基于改进网络结构及损失函数的图自编码器节点分类模型. 计算机科学. 2024(10): 234-246 . 百度学术
6.	刘树越，于亚新，吴晓露，夏子芳，王子腾 . 自注意力下时空-语义相融合的POI序列推荐. 小型微型计算机系统. 2023(03): 456-462 . 百度学术
7.	章育涛，黎英，杨雅莉. 社交网站图像分析研究综述. 信息技术与信息化. 2023(08): 114-121 . 百度学术
8.	秦鹏，贾洪杰，霍兴瀛，邓朝艳. 融合大数据挖掘的用户个性化POI推荐方法. 计算机仿真. 2022(06): 355-358+385 . 百度学术
9.	郑捷，杨兴耀，于炯，李想. 基于人工蜂群的移动终端大数据半监督推荐. 计算机仿真. 2022(07): 497-501 . 百度学术
10.	李梁森，杨德宏，翟文龙，李刘飞，高励. 基于微博数据的云南省地理情感及主题特征研究. 城市勘测. 2022(04): 12-16 . 百度学术
11.	赵凯华，徐建民，鲍彩倩. 一个基于信念网络的微博推荐模型. 河北大学学报(自然科学版). 2022(04): 438-448 . 百度学术
12.	王小青，苏锋，蔡传根. 基于数据挖掘技术的影视智能推荐算法. 现代电子技术. 2021(11): 98-101 . 百度学术
13.	周炫余，刘林，陈圆圆，洪嘉玲，卢笑. 基于多模态数据融合的大学生心理健康自动评估模型设计与应用研究. 电化教育研究. 2021(08): 72-78 . 百度学术
14.	刘凯阳，姜峰，王辉. 航天话题公众关注热点和情感分析. 科技传播. 2021(19): 31-34 . 百度学术