• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

GPU加速与L-ORB特征提取的全景视频实时拼接

杜承垚, 袁景凌, 陈旻骋, 李涛

杜承垚, 袁景凌, 陈旻骋, 李涛. GPU加速与L-ORB特征提取的全景视频实时拼接[J]. 计算机研究与发展, 2017, 54(6): 1316-1325. DOI: 10.7544/issn1000-1239.2017.20170095
引用本文: 杜承垚, 袁景凌, 陈旻骋, 李涛. GPU加速与L-ORB特征提取的全景视频实时拼接[J]. 计算机研究与发展, 2017, 54(6): 1316-1325. DOI: 10.7544/issn1000-1239.2017.20170095
shu
Du Chengyao, Yuan Jingling, Chen Mincheng, Li Tao. Real-Time Panoramic Video Stitching Based on GPU Acceleration Using Local ORB Feature Extraction[J]. Journal of Computer Research and Development, 2017, 54(6): 1316-1325. DOI: 10.7544/issn1000-1239.2017.20170095
Citation: Du Chengyao, Yuan Jingling, Chen Mincheng, Li Tao. Real-Time Panoramic Video Stitching Based on GPU Acceleration Using Local ORB Feature Extraction[J]. Journal of Computer Research and Development, 2017, 54(6): 1316-1325. DOI: 10.7544/issn1000-1239.2017.20170095
shu
杜承垚, 袁景凌, 陈旻骋, 李涛. GPU加速与L-ORB特征提取的全景视频实时拼接[J]. 计算机研究与发展, 2017, 54(6): 1316-1325. CSTR: 32373.14.issn1000-1239.2017.20170095
引用本文: 杜承垚, 袁景凌, 陈旻骋, 李涛. GPU加速与L-ORB特征提取的全景视频实时拼接[J]. 计算机研究与发展, 2017, 54(6): 1316-1325. CSTR: 32373.14.issn1000-1239.2017.20170095
shu
Du Chengyao, Yuan Jingling, Chen Mincheng, Li Tao. Real-Time Panoramic Video Stitching Based on GPU Acceleration Using Local ORB Feature Extraction[J]. Journal of Computer Research and Development, 2017, 54(6): 1316-1325. CSTR: 32373.14.issn1000-1239.2017.20170095
Citation: Du Chengyao, Yuan Jingling, Chen Mincheng, Li Tao. Real-Time Panoramic Video Stitching Based on GPU Acceleration Using Local ORB Feature Extraction[J]. Journal of Computer Research and Development, 2017, 54(6): 1316-1325. CSTR: 32373.14.issn1000-1239.2017.20170095
shu

GPU加速与L-ORB特征提取的全景视频实时拼接

  • 1(武汉理工大学计算机科学与技术学院 武汉 430070)

  • 2(交通物联网技术湖北省重点实验室 (武汉理工大学) 武汉 430070)

  • 3(佛罗里达大学电气与计算机工程系 美国 佛罗里达州 盖恩斯维尔 32611) (duchengyao@whut.edu.cn)

基金项目: 国家自然科学基金项目(61303029)
详细信息

  • 中图分类号: TP391.41

Real-Time Panoramic Video Stitching Based on GPU Acceleration Using Local ORB Feature Extraction

  • 1(School of Computer Science and Technology, Wuhan University of Technology, Wuhan 430070)

  • 2(Hubei Key Laboratory of Transportation Internet of Things (Wuhan University of Technology), Wuhan 430070)

  • 3(Department of Electrical and Computer Engineering, University of Florida, Gainesville, FL, USA 32611)

HTML全文

    摘要
  • 摘要: 全景视频是在同一视点拍摄记录全方位场景的视频.随着虚拟现实(VR)技术和视频直播技术的发展，全景视频的采集设备受到广泛关注.然而制作全景视频要求CPU和GPU都具有很强的处理能力，传统的全景产品往往依赖于庞大的设备和后期处理，导致高功耗、低稳定性、没有实时性且不利于信息安全.为了解决这些问题，首先提出了L-ORB特征点提取算法，该算法优化了分割视频图像的特征检测区域以及简化ORB算法对尺度和旋转不变性的支持;然后利用局部敏感Hash(Multi-Probe LSH)算法对特征点进行匹配，用改进的样本一致性(progressive sample consensus, PROSAC)算法消除误匹配，得到帧图像拼接映射关系，并采用多频带融合算法消除视频间的接缝.此外，使用整合了ARM A57 CPU和Maxwell GPU的Nvidia Jetson TX1异构嵌入式系统，利用其Teraflops的浮点计算能力和内建的视频采集、存储、无线传输模块，实现了多摄像头视频信息的实时全景拼接系统，有效地利用GPU指令的块、线程、流并行策略对图像拼接算法进行加速.实验结果表明，算法在图像拼接的特征提取、特征匹配等各个阶段均有很好的性能提升，其算法速度是传统ORB算法的11倍、传统SIFT算法的639倍；系统较传统的嵌入式系统性能提升了29倍，但其功耗低至10W.
    Abstract: Panoramic video is a sort of video recorded at the same point of view to record the full scene. The collecting devices of panoramic video are getting widespread attention with the development of VR and live-broadcasting video technology. Nevertheless, CPU and GPU are required to possess strong processing abilities to make panoramic video. The traditional panoramic products depend on large equipment or post processing, which results in high power consumption, low stability, unsatisfying performance in real time and negative advantages to the information security. This paper proposes a L-ORB feature detection algorithm. The algorithm optimizes the feature detection regions of the video images and simplifies the support of the ORB algorithm in scale and rotation invariance. Then the features points are matched by the multi-probe LSH algorithm and the progressive sample consensus (PROSAC) is used to eliminate the false matches. Finally, we get the mapping relation of image mosaic and use the multi-band fusion algorithm to eliminate the gap between the video. In addition, we use the Nvidia Jetson TX1 heterogeneous embedded system that integrates ARM A57 CPU and Maxwell GPU, leveraging its Teraflops floating point computing power and built-in video capture, storage, and wireless transmission modules to achieve multi-camera video information real-time panoramic splicing system, the effective use of GPU instructions block, thread, flow parallel strategy to speed up the image stitching algorithm. The experimental results show that the algorithm mentioned can improve the performance in the stages of feature extraction of images stitching and matching, the running speed of which is 11 times than that of the traditional ORB algorithm and 639 times than that of the traditional SIFT algorithm. The performance of the system accomplished in the article is 59 times than that of the former embedded one, while the power dissipation is reduced to 10W.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(92)

  • 期刊类型引用(27)

    1. 顾敏，徐雅男，王辛迪，花敏，周雯. 多用户MIMO-MEC网络中基于APSO的任务卸载研究. 无线电工程. 2024(03): 711-718 . 百度学术
    2. 王斐然，郭昕阳，张峰. 基于边缘计算的输电线路巡检设备协同调配研究. 自动化仪表. 2024(05): 123-126 . 百度学术
    3. 史晓蒙，吕晓鹏，魏健康，王凌. 基于算法组合的端边云任务处理方法. 价值工程. 2024(36): 108-112 . 百度学术
    4. 向朝参，程文辉，张昭，焦贤龙，屈毓锛，陈超，戴海鹏. 基于边缘智能计算的城市交通感知数据自适应恢复. 计算机研究与发展. 2023(03): 619-634 . 本站查看
    5. 邵梁，何星舟，尚俊娜. 边缘计算中利用改进型遗传算法的任务卸载策略. 计算机应用与软件. 2023(11): 48-57 . 百度学术
    6. 高仕斌，刘帝洋，韦晓广，康高强，罗嘉明，雷杰宇. 基于数字孪生网络的牵引供电智能运维体系与应用架构. 铁道学报. 2023(12): 1-15 . 百度学术
    7. 张彦虎，鄢丽娟，马志愤，张彦军. 一种适用于多任务多资源移动边缘计算环境下的改进粒子群算力卸载算法. 计算机与现代化. 2022(05): 54-60+67 . 百度学术
    8. 刘春林，秦进. 面向5G网络的移动边缘计算节点部署算法设计. 计算机仿真. 2022(12): 436-439+473 . 百度学术
    9. 张开强，蒋从锋，程小兰，贾刚勇，张纪林，万健. 多分辨率下资源感知的图像目标自适应缩放检测. 计算机科学. 2021(04): 180-186 . 百度学术
    10. 乐光学，陈光鲁，卢敏，杨晓慧，刘建华，黄淳岚，杨忠明. 一种基于K-shell影响力最大化的路径择优计算迁移算法. 计算机研究与发展. 2021(09): 2025-2039 . 本站查看
    11. 苏命峰，王国军，李仁发. 边云协同计算中基于预测的资源部署与任务调度优化. 计算机研究与发展. 2021(11): 2558-2570 . 本站查看
    12. 贾觐，暴占彪. 改进GA的边缘计算任务卸载与资源分配策略. 计算机工程与设计. 2021(11): 3009-3017 . 百度学术
    13. 汪小威，林宁，胡玉平. 移动边缘计算中利用BPSO的任务卸载策略. 计算机工程与设计. 2021(12): 3333-3341 . 百度学术
    14. 尹高，石远明. 移动边缘网络中深度学习任务卸载方案. 重庆邮电大学学报(自然科学版). 2020(01): 38-46 . 百度学术
    15. 丁雪乾，薛建彬. 边缘计算下基于Lyapunov优化的系统资源分配策略. 微电子学与计算机. 2020(02): 63-68 . 百度学术
    16. 白昱阳，黄彦浩，陈思远，张俊，李柏青，王飞跃. 云边智能:电力系统运行控制的边缘计算方法及其应用现状与展望. 自动化学报. 2020(03): 397-410 . 百度学术
    17. 乐光学，戴亚盛，杨晓慧，刘建华，游真旭，朱友康. 边缘计算可信协同服务策略建模. 计算机研究与发展. 2020(05): 1080-1102 . 本站查看
    18. 盛津芳，滕潇雨，李伟民，王斌. 移动边缘计算中基于改进拍卖模型的计算卸载策略. 计算机应用研究. 2020(06): 1688-1692 . 百度学术
    19. 胡锦天，王高才，徐晓桐. 移动边缘计算中具有能耗优化的任务迁移策略. 计算机科学. 2020(06): 260-265 . 百度学术
    20. 周振宇，陈亚鹏，潘超，赵雄文，张磊，汪中原. 面向智能电力巡检的高可靠低时延移动边缘计算技术. 高电压技术. 2020(06): 1895-1902 . 百度学术
    21. 吕洁娜，张家波，张祖凡，甘臣权. 移动边缘计算卸载策略综述. 小型微型计算机系统. 2020(09): 1866-1877 . 百度学术
    22. 张伟. 边缘计算的任务迁移机制研究. 软件导刊. 2020(09): 48-53 . 百度学术
    23. 路亚. MEC多服务器启发式联合任务卸载和资源分配策略. 计算机应用与软件. 2020(10): 77-84 . 百度学术
    24. 方加娟，李凯. 基于边缘云和移动辅助设备的计算卸载优化方案. 计算机应用与软件. 2020(12): 6-12 . 百度学术
    25. 危泽华，曾玲玲. 基于Stackelberg博弈论的边缘计算卸载决策方法. 数学的实践与认识. 2019(11): 91-100 . 百度学术
    26. 居晓琴. 移动边缘计算的QoE视频缓存方法. 电脑与信息技术. 2019(05): 44-47 . 百度学术
    27. 乐光学，戴亚盛，杨晓慧，朱友康，游真旭，刘建生. 边缘计算多约束可信协同任务迁移策略. 电信科学. 2019(11): 36-50 . 百度学术

    其他类型引用(65)

    • 资源附件(0)
计量
  • 文章访问数:  4859
  • HTML全文浏览量:  17
  • PDF下载量:  2019
  • 被引次数: 92
出版历程
  • 发布日期:  2017-05-31

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献(92)
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计