The Semantic Knowledge Embedded Deep Representation Learning and Its Applications on Visual Understanding
-
摘要: 近几年来，随着深度学习技术的日趋完善，传统的计算机视觉任务得到了前所未有的发展.如何将传统视觉研究中的领域知识融入到深度模型中提升深度模型的视觉表达能力，从而应对更为复杂的视觉任务，成为了学术界广泛关注的问题.鉴于此，以融合了语义知识的深度表达学习为主线展开了一系列研究.取得的主要创新成果包括3个方面：1)研究了将单类型的语义信息(类别相似性)融入到深度特征的学习中，提出了嵌入正则化语义关联的深度Hash学习方法，并将其应用于图像的相似性比对与检索问题中，取得了较大的性能提升；2)研究了将多类型信息(多重上下文信息)融入到深度特征的学习中，提出了基于长短期记忆神经网络的场景上下文学习方法，并将其应用于复杂场景的几何属性分析问题中；3)研究了将视觉数据的结构化语义配置融入到深度表达的学习中，提出了融合语法知识的表达学习方法，并将其应用到复杂场景下的通用内容解析问题中.相关的实验结果表明:该方法能有效地对场景的结构化配置进行预测.Abstract: With the rapid development of deep learning technique and large scale visual datasets, the traditional computer vision tasks have achieved unprecedented improvement. In order to handle more and more complex vision tasks, how to integrate the domain knowledge into the deep neural network and enhance the ability of deep model to represent the visual pattern, has become a widely discussed topic in both academia and industry. This thesis engages in exploring effective deep models to combine the semantic knowledge and feature learning. The main contributions can be summarized as follows: 1)We integrate the semantic similarity of visual data into the deep feature learning process, and propose a deep similarity comparison model named bit-scalable deep hashing to address the issue of visual similarity comparison. The model in this thesis has achieved great performance on image searching and people’s identification. 2)We also propose a high-order graph LSTM (HG-LSTM) networks to solve the problem of geometric attribute analysis, which realizes the process of integrating the multi semantic context into the feature learning process. Our extensive experiments show that our model is capable of predicting rich scene geometric attributes and outperforming several state-of-the-art methods by large margins. 3)We integrate the structured semantic information of visual data into the feature learning process, and propose a novel deep architecture to investigate a fundamental problem of scene understanding: how to parse a scene image into a structured configuration. Extensive experiments show that our model is capable of producing meaningful and structured scene configurations, and achieving more favorable scene labeling result on two challenging datasets compared with other state-of-the-art weakly-supervised deep learning methods.
-
Keywords:
- deep learning /
- neural networks /
- semantic embedding /
- scene parsing /
- similarity search
-
-
期刊类型引用(15)
1. 吴宪，汤红波，赵宇，许明艳. 一种有状态容器跨集群实时迁移方法. 计算机研究与发展. 2024(02): 494-502 . 
本站查看
2. 张人杰，李頔，王方，刘慧. NFV场景下基于协议和目的端口的负载均衡策略. 湖南邮电职业技术学院学报. 2024(03): 1-7 . 百度学术
3. 梁婷婷，张向利. 基于优先级的网络切片映射算法. 桂林电子科技大学学报. 2024(06): 606-612 . 百度学术
4. 王雅倩，陈心怡，曲睿，周振宇. 基于SDN/NFV的电力物联网时延敏感业务编排方法. 华北电力大学学报(自然科学版). 2023(01): 84-91 . 百度学术
5. 苏警. 面向大数据的可扩展网络服务框架设计. 兰州文理学院学报(自然科学版). 2023(01): 50-55 . 百度学术
6. 陈婷婷，肖源源. 浅析“新工科”背景下大数据综合实验平台的建设. 中国新通信. 2023(01): 42-47 . 百度学术
7. 刘光远，曹晶仪，庞紫园，黄书翠. 一种低时延虚拟网络功能映射及调度优化算法. 西安交通大学学报. 2023(02): 121-130 . 百度学术
8. 王媛滔，舒兆港，钟一文，邱彩钰，田佳霖. 基于VNF实例共享的服务功能链部署算法. 计算机应用研究. 2023(06): 1806-1811 . 百度学术
9. 熊泽凯，王素红，王靖君，祝长鸿，覃团发. 移动边缘计算中服务功能链的自适应优化部署策略. 电讯技术. 2023(11): 1678-1686 . 百度学术
10. 张庆华，张先超，王寅昊，陆军. 面向医疗急救的信息网络服务功能链调度方法. 电子学报. 2023(11): 3128-3136 . 百度学术
11. 陈炳丰，谢光强，朱鉴. 基于FusionCompute的虚拟化技术在计算机实验室中的应用. 实验技术与管理. 2022(04): 224-227 . 百度学术
12. 任诚，陈绪祥，唐斌文，王宇，李豪. 多源多播服务功能链优化部署算法. 计算机应用研究. 2022(06): 1814-1819 . 百度学术
13. 朱国晖，景文焕，李世昌. 基于改进麻雀搜索算法的服务功能链优化映射算法. 计算机应用研究. 2022(07): 2120-2123+2131 . 百度学术
14. 陈嘉亮，王丰，张潇. 移动边缘计算网络下的服务功能链部署优化设计. 计算机应用研究. 2022(10): 3108-3113 . 百度学术
15. 陈杨，刘作，黎聪，龙俊霖，赵群帅. 基于SDN与NFV的云通信软交换能力切片化部署稳定性研究. 通信技术. 2021(09): 2163-2168 . 百度学术
其他类型引用(38)
计量
- 文章访问数: 2250
- HTML全文浏览量: 1
- PDF下载量: 1520
- 被引次数: 53
下载:
