Current Research Status and Prospects on Multimedia Content Understanding
-
摘要: 随着多媒体和网络技术的迅猛发展，海量的图像、视频、文本、音频等多媒体数据快速涌现.这些不同媒体的数据在形式上多源异构，语义上相互关联.认知科学研究表明，人脑生理组织结构决定了其对外界的感知和认知过程是跨越多种感官信息的融合处理.如何对不同媒体的数据进行语义分析和关联建模以实现多媒体内容理解，成为了一个研究和应用的关键问题，受到了学术界和工业界的广泛关注.选取了多媒体内容理解的5个最新热点研究方向：图像细分类与检索、视频分类与目标检测、跨媒体检索、视觉描述与生成、视觉问答，分别阐述了它们的基本概念、代表性方法、研究现状等，并进一步阐述了多媒体内容理解面临的重要挑战，同时给出未来的发展趋势，旨在帮助读者全面了解多媒体内容理解的研究现状，吸引更多研究人员投身相关研究并为他们提供技术参考，推动该领域的进一步发展.Abstract: With the rapid development of multimedia and Internet technologies, a large amount of multimedia data has been rapidly emerging, such as image, video, text and audio. Data of different media types from multi-source is heterogeneous in the form but relevant in the semantic. As indicated in the research of cognitive science, the perception and cognition of the environment is through the fusion across different sensory organs of human, which is decided by the human brain’s organization structure. Therefore, it has been a key challenge to perform data semantic analysis and correlation modeling across different media types, for achieving comprehensive multimedia content understanding, which has drawn wide interests of both academic and industrial areas. In this paper, the basic concepts, representative methods and research status of 5 latest highlighting research topics of multimedia content understanding are referred, including fine-grained image classification and retrieval, video classification and object detection, cross-media retrieval, visual description and generation, and visual question answering. This paper further presents the major challenges of multimedia content understanding, as well as gives the development trend in the future. The goal of this paper is to help readers get a comprehensive understanding on the research status of multimedia content understanding, draw more attention of researchers to relevant research topics, and provide the technical insights to promote further development of this area.
-
-
期刊类型引用(15)
1. 叶进，谢紫琪，肖庆宇，宋玲，李晓欢. 数据中心网络中基于ELM的流簇大小推理机制. 计算机科学与探索. 2021(02): 261-269 . 
百度学术
2. 林霄，姬硕，岳胜男，孙卫强，胡卫生. 面向跨数据中心网络的节点约束存储转发调度方法. 计算机研究与发展. 2021(02): 319-337 . 本站查看
3. 王金焱. 异构无线网络多路径流量调度算法研究. 常熟理工学院学报. 2021(02): 70-75 . 百度学术
4. 董金良，刘小伟，李海江. 基于蚁群优化的通信网络负荷信息分散协调调度. 水电与抽水蓄能. 2021(03): 68-71 . 百度学术
5. 韩茂玲. 复杂网络大规模数据流均衡调度方法. 成都工业学院学报. 2021(03): 38-42 . 百度学术
6. 武自强，周建涛，赵大明，柳林. 数据中心基于服务满足度的网络流避让方法. 计算机工程与应用. 2021(19): 116-122 . 百度学术
7. 时洋 ，文梅 ，费佳伟 ，张春元 . 一种基于DAG的网络流量调度器. 计算机研究与发展. 2021(12): 2798-2810 . 本站查看
8. 李文信，齐恒，徐仁海，周晓波，李克秋. 数据中心网络流量调度的研究进展与趋势. 计算机学报. 2020(04): 600-617 . 百度学术
9. 陈珂，刘亚志，王思晗. 基于流量特征的流调度策略研究综述. 计算机应用研究. 2020(10): 2889-2894 . 百度学术
10. 郑莹，段庆洋，林利祥，游新宇，徐跃东，王新. 深度强化学习在典型网络系统中的应用综述. 无线电通信技术. 2020(06): 603-623 . 百度学术
11. 柯文龙，王勇，叶苗，陈俊奇. Ceph云存储网络中一种业务优先级区分的多播流调度方法. 通信学报. 2020(11): 40-51 . 百度学术
12. 李维虎，张顶山，崔慧明，周龙，朱志挺，谢挺. 数据中心网络coflow调度机制结构构建及仿真. 电子测量技术. 2019(10): 78-81 . 百度学术
13. 康瑾，李革. 面向医院手术排程的智能规划算法研究. 信息技术. 2019(11): 37-41+45 . 百度学术
14. 孙超. 基于模糊反馈的共享网络远程数据控制仿真. 计算机仿真. 2019(10): 409-412+438 . 百度学术
15. 王远. 数据中心网络拥塞控制研究综述. 信息工程大学学报. 2019(06): 714-719 . 百度学术
其他类型引用(13)
计量
- 文章访问数:
- HTML全文浏览量: 0
- PDF下载量:
- 被引次数: 28
下载:
