• 中国精品科技期刊
  • CCF推荐A类中文期刊
  • 计算领域高质量科技期刊T1类
高级检索

基于多模态知识感知注意力机制的问答方法

张莹莹, 钱胜胜, 方全, 徐常胜

张莹莹, 钱胜胜, 方全, 徐常胜. 基于多模态知识感知注意力机制的问答方法[J]. 计算机研究与发展, 2020, 57(5): 1037-1045. DOI: 10.7544/issn1000-1239.2020.20190474
引用本文: 张莹莹, 钱胜胜, 方全, 徐常胜. 基于多模态知识感知注意力机制的问答方法[J]. 计算机研究与发展, 2020, 57(5): 1037-1045. DOI: 10.7544/issn1000-1239.2020.20190474
shu
Zhang Yingying, Qian Shengsheng, Fang Quan, Xu Changsheng. Multi-Modal Knowledge-Aware Attention Network for Question Answering[J]. Journal of Computer Research and Development, 2020, 57(5): 1037-1045. DOI: 10.7544/issn1000-1239.2020.20190474
Citation: Zhang Yingying, Qian Shengsheng, Fang Quan, Xu Changsheng. Multi-Modal Knowledge-Aware Attention Network for Question Answering[J]. Journal of Computer Research and Development, 2020, 57(5): 1037-1045. DOI: 10.7544/issn1000-1239.2020.20190474
shu
张莹莹, 钱胜胜, 方全, 徐常胜. 基于多模态知识感知注意力机制的问答方法[J]. 计算机研究与发展, 2020, 57(5): 1037-1045. CSTR: 32373.14.issn1000-1239.2020.20190474
引用本文: 张莹莹, 钱胜胜, 方全, 徐常胜. 基于多模态知识感知注意力机制的问答方法[J]. 计算机研究与发展, 2020, 57(5): 1037-1045. CSTR: 32373.14.issn1000-1239.2020.20190474
shu
Zhang Yingying, Qian Shengsheng, Fang Quan, Xu Changsheng. Multi-Modal Knowledge-Aware Attention Network for Question Answering[J]. Journal of Computer Research and Development, 2020, 57(5): 1037-1045. CSTR: 32373.14.issn1000-1239.2020.20190474
Citation: Zhang Yingying, Qian Shengsheng, Fang Quan, Xu Changsheng. Multi-Modal Knowledge-Aware Attention Network for Question Answering[J]. Journal of Computer Research and Development, 2020, 57(5): 1037-1045. CSTR: 32373.14.issn1000-1239.2020.20190474
shu

基于多模态知识感知注意力机制的问答方法

  • 1( 中国科学院大学 北京 100049)

  • 2( 模式识别国家重点实验室(中国科学院自动化研究所) 北京 100190) (zhangyingying2017@ia.ac.cn)

基金项目: 国家自然科学基金项目(Y8F7011M61)
详细信息

  • 中图分类号: TP391

Multi-Modal Knowledge-Aware Attention Network for Question Answering

  • 1( University of Chinese Academy of Sciences, Beijing 100049)

  • 2( National Laboratory of Pattern Recognition (Institute of Automation, Chinese Academy of Sciences), Beijing 100190)

Funds: This work was supported by the National Natural Science Foundation of China (Y8F7011M61).

HTML全文

    摘要
  • 摘要: 随着网络的普及，越来越多人遇到身体不适时，会选择在网站上搜索相关症状.随着在线医疗问答网站的出现，如春雨医生、寻医问药等，患者可以便捷地医生交流.现有的问答系统方法，聚焦于词级别的交互与语义信息，却很少考虑在回答问题时，回答者还利用了与问答本身无直接联系的常识.在实际生活中，除了病人的表述，医生还需要额外知识来诊断病人.提出了一个基于多模态知识感知注意力机制的医疗问答方法，它可以有效地利用多模态医疗知识图谱来构建基于知识图谱的问答对之间的交互.该模型首先学习知识图谱中实体的多模态表示；然后从多模态知识图谱中与问答对相关联的实体的路径来推测出回答该问题时的逻辑，并刻画问答对之间的交互关系.此外，该模型还提出了一种注意力机制来判别连接问答对的不同路径之间的重要性.构建了一个大规模的多模态医疗知识图谱和一个医疗问答数据集，实验结果表明:该方法比当前最好的方法准确度提升了2%以上.
    Abstract: With the popularity of the Internet, more people choose to search online to find the solutions when they feel sick. With the emergence of reliable medical question answering websites, e.g. Chunyu Doctor, XYWY, patients can communicate with the doctor one-one at home. However, existing question answering methods focus on word-level interaction or semantics, but rarely notice the hidden rationale with doctors’ commonsense, while in the real scenes, doctors need to acquire plenty of domain knowledge to give advice to the patients. This paper proposes a novel multi-modal knowledge-aware attention network (MKAN) to effectively exploit multi-modal knowledge graph for medical question answering. The incorporation of multi-modal information can provide more fine-grained information. This information shows how entities in the medical graph are related. Our model first generates multi-modal entity representation with a translation-based method, and then defines question-answer interactions as the paths in the multi-modal knowledge graph that connect the entities in the question and answer. Furthermore, to discriminate the importance of paths, we propose an attention network. We build a large-scale multi-modal medical knowledge graph based on Symptom-in-Chinese, as well as one real-world medical question answering datasets based on Chunyu Doctor website. Extensive experiments strongly evidence that our proposed model obtains significant performance compared with state-of-the arts.
    • HTML全文
    • 参考文献(0)
    • 相关文章
    • 施引文献(48)

  • 期刊类型引用(20)

    1. 肖鸿洲 ，李长云，王志兵 ，甘英华 ，任国鑫 . 一种稀疏体压特征人员识别方法. 现代电子技术. 2025(03): 111-118 . 百度学术
    2. 王莹. 未经授权的人脸识别支付法律责任解释论. 运城学院学报. 2024(02): 70-74+89 . 百度学术
    3. 洪延青. 人脸识别技术应用的分层治理理论与制度进路. 法律科学(西北政法大学学报). 2024(01): 89-99 . 百度学术
    4. 王勇，熊毅，杨天宇，沈益冉. 一种面向耳戴式设备的用户安全连续认证方法. 计算机研究与发展. 2024(11): 2821-2834 . 本站查看
    5. 杨光锴. 基于扩散模型的指纹图像生成方法. 河北省科学院学报. 2023(01): 13-18+66 . 百度学术
    6. 徐胜超，熊茂华. 基于子模式的人脸局部遮挡智能识别方法. 信息技术. 2023(03): 35-39 . 百度学术
    7. 周宇，向剑文，郑倩荣，赵冬冬. 保护用户数量信息的安全虹膜识别方案. 信息安全学报. 2023(03): 49-64 . 百度学术
    8. 张星星，钟陈，王文峰，苏立伟. 生物特征识别标准概述. 信息技术与标准化. 2023(11): 64-68 . 百度学术
    9. 张雪锋，常振会，张俊杰，王超飞. 指纹和虹膜特征融合的可撤销模板保护方法. 西安邮电大学学报. 2023(04): 51-60 . 百度学术
    10. 钟陈，苏立伟，王文峰. 生物特征识别呈现攻击检测标准化研究. 信息技术与标准化. 2022(Z1): 50-53 . 百度学术
    11. 张宗华，王晟贤，高楠，孟召宗. 基于曲面类型与深度学习融合的三维掌纹识别技术. 电子与信息学报. 2022(04): 1469-1475 . 百度学术
    12. 胡先智，陈浩，梁艳. 多模态生物特征信息安全防护体系研究. 计算机技术与发展. 2022(04): 86-91 . 百度学术
    13. 张波，贺楚博. 基于可撤销人脸的模糊保险箱算法研究与实现. 计算机技术与发展. 2022(06): 126-130 . 百度学术
    14. 帕孜来提·努尔买提，古丽娜孜·艾力木江，乎西旦·居马洪，朱双玲. 一种基于深度学习方法的面部微变识别的研究. 伊犁师范大学学报(自然科学版). 2022(02): 41-46+52 . 百度学术
    15. 杨丽红，尚泽昊. 基于区块链和模糊提取的多特征融合身份认证模型. 数字技术与应用. 2022(08): 218-220 . 百度学术
    16. 董芸嘉，张雪锋，姜文. 基于指纹和手指静脉特征融合的模板保护方法. 传感器与微系统. 2022(11): 9-13 . 百度学术
    17. 张波，佟玉强. 基于双随机相位编码的多特征人脸模板保护方法. 激光与光电子学进展. 2022(18): 215-222 . 百度学术
    18. 王晟贤，张宗华，高楠，孟召宗. 融合曲面类型与迁移学习的三维掌纹识别方法. 传感器与微系统. 2022(12): 118-121 . 百度学术
    19. 丁勇，李佳慧，唐士杰，王会勇. 基于随机映射技术的声纹识别模板保护. 计算机研究与发展. 2020(10): 2201-2208 . 本站查看
    20. 张佳，王红. 基于生物特征识别的Android身份认证终端技术研究. 电子测试. 2020(24): 78-79+56 . 百度学术

    其他类型引用(28)

    • 资源附件(0)
计量
  • 文章访问数:  1894
  • HTML全文浏览量:  4
  • PDF下载量:  1040
  • 被引次数: 48
出版历程
  • 发布日期:  2020-04-30

目录

摘要
HTML全文
    参考文献(0)
    相关文章
    施引文献(48)
    资源附件(0)

    /

    返回文章
    返回
    邮件订阅 RSS
    微信订阅号<br/>（实时资讯）

    微信订阅号
    （实时资讯）

    微信服务号<br/>（同步网站）

    微信服务号
    （同步网站）

    微信视频号<br/>（视频分享）

    微信视频号
    （视频分享）

    CCF<br/>（扫码入会）

    CCF
    （扫码入会）

    版权所有 © 《计算机研究与发展》编辑部

    本系统由北京仁和汇智信息技术有限公司开发  百度统计