Multi-Modal Knowledge-Aware Attention Network for Question Answering
-
摘要: 随着网络的普及，越来越多人遇到身体不适时，会选择在网站上搜索相关症状.随着在线医疗问答网站的出现，如春雨医生、寻医问药等，患者可以便捷地医生交流.现有的问答系统方法，聚焦于词级别的交互与语义信息，却很少考虑在回答问题时，回答者还利用了与问答本身无直接联系的常识.在实际生活中，除了病人的表述，医生还需要额外知识来诊断病人.提出了一个基于多模态知识感知注意力机制的医疗问答方法，它可以有效地利用多模态医疗知识图谱来构建基于知识图谱的问答对之间的交互.该模型首先学习知识图谱中实体的多模态表示；然后从多模态知识图谱中与问答对相关联的实体的路径来推测出回答该问题时的逻辑，并刻画问答对之间的交互关系.此外，该模型还提出了一种注意力机制来判别连接问答对的不同路径之间的重要性.构建了一个大规模的多模态医疗知识图谱和一个医疗问答数据集，实验结果表明:该方法比当前最好的方法准确度提升了2%以上.Abstract: With the popularity of the Internet, more people choose to search online to find the solutions when they feel sick. With the emergence of reliable medical question answering websites, e.g. Chunyu Doctor, XYWY, patients can communicate with the doctor one-one at home. However, existing question answering methods focus on word-level interaction or semantics, but rarely notice the hidden rationale with doctors’ commonsense, while in the real scenes, doctors need to acquire plenty of domain knowledge to give advice to the patients. This paper proposes a novel multi-modal knowledge-aware attention network (MKAN) to effectively exploit multi-modal knowledge graph for medical question answering. The incorporation of multi-modal information can provide more fine-grained information. This information shows how entities in the medical graph are related. Our model first generates multi-modal entity representation with a translation-based method, and then defines question-answer interactions as the paths in the multi-modal knowledge graph that connect the entities in the question and answer. Furthermore, to discriminate the importance of paths, we propose an attention network. We build a large-scale multi-modal medical knowledge graph based on Symptom-in-Chinese, as well as one real-world medical question answering datasets based on Chunyu Doctor website. Extensive experiments strongly evidence that our proposed model obtains significant performance compared with state-of-the arts.
-
-
期刊类型引用(20)
1. 冉玲琴，彭长根，许德权，吴宁博. 基于区块链技术架构的隐私泄露风险评估方法. 计算机工程. 2023(01): 146-153 . 
百度学术
2. 张学旺，林金朝，黎志鸿，姚亚宁. 基于新型公平盲签名和属性基加密的食用农产品溯源方案. 电子与信息学报. 2023(03): 836-846 . 百度学术
3. 俞惠芳，吕芝蕊. 基于联盟链的身份环签密方案. 电子与信息学报. 2023(03): 865-873 . 百度学术
4. 陈亮，黄华威，吴嘉婧，郑子彬. 区块链原理与技术课程建设探索与实践. 计算机教育. 2023(04): 74-78 . 百度学术
5. 宋露燕，刘雪凤. 区块链赋能海洋数据共享：技术路径与风险议题. 科技与经济. 2023(02): 66-70 . 百度学术
6. 陈志刚. 论非同质化通证的数据财产属性. 政法论丛. 2023(05): 149-160 . 百度学术
7. 邓崧，吕雨婷，杨迪. 数据垄断的演化与分类——基于国内公共数据与商业数据. 信息资源管理学报. 2022(01): 80-90 . 百度学术
8. 陈丽莎，李雪莲，高军涛. 支持数据完整性验证的可问责数据交易方案. 系统工程与电子技术. 2022(04): 1364-1371 . 百度学术
9. 乔鹏程，张岩松. 农业公司使用区块链技术能否提升营运效率？. 会计之友. 2022(12): 144-150 . 百度学术
10. 袁冰. 智媒环境下个人信息保护的场域迁移与框架建构. 科技传播. 2022(10): 126-128 . 百度学术
11. 钟锭，刘金红，夏新斌，周良荣. 基于区块链技术的湖南省道地药材全过程追溯体系构建. 中国医药导报. 2022(24): 194-197 . 百度学术
12. 许思源，李畅，李贺鑫，谢沂伯，肖飞. 基于区块链的生物样本信息共享系统模型研究. 中国卫生信息管理杂志. 2022(04): 471-475+534 . 百度学术
13. 宋晓玲，刘勇，董景楠，黄勇飞. 元宇宙中区块链的应用与展望. 网络与信息安全学报. 2022(04): 45-65 . 百度学术
14. 周磊，陈珍珠，付安民，苏铓，俞研. 支持密钥更新与审计者更换的云安全审计方案. 计算机研究与发展. 2022(10): 2247-2260 . 本站查看
15. 程晗蕾，鲁静. 区块链技术驱动融资租赁平台优化策略探究. 财会月刊. 2022(20): 154-160 . 百度学术
16. 黄思云，齐金平. 云计算环境下基于XML的异构数据共享研究. 信息与电脑(理论版). 2022(19): 16-19 . 百度学术
17. 岳增龙，陈海燕，张晓晶. NKN区块链技术在物联网中的应用. 中国新通信. 2021(10): 91-92 . 百度学术
18. 张茹，曹佳远. 基于区块链技术的造纸绿色材料供应量控制技术. 造纸科学与技术. 2021(04): 53-57+76 . 百度学术
19. 杨信廷，王杰伟，邢斌，罗娜，于华竟，孙传恒. 基于区块链的畜牧养殖资产监管身份认证研究. 农业机械学报. 2021(11): 170-180 . 百度学术
20. 刘芬，朱壮友，许勇. 基于区块链的电子病历数据共享模型研究. 安徽师范大学学报(自然科学版). 2021(06): 536-544 . 百度学术
其他类型引用(29)
计量
- 文章访问数: 1894
- HTML全文浏览量: 4
- PDF下载量: 1040
- 被引次数: 49
下载:
