以深度学习为代表的人工智能取得突破性进展,然而海量的参数与复杂的处理机制, 使得人类很难追溯与理解推理过程,导致这类端到端的黑箱学习方法不可解释,造成“知 其然,不知其所以然” .由此引发人们对算法可信性、公平性产生质疑,甚至造成伦理、法律等问题,影响了黑箱人工智能方法在无人驾驶、精准医疗、智能交通等高风险决策工程中的大规模应用．可解释性问题是打开黑箱人工智能方法、构建新一代人工智能理论的关键问题之一．可解释智能学习方法既要给出结果,同时也能提供计算推理过程所形成的证据链.

不同于基于大规模监督的深度学习方法，小样本学习旨在从极少的几个样本中学习这类样本的特性，其更符合人脑的视觉认知机制.近年来，小样本学习受到很多学者关注，他们联合元学习训练模式与度量学习理论，挖掘查询集(无标记样本)和支持集(少量标记样本)在特征空间的语义相似距离，取得不错的小样本分类性能.然而，这些方法的可解释性偏弱，不能为用户提供一种便于直观理解的小样本推理过程.为此，提出一种基于区域注意力机制的小样本分类网络INT-FSL，旨在揭示小样本分类中的2个关键问题：1)图像哪些关键位置的视觉特征在决策中发挥了重要作用；2)这些关键位置的视觉特征能体现哪些类别的特性.除此之外，尝试在每个小样本元任务中设计全局和局部2种对比学习机制，利用数据内部信息来缓解小样本场景中的监督信息匮乏问题.在3个真实图像数据集上进行了详细的实验分析，结果表明：所提方法INT-FSL不仅能有效提升当前小样本学习方法的分类性能，还具备良好的过程可解释性.

无人驾驶系统综合了软件和硬件复杂的交互过程，在系统设计阶段，形式化方法可以保证系统满足逻辑规约和安全需求；在系统运行阶段，深度强化学习被广泛应用于无人驾驶系统决策中.然而，在面对没有经验的场景和复杂决策任务时，基于黑盒的深度强化学习系统并不能保证系统的安全性和复杂任务奖励函数设置的可解释性.为此提出了一种形式化时空同步约束制导的安全强化学习方法.首先，提出了一种形式化时空同步约束规约语言，接近自然语言的安全需求规约使奖励函数的设置更具有解释性.其次，展示了时空同步自动机和状态-动作空间迁移系统，保证强化学习的状态行为策略更加安全.然后，提出了结合形式化时空约束制导的安全强化学习方法.最后，通过无人驾驶汽车在高速场景变道超车的案例，验证所提方法的有效性.

建立完善的动力电池回收利用体系是我国新能源汽车高质量发展需要突破的瓶颈问题之一，研究和发展智能化、柔性化、精细化的高效拆解技术是其中的重要环节.但由于受非结构化的拆解环境和拆解过程中的不确定性等因素的影响，目前，动力电池拆解还采用人工为主、机器辅助拆解的方式，不仅低效，而且致使工作人员暴露在危险的工作环境中，亟需向自动化、智能化方式转变.研究基于神经符号理论对动态环境中动力电池的拆解任务进行研究，设计并实现了一套任务和运动规划系统.与现有的动力电池拆解系统相比，系统在自主性、可扩展性、可解释性、可学习性4方面具备明显的优势，这4方面的优势相辅相成，可以不断促进系统的完善和提高，为实现动力电池的智能化拆解铺平了道路.基于该系统实现了在复杂多变的拆解工作环境中动力电池连接约束件的智能拆解，验证了系统的可行性.

知识追踪任务通过建模用户的习题作答序列跟踪其认知状态，进而预测其下一时刻的答题情况，实现对用户知识掌握程度的智能评估.当前知识追踪方法多针对知识点建模，忽略了习题信息建模与用户个性化表征，并且对于预测结果缺乏可解释性.针对以上问题，提出了一个可解释的深度知识追踪框架.首先引入习题的上下文信息挖掘习题与知识点间的隐含关系，得到更有表征能力的习题与知识点表示，缓解数据稀疏问题.接着建模用户答题序列获得其当前知识状态，并以此学习个性化注意力，进而得到当前习题基于用户知识状态的个性化表示.最后，对于预测结果，依据个性化注意力选择一条推理路径作为其解释.相较于现有方法，所提模型不仅取得了更好的预测结果，还能为预测结果提供推理路径层面的解释，体现了其优越性.

认知追踪是一种数据驱动的学习主体建模技术，旨在根据学生历史答题数据预测其知识掌握状态或未来答题表现.近年来，在深度学习算法的加持下，深度认知追踪成为当前该领域的研究热点.针对深度认知追踪模型普遍存在黑箱属性，决策过程或结果缺乏可解释性，难以提供学习归因分析、错因追溯等高价值教育服务等问题，提出一种基于多层注意力网络的认知追踪模型.通过挖掘题目之间多维度、深层次的语义关联信息，建立一种包含题目元素、语义和记录等3层注意力的网络结构，利用图注意神经网络和自注意力机制等对题目进行嵌入表示、语义融合和记录检索.特别是在损失函数中引入提升模型可解释性的正则化项与权衡因子，实现对模型预测性能与可解释强度的调控.同时，定义了预测结果可解释性度量指标——保真度，实现对认知追踪模型可解释性的量化评估.最后，在6个领域基准数据集上的实验结果表明：该方法有效提升了模型的可解释性.

深度学习是当前医疗多变量时序数据分析的主流方法.临床辅助决策关乎病人生命健康，因此深度模型需要抽取患者个性化表示，保证较高的分析、预测准确率；同时还需提供足够的可解释性，即能解释模型给出分析、预测结论的依据.而现有工作暂未能匹配医疗领域多变量时间序列数据的特性来进行个性化表示学习，同时源于深度学习的黑盒性质，现有模型大都可解释性不足，难以满足临床应用的需求.在此背景下，提出了基于医疗特征上下文学习的患者健康状态可解释评估方法Dr.Deep，将各变量的时序特征分别编码，利用多头去协同的自注意力机制，学习不同特征之间关联关系；提出了基于压缩激励机制的特征跳连编码，提升模型对最新病情变化的敏感性并针对不同患者情况分析特征重要性.实验表明：Dr.Deep在重症监护患者脓毒症预测、新冠肺炎重症患者出院时间预测等任务中相比业界方法性能提升，且可以针对不同患者的不同指标自适应学习其重要性作为可解释性的关键因素.同时设计并实现了基于医疗多变量时序数据分析的医生临床辅助系统，该系统建立病人的健康表示学习和预后预测模型并可视化患者病情进展以便医生分析.实验代码已开源于https://github.com/Accountable-Machine-Intelligence/Dr.Deep.所设计的智能医生可视化交互系统已发布于http://47.93.42.104/challenge/100049.

当前，基于协同过滤和隐因子模型的大学生就业推荐方法，仅考虑学生对就业单位单向偏好易导致“能力失配”，且一个用户一次就业的历史记录极易致负样本不可信，影响推荐性能，同时忽略了对推荐结果的可解释性需求.针对此，依据多任务学习的思路，设计并构建了基于互惠性约束的可解释就业推荐方法.其中，引入注意力机制与模糊门机制，提取并自适应聚合学生与就业单位双向的偏好与需求，缓解“能力失配”问题；提出面向就业意图和就业特征的推荐解释方法，满足可解释性需求；提出基于相似度的随机负采样方法，克服负样本不置信问题.在某高校5届毕业生就业真实数据集上的实验结果表明：相比于多个经典和同时代的推荐方法，所提方法在AUC指标上提升超6%，并且通过消融实验验证了所提方法中各模块的有效性.

知识图谱问答是人工智能领域的研究热点之一.在该任务中，自然语言问句结构与知识图谱结构之间的语义匹配是一个具有挑战的研究问题.现有工作主要利用深度学习技术对自然语言问句进行序列化编码，然后与知识图谱子图计算语义匹配，这样做法未充分利用复杂问句的结构信息，方法也缺乏可解释性.针对此问题，提出一种基于图匹配网络的知识图谱复杂问答方法TTQA.首先，通过语法分析方法，构建一个与知识图谱无关的未定查询图.然后，依据未定查询图和给定的知识图谱，构建一个与知识图谱相关的已定查询图，在其中，提出一种图匹配网络GMN，通过结合预训练语言模型和图神经网络技术，再利用注意力机制学习查询结构的上下文表示，从而得到更加丰富的结构匹配表示，用于已定查询图预测.在2个复杂问答数据集LC-QuAD 1.0和ComplexWebQuestions 1.1进行实验，结果表明：TTQA超过了现有方法.同时，通过消融实验验证了GMN的有效性.此外，TTQA生成的未定结构图和已定查询图增强了问答系统可解释性.