人工智能依托于物联网、云计算、大数据技术的迅速发展，在科学发现、经济建设、社会生活等各个领域具有广泛应用。但是，人工智能技术面临着严峻的安全与隐私挑战，并且这些挑战会随着人工智能技术的普及和发展愈演愈烈。人工智能安全与隐私保护可以说是人工智能技术发展过程中不可忽视的瓶颈和关键挑战。现阶段学术界对于人工智能安全与隐私保护的重视程度越来越大，国内外相关学者进行了大量研究并取得了不错的研究成果。为进一步推动人工智能安全与隐私保护技术的研究，促进密码学与网络安全理论与技术的发展及应用，及时报道我国学者在该领域的最新研究成果，计算机研究与发展.策划和组织了“人工智能安全与隐私保护技术”专题。本专题15篇论文涵盖了人工智能攻击检测与溯源技术、秘密共享与分组密码算法、分布式深度学习隐私与安全等研究内容，在一定程度上反映了当前国内在人工智能安全与隐私保护技术研究领域的主要研究方向。

以深度学习为主要代表的人工智能技术正在悄然改变人们的生产生活方式，但深度学习模型的部署也带来了一定的安全隐患.研究针对深度学习模型的攻防分析基础理论与关键技术，对深刻理解模型内在脆弱性、全面保障智能系统安全性、广泛部署人工智能应用具有重要意义.拟从对抗的角度出发，探讨针对深度学习模型的攻击与防御技术进展和未来挑战.首先介绍了深度学习生命周期不同阶段所面临的安全威胁.然后从对抗性攻击生成机理分析、对抗性攻击生成、对抗攻击的防御策略设计、对抗性攻击与防御框架构建4个方面对现有工作进行系统的总结和归纳.还讨论了现有研究的局限性并提出了针对深度学习模型攻防的基本框架.最后讨论了针对深度学习模型的对抗性攻击与防御未来的研究方向和面临的技术挑战.

不同于集中式深度学习模式，分布式深度学习摆脱了模型训练过程中数据必须中心化的限制，实现了数据的本地操作，允许各方参与者在不交换数据的情况下进行协作，显著降低了用户隐私泄露风险，从技术层面可以打破数据孤岛，显著提升深度学习的效果，能够广泛应用于智慧医疗、智慧金融、智慧零售和智慧交通等领域.但生成对抗式网络攻击、成员推理攻击和后门攻击等典型攻击揭露了分布式深度学习依然存在严重隐私漏洞和安全威胁.首先对比分析了联合学习、联邦学习和分割学习3种主流的分布式深度学习模式特征及其存在的核心问题.其次，从隐私攻击角度，全面阐述了分布式深度学习所面临的各类隐私攻击，并归纳和分析了现有隐私攻击防御手段.同时，从安全攻击角度，深入剖析了数据投毒攻击、对抗样本攻击和后门攻击3种安全攻击方法的攻击过程和内在安全威胁，并从敌手能力、防御原理和防御效果等方面对现有安全攻击防御技术进行了度量.最后，从隐私与安全攻击角度，对分布式深度学习未来的研究方向进行了讨论和展望.

模糊测试是一种安全测试技术，主要用于检测安全漏洞,近几年模糊测试技术经历了快速发展，因此有必要对相关成果进行总结和分析.通过搜集和分析网络与系统安全国际四大顶级安全会议(IEEE S&P,USENIX Security,CCS, NDSS)中相关的文章，总结出模糊测试的基本工作流程，包括：预处理、输入数据构造、输入选择、评估、结果分析这5个环节，针对每个环节中面临的任务以及挑战，结合相应的研究成果进行分析和总结，其中重点分析以American Fuzzy Lop工具及其改进成果为代表的，基于覆盖率引导的模糊测试方法.模糊测试技术在不同领域中使用时，面对着巨大的差异性，通过对相应文献进行整理和分析，总结出特定领域中使用模糊测试的独特需求以及相应的解决方法，重点关注物联网领域，以及内核安全领域.近些年反模糊测试技术以及机器学习技术的进步，给模糊测技术的发展带来了挑战和机遇，这些机遇和挑战为下一步的研究提供了方向参考.

随着深度神经网络的推广应用，训练后的神经网络模型已经成为一种重要的资产并为用户提供服务．服务商在提供服务的同时，也更多地关注其模型的版权保护，神经网络水印技术应运而生.首先，分析水印及其基本需求，并对神经网络水印涉及的相关技术进行介绍；对深度神经网络水印技术进行对比，并重点对白盒和黑盒水印进行详细分析；对神经网络水印攻击技术展开对比，并按照水印攻击目标的不同，对水印鲁棒性攻击、隐蔽性攻击、安全性攻击等技术进行分类介绍；最后对未来方向与挑战进行探讨.

近年来，恶意软件给信息技术的发展带来了很多负面的影响.为了解决这一问题，如何有效检测恶意软件则一直备受关注.随着人工智能的迅速发展，机器学习与深度学习技术逐渐被引入到恶意软件的检测中，这类技术称之为恶意软件智能检测技术.相比于传统的检测方法，由于人工智能技术的应用，智能检测技术不需要人工制定检测规则.此外，具有更强的泛化能力，能够更好地检测先前未见过的恶意软件.恶意软件智能检测已经成为当前检测领域的研究热点.主要介绍了当前的恶意软件智能检测相关工作，包含了智能检测所需的主要环节.从智能检测中常用的特征、如何进行特征处理、智能检测中常用的分类器、当前恶意软件智能检测所面临的主要问题4个方面对智能检测相关工作进行了系统地阐述与分类.最后，总结了先前智能检测相关工作，阐明了未来潜在的研究方向，旨在能够助力恶意软件智能检测的发展.

近年来，窃密攻击成为了最严重的网络安全威胁之一.除了恶意软件，人也可以成为窃密攻击的实施主体，尤其是组织或企业的内部人员.由人实施的窃密很少留下明显的异常痕迹，给真实场景中攻击的及时发现和窃密操作的分析还原带来了挑战.提出了一个方法，将每个用户视为独立的主体，通过对比用户当前行为事件与其历史正常行为的偏差检测异常，以会话为单元的检测实现了攻击发现的及时性，采用无监督算法避免了对大量带标签数据的依赖，更能适用于真实场景.对算法检测为异常的会话，进一步提出事件链构建方法，一方面还原具体窃密操作，另一方面通过与窃密攻击模式对比，更精确地判断攻击.在卡内基梅隆大学的CERT内部威胁数据集上进行了实验，结果达到99%以上的准确率，且可以做到无漏报、低误报，证明了方法的有效性和优越性.

APT(advanced persistent threat)攻击潜伏时间长，目的性强，会通过变种木马、勒索病毒、组建僵尸网络等手段从内部瓦解企业安全堡垒.但现有攻击溯源方法都只针对单一日志或流量数据，这导致了无法追溯多阶段攻击的完整过程.并且因为日志条目间关系复杂，日志关系图中会产生严重的状态爆炸问题，导致难以对攻击进行准确的分类识别.同时，在利用日志及流量数据进行攻击溯源过程中，很少考虑到数据隐私保护问题.为解决这些问题，提出了一种具有隐私保护的基于图卷积神经网络的攻击溯源方法.通过监督学习解决了因多日志关系连接导致的状态爆炸，对Louvain社区发现算法进行优化从而提高了检测速度及准确性，利用图卷积神经网络对攻击进行有效的分类，并结合属性基加密实现了日志数据的隐私保护.通过复现4种APT攻击测试方法来检测速度和效率.实验结果表明：该方法的检测时间最多可有90%的缩减，攻击溯源准确率可达92%.

伴随着互联网的普及和5G通信技术的快速发展,网络空间所面临的威胁日益增大,尤其是恶意软件的数量呈指数型上升,其所属家族的变种爆发式增加.传统的基于人工签名的恶意软件的检测方式速度太慢,难以处理每天数百万计新增的恶意软件,而普通的机器学习分类器的误报率和漏检率又明显过高.同时恶意软件的加壳、混淆等对抗技术对该情况造成了更大的困扰.基于此,提出一种基于多特征集成学习的恶意软件静态检测框架.通过提取恶意软件的非PE(Portable Executable)结构特征、可见字符串与汇编码序列特征、PE结构特征以及函数调用关系5部分特征,构建与各部分特征相匹配的模型,采用Bagging集成和Stacking集成算法,提升模型的稳定性,降低过拟合的风险.然后采取权重策略投票算法对5部分集成模型的输出结果做进一步聚合.经过测试,多特征多模型聚合的检测准确率可达96.99%,该结果表明:与其他静态检测方法相比,该方法具有更好的恶意软件鉴别能力,对加壳、混淆等恶意软件同样具备较高的识别率.

数字货币的迅速发展使其被越来越多的恶意软件利用.现有勒索软件通常使用数字货币作为支付手段，而现有代码注入攻击检测手段缺乏对相关恶意特征的考虑，使得其难以有效检测勒索软件的恶意行为.针对此问题，提出了一种细粒度的代码注入攻击检测内存特征方案，利用勒索软件在引导被攻击者支付过程中表现的数字货币内存特征，结合多种通用的细粒度内存特征，实现了一种细粒度的代码注入攻击检测系统.实验结果表明：新的内存特征方案能够在多个指标上有效提升现有检测系统内存特征方案的检测性能，同时使得基于主机的代码注入攻击检测系统能够准确检测勒索软件行为，系统还具有较好的内存特征提取性能及对未知恶意软件家族的检测能力.

RAIN算法的设计基于国际上分组密码设计广泛采用的SPN(substitution permutation network)结构，通过迭代混淆层S盒和扩散层字混合提供强雪崩效应，不仅保证强的安全性，还兼顾了软硬件实现.算法支持64b分组和128b分组，2种不同的分组长度采用相同的轮函数结构实现，方案简洁优美.混淆层采用4b的S盒实现，在S盒实现的时候不仅考虑了其安全性，还考虑S盒的软硬件实现，与扩散层的混合运算结合提供高的实现性能.从差分分析、不可能差分分析、积分攻击和不变子空间分析4个方面对算法进行了自评估，在分析的过程中使用了一些最新的分析方法以及基于MILP(mixed integer linear programming)的自动化搜索等，结果显示：算法可以抵抗现有的分析方法，并且具有较大的安全冗余.RAIN算法软硬件实现效率高，在PC机、ARM平台和硬件FPGA(field programmable gate array)平台下都具有出色的实现性能.算法S盒可以转换为基本逻辑运算，抗侧信道攻击实现代价低.

轻量级分组密码的安全性分析越来越倾于向自动化和智能化的方向发展.目前基于深度学习对轻量级分组密码进行安全性分析正在成为一个全新的研究热点.针对由美国国家安全局在2013年发布的一款轻量级分组密码SIMON算法，将深度学习技术应用于SIMON32/64的安全性分析.分别采用前馈神经网络和卷积神经网络模拟多差分密码分析当中的单输入差分-多输出差分情形，设计了应用于SIMON32/64的6~9轮深度学习区分器，并比较了2种神经网络结构在不同条件下的优劣.通过对前馈神经网络和卷积神经网络的7轮深度学习区分器向前向后各扩展1轮，提出了针对9轮SIMON32/64的候选密钥筛选方法.实验结果证实：采用128个选择明文对，可以成功地将65535个候选密钥筛选在675个以内.这说明基于深度学习的差分区分器相比传统差分区分器需要更少的时间复杂度和数据复杂度.

数字图像在如今网络高速发展时代已成为重要的信息载体，而对图像信息的安全保护也成为安全领域的重要研究课题.图像秘密共享方案是一种基于门限的密码学方案，能够为多个用户提供一种保护图像秘密信息的方案.该方案将秘密图像加密成若干个影子图像，分配给不同的用户.当用户的个数达到门限值后，原始图像可以被重构，否则用户无法获得原始图像的任何信息.图像信息的分类和识别是图像秘密共享的前提和基础，卷积神经网络(convolutional neural network, CNN)在图像分类和识别中具有较高的准确性和较快的速度.将基于卷积神经网络的图像识别和分类与图像秘密共享结合起来，将深度学习工具应用于图像信息保护，可以提高基于传统人工图像识别的图像保护方案的效率.首先采用区域卷积神经网络(region CNN, RCNN)模型对图像进行识别，根据所包含的信息内容将图像分割成重要性级别不同的若干区域，然后在此基础上构造2种图像秘密共享方案，渐进式重构图像秘密共享方案以及具有重要影子图像的图像秘密共享方案.其中重要性级别较高的图像区域在图像重构中需要较高的门限，这一特性使得图像秘密共享方案能够适用于更多的应用场景.与传统的基于人工特征的图像识别方法相比，神经网络的引用能够提升图像分类和识别的效率，从而进一步提升了图像秘密共享的应用价值.

近年来，图神经网络在图表示学习领域中取得了较好表现广泛应用于日常生活中，例如电子商务、社交媒体和生物学等.但是研究表明，图神经网络容易受到精心设计的对抗攻击迷惑，使其无法正常工作.因此，提高图神经网络的鲁棒性至关重要.已有研究提出了一些提高图神经网络鲁棒性的防御方法，然而如何在确保模型主任务性能的前提下降低对抗攻击的攻击成功率仍存在挑战.通过观察不同攻击产生的对抗样本发现，对抗攻击生成的对抗连边所对应的节点对之间通常存在低结构相似性和低节点特征相似性的特点.基于上述发现，提出了一种面向图神经网络的图重构防御方法GRD-GNN，分别从图结构和节点特征考虑，采用共同邻居数和节点相似度2种相似度指标检测对抗连边并实现图重构，使得重构的图结构删除对抗连边，且添加了增强图结构关键特征的连边，从而实现有效防御.最后，论文在3个真实数据集上展开防御实验，验证了GRD-GNN相比其他防御方法均能取得最佳的防御性能，且不影响正常图数据的分类任务.此外，利用可视化方法对防御结果做解释，解析方法的有效性.

近年来，自然语言处理领域涌现出多种基于Transformer网络结构的通用深度学习语言模型，简称“通用语言模型(general-purpose language models, GPLMs)”，包括Google提出的BERT(bidirectional encoder representation from transformers)模型等，已在多个标准数据集和多项重要自然语言处理任务上刷新了最优基线指标，并已逐渐在商业场景中得到应用.尽管其具有很好的泛用性和性能表现，在实际部署场景中，通用语言模型的安全性却鲜为研究者所重视.近年有研究工作指出，如果攻击者利用中间人攻击或作为半诚实(honest-but-curious)服务提供方截获用户输入文本经由通用语言模型计算产生的文本特征，它将以较高的准确度推测原始文本中是否包含特定敏感词.然而，该工作仅采用了特定敏感词存在与否这一单一敏感信息窃取任务，依赖一些较为严格的攻击假设，且未涉及除英语外其他语种的使用场景.为解决上述问题，提出1条针对通用文本特征的隐私窃取链，从更多维度评估通用语言模型使用中潜在的隐私风险.实验结果表明：仅根据通用语言模型提取出的文本表征，攻击者能以近100％的准确度推断其模型来源，以超70％的准确度推断其原始文本长度，最终推断出最有可能出现的敏感词列表，以重建原始文本的敏感语义.此外，额外针对3种典型的中文预训练通用语言模型开展了相应的隐私窃取风险评估，评估结果表明中文通用语言模型同样存在着不可忽视的隐私风险.

随着深度神经网络在不同领域的成功应用，模型的知识产权保护成为了一个备受关注的问题.由于深度神经网络的训练需要大量计算资源、人力成本和时间成本，攻击者通过窃取目标模型参数，可低成本地构建本地替代模型.为保护模型所有者的知识产权，最近提出的模型指纹比对方法，利用模型决策边界附近的指纹样本及其指纹查验模型是否被窃取，具有不影响模型自身性能的优点.针对这类基于模型指纹的保护策略，提出了一种逃避算法，可以成功绕开这类保护策略，揭示了模型指纹保护的脆弱性.该逃避算法的核心是设计了一个指纹样本检测器——Fingerprint-GAN.利用生成对抗网络(generative adversarial network, GAN)原理，学习正常样本在隐空间的特征表示及其分布，根据指纹样本与正常样本在隐空间中特征表示的差异性，检测到指纹样本，并向目标模型所有者返回有别于预测的标签，使模型所有者的指纹比对方法失效.最后通过CIFAR-10，CIFAR-100数据集评估了逃避算法的性能，实验结果表明：算法对指纹样本的检测率分别可达95%和94%，而模型所有者的指纹比对成功率最高仅为19%，证明了模型指纹比对保护方法的不可靠性.