-
摘要:
随着各种深度学习生成模型在各领域的应用，生成的多媒体文件的真伪越来越难以辨别，深度伪造技术也因此得以诞生和发展. 深度伪造技术通过深度学习相关技术能够篡改视频或者图片中的人脸身份信息、表情和肢体动作，以及生成特定人物的虚假语音. 自2018年Deepfakes技术在社交网络上掀起换脸热潮开始，大量的深度伪造方法被提出，并展现了其在教育、娱乐等领域的潜在应用. 但同时深度伪造技术在社会舆论、司法刑侦等方面产生的负面影响也不容忽视. 因此有越来越多的对抗手段被提出用于防止深度伪造被不法分子所应用，如深度伪造的检测和水印. 首先，针对不同模态类型的深度伪造技术以及相应的检测技术进行了回顾和总结，并根据研究目的和研究方法对现有的研究进行了分析和归类；其次，总结了近年研究中广泛使用的视频和音频数据集；最后，探讨了该领域未来发展面临的机遇和挑战.
Abstract:With the application of all kinds of deep learning generation models in various fields, the authenticity of their generated multimedia files has become increasingly difficult to distinguish, therefore, deepfake technology has been born and developed. Utilizing deep learning related techniques, the deepfake technology can tamper with the facial identity information, expressions, and body movements in videos or pictures, and generate fake voice of a specific person. Since 2018, when Deepfakes sparked a wave of face swapping on social networks, a large number of deepfake methods have been proposed, which had demonstrated their potential applications in education, entertainment, and some other fields. But at the same time, the negative impact of deepfake on public opinion, judicial and criminal investigations, etc. can not be ignored. As a consequence, more and more countermeasures have been proposed to prevent deepfake from being utilized by the criminals, such as the detection of deepfake and watermark. Firstly, a review and summary of deepfake technologies of different modal types and corresponding detection technologies are carried out, and the existing researches are analyzed and classified according to the research purpose and research method. Secondly, the video and audio datasets widely used in the recent studies are summarized. Finally, the opportunities and challenges for future development in this field are discussed.
-
Keywords:
- deepfake /
- deepfake detection /
- deep learning /
- face replacement /
- generative adversarial network
-
大语言模型，如FLAN[1]， GPT-3[2]， LLaMA[3]和PaLM2[4]等，在对话、理解和推理方面展示了惊人的能力[5]. 在不修改模型参数的情况下，大模型可以仅通过输入合适的提示来执行各种任务. 其中，GPT系列模型因其出色的能力备受关注.
为定量评估和探究大模型的能力，已有的工作集中于评估大模型在常识和逻辑推理[6]、多语言和多模态[7]、心智理论[8]和数学[9]等方面的能力. 尽管这些工作在基准测试集上取得了很好的效果，但大模型是否具备良好的鲁棒性仍然需要进一步研究.
鲁棒性衡量了模型在面对异常情况（如噪音、扰动或故意攻击）时的稳定性，这种能力在现实场景，尤其是在自动驾驶和医学诊断等安全场景下对于大模型至关重要. 鉴于此，现有工作对大模型的鲁棒性展开了探究：Wang等人[10]从对抗性和分布外（out of distribution，OOD）的角度出发，使用现有的AdvGLUE[11]和ANLI[12]对抗基准评估ChatGPT等大模型的对抗鲁棒性，使用DDXPlus[13]医学诊断数据集等评估分布外鲁棒性；Zhu等人[14]则从提示的角度出发，提出了基于对抗性提示的鲁棒性评测基准，并对大模型在对抗提示方面的鲁棒性进行了分析. 然而，已有的研究主要使用对抗攻击策略，这对于大规模评估来说需要消耗大量的算力和时间；并且对抗样本生成的目标是通过对特定模型或数据集的原始输入进行微小的扰动，以误导模型的分类或生成结果，但这些扰动并不总是代表真实世界中的威胁和攻击方式. 此外，现有研究大多针对ChatGPT及同时期的其他大模型，对GPT系列模型迭代过程中性能和鲁棒性的变化关注较少.
鉴于此，本文选择了图1所示的5个GPT-3和GPT-3.5系列模型作为大模型的代表，通过全面的实验分析其性能和鲁棒性，以解决3个问题.
![]()
图 1 5个GPT-3和GPT-3.5系列模型的迭代过程Figure 1. The evolution of five GPT-3 and GPT-3.5 series models问题1：GPT模型在自然语言处理(NLP）任务的原始数据集上有何性能缺陷？
为给后续的鲁棒性评估提供基础和参考点，本文首先评估模型在原始数据集上的性能. 本文选择15个数据集（超过147000个原始测试样本），涵盖了9个常见的NLP任务，如情感分析、阅读理解和命名实体识别等，评估了GPT模型在原始数据集上的性能以及迭代过程中的性能变化. 虽然这些任务没有直接对应具体的对话场景，但它们评估了模型的潜在能力，包括理解上下文、处理不同的语言结构和捕捉微小的信息等，这些能力对于语言理解和生成系统都非常重要.
问题2：GPT模型在NLP任务上面对输入文本扰动时的鲁棒性如何？
本文首先确定评估鲁棒性的方法. 为更加真实地模拟现实世界中可能存在的噪音、扰动和攻击，本文选择了TextFlint[15]作为对输入文本进行扰动的工具. TextFlint提供了许多针对NLP任务特定的文本变形，这些变形均基于语言学进行设计，体现了实际使用语言过程中可能发生的情况，保持了变形后文本的语言合理性，能够模拟实际应用中的挑战. 本文使用了61种文本变形方法，这些变形按照粒度可以分为句子级、词级和字符级. 本文通过实验分析了GPT模型在各种任务和各个变形级别上的鲁棒性，并探究了模型迭代过程中鲁棒性的变化.
问题3：提示对GPT模型的性能和鲁棒性有何影响？
在上述2个问题中，本文从测试文本出发，通过将不同的测试样本与任务特定的提示进行拼接，评估了模型的性能和鲁棒性. 在这个问题中，本文从提示的角度出发，研究其对性能和鲁棒性的影响. 上下文学习[16]（in-context learning，ICL）已经成为NLP领域的新范式，语言模型可以仅基于少量示例执行复杂任务. 基于此，本文通过改变提示中演示（demonstration）的数量或内容，探究提示对GPT模型的性能和鲁棒性的影响.
本文的定量结果和定性分析表明：
1）GPT模型在情感分析、语义匹配等分类任务和阅读理解任务中表现出较优异的性能，但在信息抽取任务中性能较差. 例如，其严重混淆了关系抽取任务中的各种关系类型，甚至出现了“幻觉”现象.
2）在处理被扰动的输入文本时，GPT模型的鲁棒性较弱，它们在分类任务和句子级别变形中鲁棒性缺乏更为显著.
3）随着GPT系列模型的迭代，其在NLP任务上的性能稳步提升，但是鲁棒性并未增强. 除情感分析任务外，模型在其余任务上的鲁棒性均未明显提升，甚至出现显著波动.
4）随着提示中演示数量的增加，GPT模型的性能提升，但模型鲁棒性仍然亟待增强；演示内容的改变可以一定程度上增强模型的抗扰动能力，但未能从根本上解决鲁棒性问题.
同时，通过对gpt-3.5-turbo的更新版本、gpt-4、开源模型LLaMA2-7B和LLaMA2-13B的表现进行评估，本文进一步验证了上述实验结论的普适性和可持续性.
1. 相关工作
1.1 大模型的性能评测
近期有大量的研究集中于评估大模型在各种任务中的性能. Qin等人[6]对ChatGPT和text-davinci-003等模型在常见NLP任务上的零样本能力进行了评测，结果表明ChatGPT擅长处理推理和对话任务，但是在序列标注任务上表现欠佳；Bang等人[7]评估了ChatGPT在多任务、多语言和多模态方面的能力，发现ChatGPT在大多数任务上优于零样本学习的大模型，甚至在某些任务上优于微调模型；Zhuo等人[17]针对大模型伦理进行了评测工作. 此外，大量工作针对大模型在不同领域的能力进行了研究和讨论，包括法律领域[18]、教育领域[19-20]、人机交互领域[21]、医学领域[22]以及写作领域[23]等. 然而，这些研究主要集中在大模型的性能上，对鲁棒性的关注有限. 模型在固定的测试数据上取得较高准确率，并不能反映出其在现实场景中面对输入的文本噪音、扰动或恶意攻击时的可靠性和稳定性，因此，鲁棒性对于评估模型处理现实世界中的复杂任务的能力至关重要.
1.2 大模型的鲁棒性评测
已有的关于大模型鲁棒性的工作主要集中于2个方面：对抗鲁棒性和分布外鲁棒性. 对抗鲁棒性是指模型在对抗样本上的鲁棒性表现，对抗样本[24]的生成方式为：对原始输入施加一个阈值范围内的微小扰动，使得模型的分类或生成结果发生变化. 分布外鲁棒性关注于模型的泛化性，即使用与模型训练数据存在分布偏移的数据（包括跨域或跨时间数据）进行鲁棒性评测. Wang等人[10]使用现有的AdvGLUE[11]和ANLI[12]对抗基准评估ChatGPT等大模型的对抗性鲁棒性，使用Flipkart评论和DDXPlus[13]医学诊断数据集评估分布外鲁棒性. 结果表明，尽管ChatGPT在大多的分类任务和翻译任务上展现出更优的鲁棒性，但是大模型的对抗性和分布外鲁棒性仍然较弱. Zhu等人[14]针对提示进行对抗攻击，并使用这些对抗性提示对大模型进行鲁棒性测试，结果表明大模型容易受到对抗性提示的影响. 然而，对抗样本的数据是以欺骗模型为目的而生成的，与现实场景中产生的噪音和扰动存在明显差异，并且生成对抗样本需要消耗大量算力和时间，不适合进行大规模评测. 本文通过考虑更广泛的使用场景，从输入文本的角度出发，利用任务特定的文本变形来评估大模型在每个任务中的鲁棒性表现，从而进行更全面的分析. 此外，本文关注于GPT系列的多个模型的表现，分析了它们在迭代过程中性能和鲁棒性方面的变化.
2. 数据集和模型
2.1 数据集
为了全面评估GPT模型在各类NLP任务上的表现，本文选取了9个常见的NLP任务，涵盖分类、阅读理解和信息抽取3个不同类别，如表1所示. 针对每个任务，本文选取了具有代表性的公开数据集进行测试，最终共包含15个不同数据集.
2.2 GPT系列模型
根据图1所示，本文主要针对5个GPT-3和GPT-3.5系列模型进行评估和分析，并对GPT-4模型在零样本场景下进行抽样测试，所有模型都通过OpenAI官方API
1 进行评估. 根据OpenAI官方文档的说明，text-davinci-002是基于code-davinci-002的InstructGPT[37]模型，其使用了一种监督式微调策略的方法FeedME2 进行训练；text-davinci-003是text-davinci-002的改进版本，其使用近端优化策略（proximal policy optimization，PPO）算法进行训练，该算法被用于基于人类反馈的强化学习[38](reinforcement learning from human feedback, RLHF）；gpt-3.5-turbo是针对聊天场景进行优化的最强大的GPT-3.5模型（本文第3~5节所使用的版本均为gpt-3.5-turbo-0301版本）.3. 性能评测
性能评测对于评估模型的能力，以及对后续的鲁棒性评估建立基准和参考至关重要. 本节对GPT系列模型在NLP任务中原始数据集上的性能表现进行了全面的评测，旨在评估它们在不同NLP任务中的表现，并分析它们有何缺陷. 同时，本节还探究了GPT系列模型在迭代过程中的性能变化.
3.1 方 法
大模型可以通过输入适当的提示或指令来执行各种任务，而无需修改任何参数. 为评估GPT模型在NLP任务中的性能，本文针对每个具体任务设计了3种不同的提示. 如图2所示，本文将提示与测试文本拼接起来作为测试样本输入模型，并获得相应的输出，通过对输出结果的定量评估来评测模型的性能.
3.2 实验设定
为定量分析模型的性能，本文使用准确率（accuracy）和F1分数（F1 score）作为评估指标. 各个数据集对应的评估指标如表1所示.
表 1 实验使用的15个数据集的信息Table 1. Information of 15 Datasets Used in Experiments任务类型 子任务类型 数据集 数据量 评测指标 分类 细粒度情感分析（ABSA） SemEval2014-Laptop[25] 331 准确率 SemEval2014-Restaurant[25] 492 准确率 情感分析（SA） IMDB[26] 25000 准确率 自然语言推理（NLI） MNLI-m[27] 9815 准确率 MNLI-mm[27] 9832 准确率 SNLI[27] 10000 准确率 语义匹配（SM） QQP[28] 40430 准确率 MRPC[29] 1725 准确率 威诺格拉德模式挑战（WSC） WSC273[30] 570 准确率 阅读理解 机器阅读理解（MRC） SQuAD 1.1[31] 9868 F1 SQuAD 2.0[32] 11491 F1 信息抽取 词性标注（POS） WSJ[33] 5461 准确率 命名实体识别（NER） CoNLL2003[34] 3453 F1 OntoNotesv5[35] 4019 F1 关系抽取（RE） TACRED[36] 15509 F1 由于本文实验涉及不同模型、数据集、变形类型、提示种类等多个维度，为方便后续从不同维度对结果进行统计、计算和比较，实验选取的基准模型应当在NLP研究中具有强大的性能和广泛应用，从而能够适用于本文所有评测数据集. 因此，本文选择BERT[39]作为所有数据集的统一基准模型. 对于每个数据集，本文使用在相应数据集上经过有监督微调的BERT模型. 具体而言，对于IMDB数据集和WSJ数据集，本文使用的BERT版本分别是BERT-Large-ITPT和BERT-BiLSTM-CRF. 在其他数据集中，本文均使用BERT-base-uncased作为基准模型. 此外，本节中GPT模型的测试结果均为零样本场景下的结果.
3.3 结果分析
首先分析2个最新的GPT-3.5模型（即gpt-3.5-turbo和text-davinci-003模型）的性能表现， 其和BERT在15个数据集上的性能表现如图3所示，图中的数据是每个数据集在3个提示下的性能均值. 图3所示的结果表明，GPT模型的零样本性能在情感分析、语义匹配、机器阅读理解等分类任务和阅读理解任务中可以与BERT相媲美，并且在SemEval2014-Restaurant和WSC273数据集上的表现均优于BERT.
![]()
图 3 GPT-3.5模型和BERT的性能表现注： “Laptop”和“Restaurant”分别表示“SemEval2014-Laptop”和“SemEval2014-Restaurant”数据集.Figure 3. Performance of GPT-3.5 models and BERT然而，GPT模型在命名实体识别（NER）和关系抽取（RE）任务上表现不佳. 为深入了解模型错误预测背后的原因，本文选择CoNLL2003和TACRED数据集作为代表，分析了错误预测的分布情况. 图4的2个分图的第1列表示在CONLL2003数据集的预测结果中，实体类型被错误预测为“非实体”类型（即“O”）的数量. 结果表明，在NER任务中，大多数错误预测来自于“O”标签与特定实体类型的混淆，这表明大模型对实体词缺乏敏感性；在RE任务中，如图5的2个分图的第1行所示，GPT模型倾向于将“无关系”实例（即“N/A”）错误分类为特定的关系类型.
![]()
图 4 在CoNLL2003数据集上的错误预测的分布Figure 4. Distribution of prediction errors in CoNLL2003 dateset需要注意的是，我们观察到在RE任务中模型存在“幻觉”现象，即模型生成了在给定文本和预定义标签空间中不存在的虚构关系. 如图5所示，“N/A”表示“无关系”，“PER”和“ORG”分别表示属于“人物”和“组织”关系类别中的关系类型集合，而 “Other”表示不属于任何预定义标签的关系集合. 如图5的最后1列所示，GPT模型在生成结果中会虚构大量的“Other”关系，而非基于提示中给出的任务特定的关系类型和语义信息. 同时，本文在IMDB二分类数据集中也观察到类似的现象，模型将许多句子分类为“中性”标签，而该标签并不属于提示中给定的标签空间.
如图6所示，本文按照OpenAI官方发布模型的时间顺序和迭代关系（图1），评测了GPT-3和GPT-3.5系列模型在迭代过程中性能的变化. 由于测试数据较多，本文按照表1所示的子任务类型进行结果展示，每个子任务的数值为其包含数据集的结果的均值. 结果表明，随着模型发布时间的推移，GPT模型在大多数NLP任务上的性能稳步提升. 其中，GPT模型在情感分析（SA）和细粒度情感分析（ABSA）任务上保持了较高的性能，并在自然语言推理（NLI）、语义匹配（SM）和威诺格拉德模式挑战（WSC273）任务上有显著的性能提升，但在NER和RE任务上的性能一直处于较低水平.
由于text-davinci-001和gpt-3.5-turbo在WSJ数据集上未能按照提示完成任务，因此图3、图6中未展示该数据集的结果.
4. 鲁棒性研究
在NLP中，鲁棒性通常是指模型在面对噪音、扰动或有意攻击等情况时能够持续可靠地执行任务的能力. 具有较高鲁棒性的模型，在处理不应该对输出造成影响的微小变化的输入时，模型的预测结果不会发生变化. 本节对GPT模型面对输入文本扰动时的鲁棒性进行了全面评估，并分析了不同任务和不同变形级别的鲁棒性情况.
4.1 方 法
如表2所示，本节使用TextFlint提供的61种任务特定的变形来评测模型的鲁棒性. 如图2所示，每种变形均已通过TextFlint提供的变形规则作用于原始数据，从而生成变形数据. 本文通过将提示与变形数据拼接起来，作为测试文本输入模型并获得相应输出.
表 2 61种任务特定变形的信息Table 2. Information of 61 Task-Specific Transformations子任务类型 变形类型 变形方式 细粒度情感分析（ABSA） 句子级 AddDiff， RevNon， RevTgt 情感分析（SA） 词级 SwapSpecialEnt-Movie，
SwapSpecialEnt-Person句子级 AddSum-Movie， AddSum-Person， DoubleDenial 自然语言推理（NLI） 字符级 NumWord 词级 SwapAnt 句子级 AddSent 语义匹配（SM） 字符级 NumWord 词级 SwapAnt 威诺格拉德模式挑战（WSC） 字符级 SwapNames 词级 SwapGender 句子级 AddSentences， InsertRelativeClause， SwitchVoice 机器阅读理解（MRC） 句子级 AddSentDiverse， ModifyPos， PerturbAnswer， PerturbQuestion-BackTranslation， PertyrbQuestion-MLM 词性标注（POS） 字符级 SwapPrefix 词级 SwapMultiPOSJJ， SwapMultiPOSNN， SwapMultiPOSRB， SwapMutliPOSVB 命名实体识别（NER） 字符级 EntTypos， OOV 词级 CrossCategory， SwapLonger 句子级 ConcatSent 关系抽取（RE） 词级 SwapEnt-LowFreq， SwapEnt-SamEtype 句子级 InsertClause， SwapTriplePos-Age， SwapTriplePos-Birth， SwapTriplePos-Employee TextFlint提供的变形是基于语言学并针对不同的NLP任务设计的，在保持变形文本的可接受性的同时，能够更好地代表实际应用中的挑战. 本节中，根据变形的粒度，将变形分为句子级别、词级别和字符级别. 表3展示了不同类型的变形样例.
表 3 不同类型的变形样例Table 3. Examples of Deformations in Different Categories变形类型 变形方式 样例 字符级 SwapPrefix 原始：That is a prefixed string.
变形后：That is a preunfixed string.词级 DoubleDenial 原始：The leading actor is good.
变形后：The leading actor is good not bad.句子级 InsertClause 原始：Shanghai is in the east of China.
变形后：Shanghai which is a municipality of China
is in the east of China established in Tiananmen.注： 划线单词表示变形后的数据中删掉的部分；黑体单词表示变形后的数据中新增的部分. 4.2 实验设定
由于在不同任务和变形中使用的评估指标存在差异，本节在鲁棒性评估中引入一个新指标，即性能下降率（performance drop rate，PDR）. 该指标的计算方式为：
PDR(T,P,fθ,D)=1−∑(x;y)∈DM[fθ([P,T(x)]),y]∑(x;y)∈DM[fθ([P,x]),y]， (1) 其中，M表示不同数据集D使用的评价指标. PDR提供了一种上下文归一化的度量方式，用于量化在处理经过变形T的输入x（使用提示P）时，模型fθ发生的相对性能下降. 其中，负值的PDR表示在某些文本变形下会出现性能提升.
本节计算模型在不同数据集和变形中的平均原始性能（ori）、 平均变形性能（trans）和平均性能下降率（APDR）. 此外，使用BERT作为基准模型，并且对于每个数据集，GPT模型和BERT都在相同的变形方法和测试数据上进行了评估.
4.3 任务层面的鲁棒性
表4列出了模型在每个数据集上的平均结果. 具体而言，本文定义APDRD为PDR（式（1））在不同数据集上的平均值：
表 4 不同模型的鲁棒性表现Table 4. The Robustness Performance of Different Models% 数据集 gpt-3.5-turbo text-davinci-003 BERT ori trans APDR ori trans APDR ori trans APDR Restaurant 91.43±1.23 66.00±11.28 27.80±2.74 90.14±1.33 52.59±11.21 41.65±4.26 84.38±1.20 53.49±15.07 36.51±18.43 Laptop 86.67±2.15 59.36±21.97 31.25±23.31 83.30±0.71 54.71±17.75 34.42±19.29 90.48±0.06 49.06±9.03 45.78±9.97 IMDB 91.60±0.20 90.86±0.50 0.80±0.47 91.74±0.68 91.40±0.58 0.37±0.31 95.24±0.12 94.61±0.80 0.66±0.94 MNLI-m 73.03±7.44 41.75±17.05 42.27±21.87 67.49±2.80 54.88±20.93 19.52±24.60 86.31±4.50 52.49±2.97 39.10±4.13 MNLI-mm 72.21±7.69 40.94±19.11 42.71±24.31 66.61±1.57 50.57±20.58 24.46±27.71 84.17±1.09 52.33±5.44 37.87±5.73 SNLI 73.30±12.50 47.80±8.80 32.99±13.66 70.81±9.24 56.44±22.68 18.99±26.16 90.75±1.52 77.61±18.34 14.44±20.25 QQP 79.32±5.97 64.96±20.52 17.17±1.18 70.14±12.03 69.27±13.67 −1.08±9.23 91.75±2.60 52.77±5.93 42.56±4.83 MRPC 80.69±10.28 84.99±10.69 −8.12±22.99 74.87±5.38 74.33±23.12 −0.17±26.51 86.87±6.05 0.00±0.00 100.00±0.00 WSC273 66.05±1.95 64.12±5.82 2.93±5.57 62.05±0.48 61.42±2.41 1.01±3.12 56.00±0.00 53.61±5.31 4.26±9.49 SQuAD 1.1 55.33±8.22 44.55±9.73 19.45±12.39 67.18±8.23 61.07±9.04 9.11±7.13 87.22±0.26 70.78±21.84 18.88±24.95 SQuAD 2.0 55.03±7.39 44.21±9.31 19.62±12.70 65.91±7.81 59.70±8.93 9.45±7.58 78.81±2.65 60.17±16.99 23.48±21.81 WSJ − − − 75.53±2.28 74.63±2.58 1.21±0.90 97.72±0.09 96.23±1.69 1.53±1.79 CoNLL2003 44.61±3.48 37.30±9.29 16.31±20.05 51.54±2.88 42.64±9.24 17.13±17.76 90.57±0.38 72.24±16.75 20.26±18.42 OntoNotesv5 17.74±8.51 18.68±7.00 −12.73±40.09 11.94±9.98 12.30±7.69 −17.51±51.73 79.99±6.54 61.98±20.30 23.47±20.45 TACRED 31.44±31.24 32.64±33.27 0.58±7.88 35.67±30.89 38.67±31.59 −25.69±55.14 77.99±13.47 65.53±15.46 16.54±7.83 注：“±”后的数字表示均值对应的标准差；“Laptop”和“Restaurant”分别表示“SemEval2014-Laptop”和“SemEval2014-Restaurant”数据集；“−”表示模型未完成指定任务. APDRD(fθ,D)=1|TD|1|P|∑T∈TD∑P∈PPDR(T,P,fθ,D)， (2) 其中，TD表示特定数据集D包含的任务特定变形的集合，P表示3个提示的集合.
与第3节类似，本节首先分析gpt-3.5-turbo和text-davinci-003的鲁棒性表现. 表4表明，GPT模型的表现与BERT类似，其在分类任务中出现了显著的性能下降. 例如，gpt-3.5-turbo在MNLI-mm数据集上的绝对性能下降了42.71个百分点，而text-davinci-003在SemEval2014-Restaurant数据集上的绝对性能下降了41.65个百分点.
此外，GPT模型在阅读理解（MRC）任务中性能较稳定，其在SQuAD 1.1和SQuAD 2.0变形前后的数据集上的性能没有出现严重的下降. 但与其他任务不同的是，在MRC任务中，text-davinci-003在性能和鲁棒性方面的表现均优于gpt-3.5-turbo. 进一步分析发现，如表4所示，gpt-3.5-turbo在该任务上具有较低的精确度（precision），通过抽样分析其生成结果，我们发现原因可能在于gpt-3.5-turbo倾向于生成更长的句子. 此外，这2个模型的输出均达到95%左右的召回率（recall），这表明GPT模型在篇章级别的理解任务上具有较强的能力.
同时，GPT模型对数字和反义词敏感度较高. 在语义匹配任务（包括QQP和MRPC数据集）中，GPT模型和BERT在变形前后的性能变化上存在显著差距. BERT在MRPC数据集上的变形后性能降至0，但GPT模型在该数据集上的变形后性能甚至有所提升. 通过分析MRPC和QQP数据集的任务特定变形，即NumWord和SwapAnt，我们发现这2种变形通过改变原始数据中的数字或对原始词语进行反义词替换，将原始句子对之间的蕴涵关系转化为矛盾关系. GPT模型在此类变形上的性能提升表明它们能够较好地捕捉到变形后的文本中数字或反义词所涉及的矛盾关系.
在NER和RE任务中，GPT模型性能的下降不明显，有时甚至有提升，尤其是在OntoNotesv5和TACRED数据集中. 但需要注意的是，模型在这些数据集上的原始性能较低. 因此，在这种情况下，讨论GPT模型在这类任务上的鲁棒性缺乏实际意义，提升模型在原始数据上的性能更为紧要.
此外，随着迭代的进行，GPT系列模型在不同任务上平均性能下降率的变化如图7所示. 由于不同模型间的结果波动较大，图7的纵坐标数值为经过对数变换之后的结果. 平均性能下降率越小，代表模型的鲁棒性越好，但图中的结果没有呈现出一致的趋势. 在ABSA和MRC任务中，模型间的鲁棒性表现较为相似；在SA任务上出现了较显著的鲁棒性提升；但是在其余任务中均呈现出显著的波动，并且没有出现鲁棒性显著提升的情况. 这可能表明GPT模型的迭代过程主要集中于改进模型在一般场景下的性能，而非解决鲁棒性问题.
4.4 变形层面的鲁棒性
图8为GPT模型在3种变形级别上的性能下降情况. 其中斜杠部分表示模型的变形后性能，无斜杠部分表示变形后性能与原始性能的差值，折线表示平均性能下降率（APDR）. 通过计算每个变形级别下的PDR的均值得到APDRTt：
![]()
图 8 不同模型在3种变形类别上的性能下降情况Figure 8. Performance drop of different models on three transformation categoriesAPDRTt(fθ,Tt)=1|D|1|P|∑D∈D∑P∈PPDR(Tt,P,fθ,D)， (3) 其中，Tt表示某个变形类别t的变形集合，P表示提示的集合.
根据图8所示，GPT模型的APDR在句子级、词级、字符级3个变形类别上逐级递减，即处理句子级别的变形文本时，GPT模型在变形前后的性能下降更为显著. 句子级别的变形通常涉及语义的重新表述或句子整体结构的改变，这对模型稳定性有更高的要求. 此外，GPT模型在字符级和词级变形上表现出比BERT更好的鲁棒性. GPT模型的平均性能下降范围为9.61%~15.22%，而BERT在字符级和词级变形上的性能下降分别为36.74%和37.07%. 可以看出，与监督微调模型相比，GPT模型对细粒度扰动表现出更强的稳定性.
5. 性能和鲁棒性影响因素
在第3节和第4节中，本文使用涵盖了各种任务和文本变形的大量测试数据，对GPT模型的性能和鲁棒性进行了评估. 除测试文本之外，提示是评测过程中模型输入数据的另一个重要部分，并且基于提示中少量示例的上下文学习已经成为NLP领域的新范式. 基于此，本节探究提示对GPT模型的性能和鲁棒性的影响，具体关注2个方面：1）提示中演示数量的影响；2）提示中演示内容的影响. 其中，演示是指提示中的示例或样本，通常用来说明我们所期望模型输出的结果.
5.1 演示数量的影响
通过改变演示数量（即图2中的“k”），本文研究了在0、1和3个演示数量下模型的原始性能表现和变形前后性能的变化.
图9结果表明，增加演示数量通常会带来性能的提升. 此外，从零样本增加为少样本的情况下，模型性能提升显著，特别是对于一开始在零样本情景下表现不佳的任务，如信息抽取任务. 此外，随着演示数量的增加，不同GPT模型之间的性能差异减小.
![]()
图 9 GPT模型在0-shot、1-shot、3-shot样本场景下原始性能与变形后的性能表现Figure 9. Original and transformed performance of GPT models on 0-shot, 1-shot, and 3-shot然而，就变形前后的性能变化而言，在大多数情况下，增加演示数量没有显著缓解模型的性能下降. 只有在分类任务中，可以观察到text-davinci-001，code-davinci-002和text-davinci-002的性能下降有所缓解. 这表明增加演示数量虽然可以改善模型在原始任务上的性能，但并不能有效提高模型面对扰动时的鲁棒性.
5.2 演示内容的影响
在5.1节中的少样本情景下，原始数据和变形后数据均使用相同的、未经过变形的演示样例来研究变形后测试数据引起的性能变化. 本节研究在提示中使用变形后的演示样例对模型的鲁棒性有何影响. 本文分别从分类、信息抽取和阅读理解三大类任务中选取SemEval2014-Restaurant (Restaurant)，CoNLL2003和SQuAD 1.1数据集作为代表进行实验. 对于每个数据集，演示样例使用该数据集特定的任务变形进行变换，并与变形后的测试数据拼接，用以评估模型变形后的性能. 演示样例的数量为3.
图10展示了变形前后模型的APDR. 结果表明，在演示中使用变形后的样本有助于缓解模型变形后的性能下降，说明演示中包含的扰动信息能够帮助模型更好地处理变形数据. 但是，APDR依然处于较高的数值，这表明这种性能改善是有限的，不足以从根本上解决模型的鲁棒性问题.
![]()
图 10 模型使用原始和变形后的演示数据的APDRFigure 10. APDR with original and transformed demonstrations date6. 讨 论
6.1 GPT更新版本的表现
本文前文主要针对GPT-3和GPT-3.5系列模型的性能和鲁棒性表现进行了探究. 随着时间的推进，GPT系列模型仍然在持续迭代，并且Chen等人[40]、Tu等人[41]近期的工作表明模型的表现会随时间发生变化. 为了更好地验证本文实验结果的可持续性，本节针对GPT系列模型的更新版本“gpt-3.5-turbo-0613”（上文中的“gpt-3.5-turbo”为“gpt-3.5-turbo-0301”版本）、“gpt-4” 进行性能和鲁棒性评测.
首先是模型的性能表现. 如图11所示，根据模型更新与迭代顺序，gpt-3.5-turbo-0613和gpt-4模型在大部分数据集上的性能表现较为显著的提升. 其中，在情感分析和阅读理解的数据集中，这2个模型的提升最为显著. 第3节中的结果表明GPT模型在NER和RE任务上表现不佳，图11表明gpt-3.5-turbo-0613和gpt-4模型在NER任务的OntoNotesv5数据集及RE任务的TACRED数据集上的表现仍然处于较低水平.
![]()
图 11 GPT和LLaMA2模型的性能表现注：“Laptop”和“Restaurant”分别表示“SemEval2014-Laptop”和“SemEval2014-Restaurant”数据集. 柱状图中WSJ和TACRED数据集空缺的部分表示模型未完成在该数据集上的指定任务.Figure 11. Performance of GPT and LLaMA2 models其次是模型的鲁棒性表现. 表5展示了3个模型的鲁棒性表现. 如表5所示， GPT模型仍然存在4.3节中提到的鲁棒性问题，尤其在分类任务中存在显著的性能下降. 值得注意的是，在阅读理解任务中gpt-3.5-turbo-0613和gpt-4 的鲁棒性进一步提升，表现出在该任务上较高的稳定性. 同时，gpt-3.5-turbo的版本迭代未带来稳定的鲁棒性提升，而gpt-4的鲁棒性在大多任务上都优于GPT-3.5系列模型.
表 5 3个GPT模型的鲁棒性表现Table 5. The Robustness Performance of Three GPT Models% 数据集 gpt-3.5-turbo-0301 gpt-3.5-turbo-0613 gpt-4 ori trans APDR ori trans APDR ori trans APDR Restaurant 91.43±1.23 66.00±11.28 27.80±2.74 97.05±0.86 59.98±16.37 38.28±16.56 95.81±2.27 71.07±9.15 25.80±9.69 Laptop 86.67±2.15 59.36±21.97 31.25±23.31 93.91±1.45 63.82±19.10 32.16±19.83 98.74±1.88 74.42±16.01 24.75±15.42 IMDB 91.60±0.20 90.86±0.50 0.80±0.47 96.58±1.05 95.99±1.63 0.62±0.90 93.81±3.69 91.91±5.31 2.05±3.83 MNLI-m 73.03±7.44 41.75±17.05 42.27±21.87 71.88±7.99 35.30±16.00 51.85±20.03 84.24±7.00 53.46±10.50 36.81±9.04 MNLI-mm 72.21±7.69 40.94±19.11 42.71±24.31 71.78±7.68 35.59±15.45 50.28±22.50 80.23±8.14 53.88±14.19 33.28±14.43 SNLI 73.30±12.50 47.80±8.80 32.99±13.66 75.67±15.70 38.58±11.11 47.61±16.40 89.10±5.64 70.65±21.60 21.25±21.31 QQP 79.32±5.97 64.96±20.52 17.17±1.18 81.42±8.49 49.71±16.16 38.22±22.66 53.14±19.48 84.91±15.74 −105.86±159.05 MRPC 80.69±10.28 84.99±10.69 −8.12±22.99 85.70±11.16 70.65±16.74 14.29±30.49 60.38±7.06 94.65±4.68 −58.46±18.46 WSC273 66.05±1.95 64.12±5.82 2.93±5.57 53.98±0.75 51.92±3.13 3.80±6.10 77.88±6.12 64.42±23.57 16.91±30.39 SQuAD1.1 55.33±8.22 44.55±9.73 19.45±12.39 90.11±1.09 80.84±8.65 10.27±9.70 95.14±1.74 84.96±13.75 10.69±14.41 SQuAD2.0 55.03±7.39 44.21±9.31 19.62±12.70 73.68±4.61 64.25±10.76 12.85±13.16 81.94±3.17 74.15±7.17 9.50±8.02 WSJ − − − 50.35±5.22 49.31±5.61 2.07±4.52 68.66±3.03 67.88±5.58 1.10±7.39 CoNLL2003 44.61±3.48 37.30±9.29 16.31±20.05 66.78±2.98 49.76±11.69 25.38±17.69 83.23±1.86 65.53±13.86 21.25±16.66 OntoNotesv5 17.74±8.51 18.68±7.00 −12.73±40.09 9.85±6.53 13.50±4.13 −66.86±72.42 7.58±15.72 6.70±10.70 10.87±15.47 TACRED 31.44±31.24 32.64±33.27 0.58±7.88 37.00±35.29 40.23±34.38 −20.07±36.33 14.32±7.57 13.31±9.17 −0.02±74.59 注：“±”后的数字表示均值对应的标准差；“Laptop”和“Restaurant”分别表示“SemEval2014-Laptop”和“SemEval2014-Restaurant”数据集；“−”表示模型未完成指定任务. 6.2 开源模型的表现
由于GPT系列模型出色的性能和较完善的迭代过程，对其进行的性能和鲁棒性评测有助于更全面地了解大模型的能力及其发展进程中的变化，但是由于闭源模型的限制，后续在GPT系列模型上进行优化较为困难. 为此，本节对开源模型LLaMA2-7B和LLaMA2-13B进行性能和鲁棒性评测.
如图11第1个子图所示，LLaMA2-7B和LLaMA2-13B在情感分析和阅读理解类任务上的表现与GPT-3.5系列模型相当；在第2个子图中，其在自然语言推理和语义匹配任务中却与GPT-3.5系列模型存在较大差距. 需要注意的是，LLaMA2-7B和LLaMA2-13B在WSJ和TACRED数据集中均未按照指令完成相应任务，并且在NER任务中的表现亟待提升.
如表6所示，与GPT系列模型的鲁棒性表现类似，LLaMA2-7B和LLaMA2-13B在大多分类任务上的性能下降都较为严重，但在阅读理解任务中的鲁棒性与gpt-4相当，且好于GPT-3.5系列模型. 同时，LLaMA2-13B比LLaMA2-7B具有更好的鲁棒性.
表 6 LLaMA2模型的鲁棒性表现Table 6. The Robustness Performance of LLaMA2 Model% 数据集 LLaMA2-7B LLaMA2-13B ori trans APDR ori trans APDR Restaurant 87.85±1.68 52.38±7.01 40.34±8.22 87.10±3.17 35.16±9.07 59.84±9.45 Laptop 79.40±2.93 56.23±12.68 28.96±16.86 81.15±2.82 47.21±18.58 41.87±22.81 IMDB 92.04±1.68 91.06±2.68 1.08±1.43 88.17±2.30 87.40±2.89 0.88±1.21 MNLI-m 46.76±16.03 27.64±13.39 34.77±34.65 54.47±15.15 44.70±18.95 12.52±43.92 MNLI-mm 50.16±17.23 27.92±13.99 39.21±32.29 57.04±15.11 45.47±19.30 15.94±42.02 SNLI 47.77±19.73 30.73±17.44 27.79±41.43 54.79±15.20 43.75±24.22 12.83±53.93 QQP 59.93±16.77 33.18±11.02 40.58±24.61 54.49±12.91 40.17±14.45 21.36±32.47 MRPC 70.66±14.76 66.49±16.68 1.92±33.62 69.59±17.74 33.75±32.70 43.09±63.48 WSC273 52.40±3.60 53.10±1.68 −1.65±7.48 52.57±0.73 56.43±2.77 −7.33±4.58 SQuAD1.1 79.64±0.69 67.85±9.98 14.80±12.51 71.27±1.16 63.67±5.14 10.65±7.12 SQuAD2.0 78.25±0.95 66.30±9.66 15.26±12.36 69.40±1.27 61.77±5.05 10.99±7.20 WSJ − − − − − − CoNLL2003 20.05±8.92 4.44±5.36 74.37±36.93 45.66±10.22 20.26±10.27 53.47±26.94 OntoNotesv5 4.97±2.57 4.94±2.03 −19.85±76.91 5.87±5.21 5.36±3.34 −8.23±51.59 TACRED − − − 4.26±2.60 5.95±5.45 −16.67±104.08 注：“±”后的数字表示均值对应的标准差；“Laptop”和“Restaurant”分别表示“SemEval2014-Laptop”和“SemEval2014-Restaurant”数据集；“−”表示模型未完成指定任务. 7. 总 结
本文通过评估涵盖9个不同NLP任务的15个数据集，使用61种任务特定的变形方法，对GPT-3和GPT-3.5系列模型的性能和鲁棒性进行了全面分析. 研究结果表明，尽管GPT模型在情感分析、语义匹配等分类任务和阅读理解任务表现出色，但在面对输入文本扰动时仍然存在明显的鲁棒性问题. 其中，本文分别从任务层面和变形级别层面具体分析了GPT模型的鲁棒性表现，表明其在分类任务和句子级变形中的鲁棒性亟待提升. 同时，随着GPT系列模型的迭代，其性能在大多数任务上稳步提升，但鲁棒性依然面临很大的挑战. 此外，本文探讨了提示对GPT模型的性能和鲁棒性的影响，包括提示中演示数量和演示内容2方面. 这些发现从任务类型、变形种类、提示内容等方面揭示了 GPT模型还无法完全胜任常见的 NLP任务，并且模型存在的鲁棒性问题难以通过提升模型性能或改变提示内容等方式解决. 与此同时，本文通过评估gpt-3.5-turbo的更新版本、gpt-4模型，以及开源模型LLaMA2-7B和LLaMA2-13B的性能和鲁棒性表现，进一步验证了实验结论. 鉴于此，未来的大模型研究应当提升模型在信息提取和语义理解方面的能力，并且应当在模型训练或微调阶段考虑提升模型的鲁棒性.
作者贡献声明：陈炫婷提出研究思路和实验方案，负责部分实验和论文写作；叶俊杰负责部分实验和完善论文；祖璨负责部分实验并整理分析实验结果；许诺协助实验和完善论文；桂韬提出指导意见并修改论文；张奇提出指导意见并审阅论文.
-
![]()
图 1 pix2pix 和 CycleGAN 的原理示意图
Figure 1. Illustration of principle of pix2pix and CycleGAN
![]()
![]()
表 1 图像和视频伪造检测方法总结
Table 1 Summary of Image and Video Fake Detection Methods
检测方法 特点 适用场景 实验数据集 检测性能 模型主干网络 Exploiting Visual Artifact[92] 通过提取牙齿，眼睛及
脸部轮廓等特征进行伪
造检测使用Deepfakes方法和face2face方法生成的深度伪造视频 FaceForensics 0.866（AUC） 逻辑回归、多层感知机 FDFL[95] 使用频域特征，优化难
度小检测面部替换，面部重现等伪造图片和视频 FaceForensics++[12] 0.994（ACC）0.997（AUC） CNN Generalizing Face Forgery Detection[96] 利用图像的高频噪声，泛化能力较强 针对未知伪造方法生成图像的检测，需要高泛化性检测方法的场景 FaceForensics++[12] 0.994（AUC） CNN、注意力机制 Face x-ray[99] 较高的泛化性 需要高泛化性检测方法的场景 FaceForensics++[12]，DFDC[148]，celebDF[149] 0.985（AUC，FF++），0.806（泛化AUC，celebDF），0.809（泛化AUC，DFDC） CNN LRNet[106] 通过帧间时序特征识别伪造视频，同时有较强的鲁棒性 针对存在压缩和破损等情况的深度伪造视频检测 FaceForensics++[12] celebDF[149] 0.957（AUC，FF++，c40压缩）0.554（AUC，celebDF，c40压缩） CNN+RNN Exposing Inconsistent Head Poses[110] 通过检测人物头部姿态判断是否为伪造视频 深度伪造视频检测 自建数据集 0.974（AUC） SVM F3-Net[116] 基于频域特征的深度伪造检测 被压缩的伪造视频检测 FaceForensics++[12] 0.958（AUC） CNN Two-branch Recurrent Network[117] 融合了RGB域信息和频域的高频信息 深度伪造视频检测 FaceForensics++[12]，DFDC[148]，celebDF[149] 0.987（AUC，单帧），0.991（AUC，视频） CNN+LSTM Id-reveal[122] 通过比对待测视频和参考视频中人脸身份信息判断伪造 拥有指定人物参考视频的深度伪造视频检测 DFD[150] 0.86（AUC） CNN Emotions Don’t Lie[127] 通过提取多模态情感信息之间的差异来检测伪造 带有音频的深度伪造视频检测 DF-TIMIT[151]，DFDC[148] 0.844（AUC，DFDC） CNN Fakespotter[131] 通过神经网络可解释性方法检测伪造视频 针对GAN等生成模型的深度伪造检测 Celeb-DF v2[152] 0.668（AUC） 深度人脸识别模型 On the Detection of Digital Face Manipulation [132] 基于注意力机制的深度伪造检测 需要可视化伪造区域的检测场景 自建数据集 0.997（AUC） CNN、注意力机制 FReTal[137] 通过知识蒸馏和迁移学习，解决针对新出现的伪造方法的检测 适用于检测较新的伪造生成方法 FaceForensics++[12] 0.925（泛化AUC） CNN Multi-attentional deepfake detection[140] 聚合高维的语义信息和低维的纹理信息 图像和视频深度伪造检测 FaceForensics++[12]，DFDC[148]，celebDF[149] 0.993（AUC，FF++） CNN、注意力机制 CviT[145] 引入视觉transformer检测深度伪造 图像和视频深度伪造检测 FaceForensics++[12]，DFDC[148] 0.915（ACC，DFDC） CNN+视觉transformer 
下载: 导出CSV
表 2 深度伪造视频和图片数据集
Table 2 Deepfake Video and Image Datasets
数据集 发布年份 伪造方法 数据集描述 数据集大小 真伪样本数量比 DFD[150] 2019 Deepfakes 篡改视频均使用 C0，C23，
C40 这3种压缩方式363个原始视频、3068个篡改视频、28个演员和16个不同场景 1∶8.45 Deepfake-TIMIT[151] 2018 FaceSwap-GAN 从VidTIMIT数据库中选取相近人脸伪造构建 320个视频、每个视频有高清（128×128）和低清（64×64）版本 1∶1 DFDC（deepfake detection challenge）Preview[148] 2019 未知 DFDC预赛中使用的数据集 5214个视频 1∶3.57 DFDC[170] 2020 8种伪造方法 DFDC比赛中使用的数据集 119154个视频 1∶5.26 FaceForensics++
（FF++）[12]2019 Deepfakes，FaceSwap，Face2face，Neuraltexture，faceshifter Google推出的另一个数据集，前身为FaceForensics，目前仍在持续更新 6000个视频 1∶5 Celeb-DF[149] 2020 Deepfakes 视频数量较少，已有后续版本Celeb-DF v2[152]和DFGC（deepfake game competition）[171] 590个真实视频、5639个伪造视频 1∶9.56 Wild Deepfake[172] 2020 网络途径获取 通过网络获取的伪造数据集，效果较好 707个伪造视频、100个演员 DeeperForensics 1.0[173] 2020 deepfake-VAE 大型深度伪造数据集，包含多种灯光条件和面部角度，同时使用了改进的生成方法，较之前数据集更为真实 60000个视频、1760万帧 1∶5 Video Forensics HQ[174] 2020 Neural Textures 高清视频伪造数据集 FFIW-10K[175] 2021 3种合成方法 同一个视频片段中出现多个可能被篡改的人脸，平均每帧3.15个人脸 10000个真实视频和10000个篡改视频 1∶1 ForgeryNet[176] 2021 15种合成方法（7种图像级方法、8种视频级方法） 支持多种任务的超大数据集（630万个分类标签、290万个操纵区域标注和221247个时空伪造段标签） 290万张图像、221247个视频 视频1∶1.22， 图片1∶1.01 FakeAVCeleb[177] 2021 5种伪造方法 多模态数据集、伪造视频包含音频 25500个视频 1∶51.02
下载: 导出CSV
-
[1] Mirsky Y, Lee W. The creation and detection of deepfakes: A survey[J]. ACM Computing Surveys, 2021, 54(1): 264−263
[2] Kingma D P, Welling M. Auto-encoding variational Bayes[J]. arXiv preprint, arXiv: 1312.6114, 2013
[3] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial nets[C] //Proc of the 27th Int Conf on Neural Information Processing Systems. La Jolla, CA : NIPS, 2014: 2672−2680
[4] Isola P, Zhu Junyan, Zhou Tinghui, et al. Image-to-image translation with conditional adversarial networks[C] //Proc of the 30th IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2017: 1125−1134
[5] Ronneberger O, Fischer P, Brox T. U-net: Convolutional networks for biomedical image segmentation[C] //Proc of the 18th Int Conf on Medical Image Computing and Computer-assisted Intervention. Berlin: Springer, 2015: 234−241
[6] Wang Tingchun, Liu Mingyu, Zhu Yanjun, et al. High-resolution image synthesis and semantic manipulation with conditional GANs[C] //Proc of the 31st IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2018: 8798−8807
[7] Wang Tingchun, Liu Mingyu, Zhu Yanjun, et al. Video-to-video synthesis[J]. arXiv preprint, arXiv: 1808.06601, 2018
[8] Zhu Junyan, Park T, Isola P, et al. Unpaired image-to-image translation using cycle-consistent adversarial networks[C] //Proc of the 30th IEEE Int Conf on Computer Vision. Piscataway, NJ: IEEE, 2017: 2223−2232
[9] Huang Gao, Liu Zhuang, Van Der Maaten L, et al. Densely connected convolutional networks[C] //Proc of the 30th IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2017: 4700−4708
[10] He Kaiming, Zhang Xiangyu, Ren Shaoqing, et al. Deep residual learning for image recognition[C] //Proc of the 29th IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2016: 770−778
[11] Chollet F. Xception: Deep learning with depthwise separable convolutions [C] //Proc of the 30th IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2017: 1251−1258
[12] Rossler A, Cozzolino D, Verdoliva L, et al. FaceForensics++: Learning to detect manipulated facial images [C] //Proc of the 17th IEEE/CVF Int Conf on Computer Vision. Piscataway, NJ: IEEE, 2019: 1−11
[13] Dale K, Sunkavalli K, Johnson M K, et al. Video face replacement [J]. ACM Transactions on Graphics, 2011, 30(6): 8: 1−8: 10
[14] torzdf. Deepfakes [CP/OL] 2017 [2021-10-15]. https://github.com/deepfakes/face swap
[15] Korshunova I, Shi Wenzhe, Dambre J, et al. Fast face-swap using convolutional neural networks[C] //Proc of the 16th IEEE Int Conf on Computer Vision. Piscataway, NJ: IEEE, 2017: 3677−3685
[16] Ulyanov D, Lebedev V, Vedaldi A, et al. Texture networks: Feed-forward synthesis of textures and stylized images[C] //Proc of the 33rd Int Conf on Machine Learning. New York: PMLR, 2016: 1349− 1357
[17] Shaoanlu. Fceswap-GAN [CP/OL]. 2017 [2021-10-15]. https://github.com/shaoa nlu/faceswap-GAN
[18] Natsume R, Yatagawa T, Morishima S. FsNet: An identity-aware generative model for image-based face swapping[C] //Proc of the 14th Asian Conf on Computer Vision. Berlin: Springer, 2018: 117−132
[19] Natsume R, Yatagawa T, Morishima S. RSGAN: Face swapping and editing using face and hair representation in latent spaces[J]. arXiv preprint, arXiv: 1804.03447, 2018.
[20] Nirkin Y, Keller Y, Hassner T. FSGAN: Subject agnostic face swapping and reenactment[C] //Proc of the 17th IEEE/CVF Int Conf on Computer Vision. Piscataway, NJ: IEEE, 2019: 7184−7193
[21] Li Lingzhi, Bao Jianmin, Yang Hao, et al. Faceshifter: Towards high fidelity and occlusion aware face swapping[J]. arXiv preprint, arXiv: 1912.13457, 2019
[22] Chen Renwang, Chen Xuanhong, Ni Bingbing, et al. Simswap: An efficient framework for high fidelity face swapping[C] //Proc of the 28th ACM Int Conf on Multimedia. New York: ACM, 2020: 2003−2011
[23] Zhu Yuhao, Li Qi, Wang Jian, et al. One shot face swapping on megapixels [C] //Proc of the 18th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2021: 4834−4844
[24] Lin Yuan, Lin Qian, Tang Feng, et al. Face replacement with large-pose differences[C] //Proc of the 20th ACM Int Conf on Multimedia. New York: ACM, 2012: 1249−1250
[25] Min Feng, Sang Nong, Wang Zhefu. Automatic face replacement in video based on 2D morphable model[C] //Proc of the 20th Int Conf on Pattern Recognition. Piscataway, NJ: IEEE, 2010: 2250−2253
[26] Moniz J R A, Beckham C, Rajotte S, et al. Unsupervised depth estimation, 3D face rotation and replacement[J]. arXiv preprint, arXiv: 1803.09202, 2018
[27] Thies J, Zollhofer M, Niessner M, et al. Real-time expression transfer for facial reenactment[J]. ACM Transactions on Graphics, 2015, 34(6): 183: 1−183: 4
[28] Thies J, Zollhofer M, Stamminger M, et al. Face2Face: Real-time face capture and reenactment of rgb videos[C] //Proc of the 29th IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2016: 2387−2395
[29] Thies J, Zollhofer M, Theobalt C, et al. Headon: Real-time reenactment of human portrait videos[J]. ACM Transactions on Graphics, 2018, 37(4): 164: 1−164: 13
[30] Kim H, Garrido P, Tewari A, et al. Deep video portraits[J]. ACM Transactions on Graphics, 2018, 37(4): 163: 1−163: 14
[31] Nagano K, Seo J, Xing Jun, et al. PaGAN: Real-time avatars using dynamic textures[J]. ACM Transactions on Graphics (TOG), 2018, 37(6): 258: 1−258: 12
[32] Geng Jiahao, Shao Tianjia, Zheng Youyi, et al. Warp-guided GANs for single-photo facial animation[J]. ACM Transactions on Graphics, 2018, 37(6): 231: 1−231: 12
[33] Wang Yaohui, Bilinski P, Bremond F, et al. Imaginator: Conditional spatio-temporal GAN for video generation[C] //Proc of the 20th IEEE/CVF Winter Conf on Applications of Computer Vision. Piscataway, NJ: IEEE, 2020: 1160−1169
[34] Siarohin A, Lathuiliere S, Tulyakov S, et al. Animating arbitrary objects via deep motion transfer[C] //Proc of the 32nd IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2019: 2377−2386
[35] Siarohin A, Lathuiliere S, Tulyakov S, et al. First order motion model for image animation[C] //Proc of the 32nd Int Conf on Neural Information Processing Systems. La Jolla, CA : NIPS, 2019: 7137−7147
[36] Qian Shengju, Lin K Y, Wu W, et al. Make a face: Towards arbitrary high fidelity face manipulation[C] //Proc of the 32nd IEEE/CVF Int Conf on Computer Vision. Piscataway, NJ: IEEE, 2019: 10033−10042
[37] Song Linsen, Wu W, Fu Chaoyou, et al. Pareidolia face reenactment[C] //Proc of the 34th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2021: 2236−2245
[38] Pumarola A, Agudo A, Martinez A M, et al. GANimation: Anatomically-aware facial animation from a single image[C] //Proc of the 15th European Conf on Computer Vision (ECCV). Berlin: Springer, 2018: 818−833
[39] Tripathy S, Kannala J, Rahtu E. FACEGAN: Facial attribute controllable reenactment gan[C] //Proc of the 21st IEEE/CVF Winter Conf on Applications of Computer Vision. Piscataway, NJ: IEEE, 2021: 1329−1338
[40] Gu Kuangxiao, Zhou Yuqian, Huang T. FLNet: Landmark driven fetching and learning network for faithful talking facial animation synthesis[C] //Proc of the 34th AAAI Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2020: 10861−10868
[41] Xu Runze, Zhou Zhiming, Zhang Weinan, et al. Face transfer with generative adversarial network[J]. arXiv preprint, arXiv: 1710.06090, 2017
[42] Bansal A, Ma Shugao, Ramanan D, et al. RecycleGan: Unsupervised video retargeting[C] //Proc of the 15th European Conf on Computer Vision (ECCV). Berlin: Springer, 2018: 119−135
[43] Wu W, Zhang Yunxuan, Li Cheng, et al. ReenactGAN: Learning to reenact faces via boundary transfer[C] //Proc of the 15th European Conf on Computer Vision (ECCV). Berlin: Springer, 2018: 603−619
[44] Zhang Jiangning, Zeng Xianfang, Wang Mengmeng, et al. FReeNet: Multi-identity face reenactment[C] //Proc of the 33rd IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2020: 5326−5335
[45] Zhang Jiangning, Zeng Xianfang, Pan Yusu, et al. FaceSwapNet: Landmark guided many-to-many face reenactment[J]. arXiv preprint, arXiv: 1905.11805, 2019
[46] Tripathy S, Kannala J, Rahtu E. ICface: Interpretable and controllable face reenactment using GANs[C] //Proc of the 20th IEEE/CVF Winter Conf on Applications of Computer Vision. Piscataway, NJ: IEEE, 2020: 3385−3394
[47] Wiles O, Koepke A, Zisserman A. X2Face: A network for controlling face generation using images, audio, and pose codes[C] //Proc of the 15th European Conf on Computer Vision (ECCV). Berlin: Springer, 2018: 670−686
[48] Shen Yujun, Luo Ping, Yan Junjie, et al. Faceid-GAN: Learning a symmetry three-player GAN for identity-preserving face synthesis[C] //Proc of the 31st IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2018: 821−830
[49] Shen Yujun, Zhou Bolei, Luo Ping, et al. FaceFeat-GAN: A two-stage approach for identity-preserving face synthesis[J]. arXiv preprint, arXiv: 1812.01288, 2018
[50] Wang Tingchun, Liu Mingyu, Tao A, et al. Few-shot video-to-video synthesis[J]. arXiv preprint, arXiv: 1910.12713, 2019
[51] Zakharov E, Shysheya A, Burkov E, et al. Few-shot adver-sarial learning of realistic neural talking head models[C] //Proc of the 32nd IEEE/CVF Int Conf on Computer Vision. Piscataway, NJ: IEEE, 2019: 9459−9468
[52] Burkov E, Pasechnik I, Grigorev A, et al. Neural head reenactment with latent pose descriptors[C] //Proc of the 33rd IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2020: 13786−13795
[53] Ha S, Kersner M, Kim B, et al. MarioNETte: Few-shot face reenactment preserving identity of unseen targets[C] //Proc of the 34th AAAI Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2020: 10893−10900
[54] Hao Hanxiang, Baireddy S, Reibman A R, et al. Far-GAN for one-shot face reenactment[J]. arXiv preprint, arXiv: 2005.06402, 2020
[55] Fried O, Tewari A, Zollhofer M, et al. Text-based editing of talking-head video[J]. ACM Transactions on Graphics, 2019, 38(4): 68: 1−68: 14
[56] Kumar R, Sotelo J, Kumar K, et al. ObamaNet: Photo-realisticlip-sync from text[J]. arXiv preprint, arXiv: 1801.01442, 2017
[57] Sotelo J, Mehri S, Kumar K, et al. Char2wav: End-to-end speech synthesis[C] //Proc of the ICLR 2017 Workshop. 2017: 24−26
[58] Jamaludin A, Chung J S, Zisserman A. You said that?: Synthesising talking faces from audio[J]. International Journal of Computer Vision, 2019, 127(11): 1767−1779
[59] Vougioukas K, Petridis S, Pantic M. Realistic speech-driven facial animation with GANs[J]. International Journal of Computer Vision, 2020, 128(5): 1398−1413 doi: 10.1007/s11263-019-01251-8
[60] Suwajanakorn S, Seitz S M, Kemelmacher-shlizerman I. Synthesizing Obama: Learning lip sync from audio[J]. ACM Transactions on Graphics, 2017, 36(4): 95: 1−95: 13
[61] Chen Lele, Maddox R K, Duan Zhiyao, et al. Hierarchical cross-modal talking face generation with dynamic pixel-wise loss[C] //Proc of the 32nd IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2019: 7832−7841
[62] Zhou Hang, Liu Yu, Liu Ziwei, et al. Talking face generation by adversarially disentangled audio-visual representation[C] //Proc of the 33rd AAAI Conf on Artificial Intelligence. Palo Alto, CA: AAAI, 2019: 9299−9306
[63] Thies J, Elgharib M, Tewari A, et al. Neural voice puppetry: Audio-driven facial reenactment[C] //Proc of the 16th European Conf on Computer Vision (ECCV). Berlin: Springer, 2020: 716−731
[64] Hannun A, Case C, Casper J, et al. DeepSpeech: Scaling up end-to-end speech recognition[J]. arXiv preprint, arXiv: 1412.5567, 2014
[65] Karras T, Laine S, Aila T. A style-based generator architecture for generative adversarial networks[C] //Proc of the 32nd IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2019: 4401−4410
[66] Karras T, Laine S, Airtala M, et al. Analyzing and improving the image quality of StyleGAN[C] //Proc of the 33rd IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2020: 8110−8119
[67] Karras T, Aittala M, Laine S, et al. Alias-free generative adversarial networks[J]. arXiv preprint, arXiv: 2106.12423, 2021
[68] Choi Y, Choi M, Kim M, et al. StarGAN: Unified generative adversarial networks for multi-domain image-to-image translation[C] //Proc of the 31st IEEE Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2018: 8789−8797
[69] Choi Y, Uh Y, Yoo J, et al. StarGAN v2: Diverse image synthesis for multiple domains[C] //Proc of the 33rd IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2020: 8188−8197
[70] Sanchez E, Valstar M. Triple consistency loss for pairing distributions in GAN-based face synthesis[J]. arXiv preprint, arXiv: 1811.03492, 2018
[71] Kim D, Khan M A, Choo J. Not just compete, but collaborate: Local image-to-image translation via cooperative mask prediction[C] //Proc of the 34th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2021: 6509−6518
[72] Li Xinyang, Zhang Shengchuan, Hu Jie, et al. Image-to-image translation via hierarchical style disentanglement[C] //Proc of the 34th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2021: 8639−8648
[73] Aberman K, Shi Mingyi, Liao Jing, et al. Deep video-based performance cloning[J]. Computer Graphics Forum, 2019, 38(2): 219−233 doi: 10.1111/cgf.13632
[74] Chan C, Ginosar S, Zhou Tinghui, et al. Everybody Dance Now [C] //Proc of the 32nd IEEE/CVF Int Conf on Computer Vision. Piscataway, NJ: IEEE, 2019: 5933−5942
[75] Liu Lingjie, Xu Weipeng, Zollhofer M, et al. Neural rendering and reenactment of human actor videos[J]. ACM Transactions on Graphics, 2019, 38(5): 139: 1−139: 14
[76] Tokuda K, Nankaku Y, Toda T, et al. Speech synthesis based on hidden Markov models[J]. Proceedings of the IEEE, 2013, 101(5): 1234−1252 doi: 10.1109/JPROC.2013.2251852
[77] Oord A, Dieleman S, Zen H, et al. WaveNet: A generative model for raw audio[J]. arXiv preprint, arXiv: 1609.03499, 2016
[78] Wang Yuxuan, Skerry-ryan R, Stanton D, et al. Tacotron: A fully end-to-end text-to-speech synthesis model[J]. arXiv preprint, arXiv: 1703.10135, 2017
[79] Shen J, Pang Ruoming, Weiss R J, et al. Natural TTS synthesis by conditioning WaveNet on mel spectrogram predictions[C] //Proc of the 43rd IEEE Int Conf on Acoustics, Speech and Signal Processing(ICASSP). Piscataway, NJ: IEEE, 2018: 4779−4783
[80] Fu Ruibo, Tao Jianhua, Wen Zhengqi, et al. Focusing on attention: Prosody transfer and adaptative optimization strategy for multi-speaker end-to-end speech synthesis[C] //Proc of the 45th IEEE Int Conf on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2020: 6709−6713
[81] Kumar K, Kumar R, de Boissiere T, et al. MelGAN: Generative adversarial networks for conditional waveform synthesis[J]. arXiv preprint, arXiv: 1910.06711, 2019.
[82] Yang Geng, Yang Shan, Liu Kai, et al. Multi-band melgan: Faster waveform generation for high-quality text-to-speech[C] //Proc of the 8th IEEE Spoken Language Technology Workshop (SLT). Piscataway, NJ: IEEE, 2021: 492−498
[83] Kaneko T, Kameoka H. CycleGAN-VC: Non-parallel voice conversion using cycle-consistent adversarial networks[C] //Proc of the 27th European Signal Processing Conf (EUSIPCO). Piscataway, NJ: IEEE, 2018: 2100−2104
[84] Kaneko T, Kameoka H, Tanaka K, et al. CycleGAN-VC2: Improved cyclegan-based non-parallel voice conversion[C] //Proc of the 44th IEEE Int Conf on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2019: 6820−6824
[85] Kaneko T, Kameoka H, Tanaka K, et al. CycleGAN-VC3: Examining and improving CycleGAN-VCs for mel-spectrogram conversion[J]. arXiv preprint, arXiv: 2010.11672, 2020
[86] Kameoka H, Kaneko T, Tanaka K, et al. StarGAN-VC: Non-parallel many-to-many voice conversion using star generative adversarial networks[C] //Proc of the 7th IEEE Spoken Language Technology Workshop (SLT). Piscataway, NJ: IEEE, 2018: 266−273
[87] Kaneko T, Kameoka H, Tanaka K, et al. StarGAN-VC2: Rethinking conditional methods for StarGAN-based voice conversion[J]. arXiv preprint, arXiv: 1907.12279, 2019
[88] Liu Ruolan, Chen Xiao, Wen Xue. Voice conversion with transformer network[C] //Proc of the 45th IEEE Int Conf on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2020: 7759−7759
[89] Luong H T, Yamagishi J. Bootstrapping non-parallel voice conver-sion from speaker-adaptive text-to-speech[C] //Proc of the 16th IEEE Automatic Speech Recognition and Understanding Workshop (ASRU). Piscataway, NJ: IEEE, 2019: 200−207
[90] Zhang Mingyang, Zhou Yi, Zhao Li, et al. Transfer learning from speech synthesis to voice conversion with non-parallel training data[J]. IEEE/ACM Transactions on Audio, Speech, and Language Processing, 2021, 29(1): 1290−1302
[91] Huang Wenqin, Hayashi T, Wu Yiqiao, et al. Voice transformer network: Sequence-to-sequence voice conversion using transformer with text-to-speech pretraining[J]. arXiv preprint, arXiv: 1912.06813, 2019
[92] Matern F, Riess C, Stamminger M. Exploiting visual artifacts to expose deepfakes and face manipulations[C] //Proc of the 20th IEEE Winter Applications of Computer Vision Workshops (WACVW). Piscataway, NJ: IEEE, 2019: 83−92
[93] Zhou Peng, Han Xintong, Morariu V I, et al. Two-stream neural networks for tampered face detection[C] //Proc of the 30th IEEE Conf on Computer Vision and Pattern Recognition Workshops (CVPRW). Piscataway, NJ: IEEE, 2017: 1831−1839
[94] Nataraj L, Mohammed T M, Manjunath B, et al. Detecting GAN generated fake images using co-occurrence matrices[J]. Electronic Imaging, 2019 : 1−7
[95] Li Jiaming, Xie Hongtao, Li Jiahong, et al. Frequency-aware discriminative feature learning supervised by single-center loss for face forgery detection[C] //Proc of the 34th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2021: 6458−6467
[96] Luo Yuchen, Zhang Yong, Yan Junchi, et al. Generalizing face forgery detection with high-frequency features[C] //Proc of the 34th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2021: 16317−16326
[97] Shang Zhihua, Xie Hongtao, Zha Zhengjun, et al. PrrNet: Pixel-region relation network for face forger1y detection[J/OL]. Pattern Recognition, 2021, 116 [2021-10-15]. https://doi.org/10.1016/j.patcog.2021.107950
[98] Li Yuezun, Lyu Siwei. Exposing deepfake videos by detecting face warping artifacts[J]. arXiv preprint, arXiv: 1811.00656, 2018
[99] Li Lingzhi, Bao Jianmin, Zhang Ting, et al. Face x-ray for more general face forgery detection[C] //Proc of the 33rd IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2020: 5001−5010
[100] Li Xurong, Yu Kun, Ji Shouling, et al. Fighting against deepfake: Patch&pair convolutional neural networks (PPCNN)[C] //Proc of the 29th the Web Conf . New York: ACM, 2020: 88−89
[101] Nguyen H, Fang Fuming, Yamagishi J, et al. Multi-task learning for detecting and segmenting manipulated facial images and videos[J]. arXiv preprint, arXiv: 1906.06876, 2019
[102] Nirkin Y, Wolf L, Keller Y, et al. Deepfake detection based on the discrepancy between the face and its context[J]. arXiv preprint, arXiv: 2008.12262, 2020
[103] Amerini I, Caldelli R. Exploiting prediction error in consistencies through LSTM-based classifiers to detect deepfake videos[C] //Proc of the 8th ACM Workshop on Information Hiding and Multimedia Security. New York: ACM, 2020: 97−102
[104] Amerini I, Galteri L, Caldelli R, et al. Deepfake video detection through optical flow based CNN[C] //Proc of the 32nd IEEE/CVF Int Conf on Computer Vision Workshops. Piscataway, NJ: IEEE, 2019: 1205−1207
[105] Guera D, Delp E J. Deepfake video detection using recurrent neural networks[C/OL] //Proc of the 15th IEEE Int Conf on Advanced Video and Signal Based Surveillance (AVSS). Piscataway, NJ: IEEE, 2018 [2021-10-15]. https://doi.org/10.1109/AVSS.2018.8639163
[106] Sun Zekun, Han Yujie, Hua Zeyu, et al. Improving the efficiency and robustness of deepfakes detection through precise geometric features[C] //Proc of the 34th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2021: 3609−3618
[107] Sabir E, Cheng Jiaxin, Jaiswal A, et al. Recurrent convolutional strategies for face manipulation detection in videos[C] //Proc of the 32nd IEEE/CVF Conf on Computer Vision and Pattern Recognition Workshops. Piscataway, NJ: IEEE, 2019: 80−87
[108] Agarwal S, Farid H, Gu Yuming, et al. Protecting world leaders against deep fakes [C] //Proc of the 32nd IEEE/CVF Conf on Computer Vision and Pattern Recognition Workshops. Piscataway, NJ: IEEE, 2019: 38−45
[109] Agarwal S, Farid H, Fried O, et al. Detecting deep-fake videos from phoneme-viseme mismatches[C] //Proc of the 33rd IEEE/CVF Conf on Computer Vision and Pattern Recognition Workshops. Piscataway, NJ: IEEE, 2020: 660−661
[110] Yang Xin, Li Yuezun, Lyu Siwei. Exposing deep fakes using inconsistent head poses[C] //Proc of the 44th IEEE Int Conf on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2019: 8261−8265
[111] Ciftci U A, Demir I, Yin Lijun. FakeCatcher: Detection of synthetic portrait videos using biological signals[J/OL]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2020 [2021-10-15]. https://doi.org/10.1109/T PAMI.2020.3009287
[112] Fernandes S, Raj S, Ewetz R, et al. Detecting deepfake videos using attribution-based confidence metric[C] //Proc of the 33rd IEEE/CVF Conf on Computer Vision and Pattern Recognition Workshops. Piscataway, NJ: IEEE, 2020: 308−309
[113] Jha S, Raj S, Fernandes S, et al. Attribution-based confidence metric for deep neural networks[C] //Proc of the 32nd Int Conf on Neural Information Processing Systems. La Jolla, CA : NIPS, 2019: 11826−11837
[114] McCloskey S, Albright M. Detecting GAN-generated imagery using color cues[J]. arXiv preprint, arXiv: 1812.08247, 2018
[115] Guarnera L, Giudice O, Battiato S. Deepfake detection by analyzing convolutional traces[C] //Proc of the 33rd IEEE/CVF Conf on Computer Vision and Pattern Recognition Workshops. Piscataway, NJ: IEEE, 2020: 666−667.
[116] Qian Yuyang, Yin Guojun, Sheng Lu, et al. Thinking in frequency: Face forgery detection by mining frequency-aware clues[C] //Proc of the 16th European Conf on Computer Vision. Berlin: Springer, 2020: 86−103
[117] Masi I, Killekar A, Mascarenhas R M, et al. Two-branch recurrent network for isolating deepfakes in videos[C] //Proc of the 16th European Conf on Computer Vision. Berlin: Springer, 2020: 667−684
[118] Liu Honggu, Li Xiaodan, Zhou Wenbo, et al. Spatial-phase shallow learning: Rethinking face forgery detection in frequency domain[C] //Proc of the 34th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2021: 772−781
[119] Agarwal S, Farid H, EL-Gaaly T, et al. Detecting deepfake videos from appearance and behavior[C/OL] //Proc of the 12th IEEE Int Workshop on Information Forensics and Security (WIFS). Piscataway, NJ: IEEE, 2020 [2021-10-15]. https://doi.org/10.1109/WIFS49906.2020.9360904
[120] Wiles O, Koepke A, Zisserman A. Self-supervised learning of a facial attribute embedding from video[J]. arXiv preprint, arXiv: 1808.06882, 2018
[121] Cozzolino D, Rossler A, Thies J, et al. Id-reveal: Identity-aware deepfake video detection[J]. arXiv preprint, arXiv: 2012.02512, 2020
[122] Dong Xiaoyi, Bao Jianmin, Chen Dongdong, et al. Identity-driven deepfake detection[J]. arXiv preprint, arXiv: 2012.03930, 2020
[123] Jiang Jun, Wang Bo, Li Bing, et al. Practical face swapping detection based on identity spatial constraints[C] //Proc of the 7th IEEE Int Joint Conf on Biometrics (IJCB). Piscataway, NJ: IEEE, 2021: 1−8
[124] Lewis J K, Toubal I E, Chen Helen, et al. Deepfake video detection based on spatial, spectral, and temporal inconsistencies using multi-modal deep learning[C/OL] //Proc of the 49th IEEE Applied Imagery Pattern Recognition Workshop (AIPR). Piscataway, NJ: IEEE, 2020 [2021-10-15]. https://doi.org/10.1109/AIPR50011.2020.9425167
[125] Lomnitz M, Hampel-arias Z, Sandesara V, et al. Multimodal approach for deepfake detection[C/OL] //Proc of the 49th IEEE Applied Imagery Pattern Recognition Workshop (AIPR). Piscataway, NJ: IEEE, 2020 [2021-10-15]. https://doi.org/10.1109/AIPR50011.2020.9425192
[126] Ravanelli M, Bengio Y. Speaker recognition from raw waveform with SincNet[C] //Proc of the 7th IEEE Spoken Language Technology Workshop(SLT). Piscataway, NJ: IEEE, 2018: 1021−1028
[127] Mittal T, Bhattacharya U, Chandra R, et al. Emotions don’t lie: An audio-visual deepfake detection method using affective cues[C] //Proc of the 28th ACM Int Conf on Multimedia. New York: ACM, 2020: 2823−2832
[128] Hosler B, Salvi D, Murray A, et al. Do deepfakes feel emotions? A semantic approach to detecting deepfakes via emotional inconsistencies[C] //Proc of the 34th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2021: 1013−1022
[129] Afchar D, Nozick V, Yamagishi J, et al. MesoNet: A compact facial video forgery detection network[C/OL] //Proc of the 10th IEEE Int Workshop on Information Forensics and Security (WIFS). Piscataway, NJ: IEEE, 2018 [2021-10-15]. https://doi.org/10.1109/WIFS.2018.8630761
[130] Jain A, Singh R, Vatsa M. On detecting GANs and retouching based synthetic alterations[C/OL] //Proc of the 9th Int Conf on Biometrics Theory, Applications and Systems (BTAS). Piscataway, NJ: IEEE, 2018 [2021-10-15]. https://doi.org/10.1109/BTAS.2018.8698545
[131] Wang Run, Xu Juefei, Ma Lei, et al. FakeSpotter: A simple yet robust baseline for spotting ai-synthesized fake faces[J]. arXiv preprint, arXiv: 1909.06122, 2019
[132] Dang Hao, Liu Feng, Stehouwer J, et al. On the detection of digital face manipulation[C] //Proc of the 33rd IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2020: 5781−5790
[133] Hsu C C, Zhuang Yixiu, Lee C Y. Deep fake image detection based on pairwise learning[J/OL]. Applied Sciences, 2020 [2021-10-15]. https://doi.org/10.3390/app10010370
[134] Khalid H, Woo S S. Oc-fakedect: Classifying deepfakes using one-class variational autoencoder[C] //Proc of the 33rd IEEE/CVF Conf on Computer Vision and Pattern Recognition Workshops. Piscataway, NJ: IEEE, 2020: 656−657
[135] Rana M S, Sung A H. DeepfakeStack: A deep ensemble-based learning technique for deepfake detection[C] //Proc of the 7th IEEE Int Conf on Cyber Security and Cloud Computing(CSCloud)/IEEE Int Conf on Edge Computing and Scalable Cloud (EdgeCom). Piscataway, NJ: IEEE, 2020: 70−75
[136] Bonettini N, Cannas E D, Mandelli S, et al. Video face manipulation detection through ensemble of CNNs[C] //Proc of the 31st Int Conf on Pattern Recognition (ICPR). Piscataway, NJ: IEEE, 2021: 5012−5019
[137] Kim M, Tariq S, Woo S S. FReTal: Generalizing deepfake detection using knowledge distillation and representation learning[C] //Proc of the 34th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2021: 1001−1012
[138] Aneja S, Niessner M. Generalized zero and few-shot transfer for facial forgery detection[J]. arXiv preprint, arXiv: 2006.11863, 2020
[139] Wang Chengrui, Deng Weihong. Representative forgery mining for fake face detection[C] //Proc of the 34th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2021: 14923−14932
[140] Zhao Hanqing, Zhou Wenbo, Chen Dongdong, et al. Multi-attentional deepfake detection[C] //Proc of the 34th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2021: 2185−2194
[141] Kumar P, Vatsa M, Singh R. Detecting face2face facial reenactment in videos[C] //Proc of the 20th IEEE/CVF Winter Conf on Applications of Computer Vision. Piscataway, NJ: IEEE, 2020: 2589− 2597
[142] Jeon H, Bang Y, Woo S S. FdftNet: Facing off fake images using fake detection fine-tuning network[C] //Proc of the 35th IFIP Int Conf on ICT Systems Security and Privacy Protection. Berlin: Springer, 2020: 416−430
[143] Wang Shengyu, Wang O, Zhang R, et al. CNN-generated images are surprisingly easy to spot for now[C] //Proc of the 33rd IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2020: 8695−8704
[144] Liu Zhengzhe, Qi Xiaojuan, Torr P. Global texture enhancement for fake face detection in the wild[C] //Proc of the 33rd IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2020: 8060−8069
[145] Wodajo D, Atnafu S. Deepfake video detection using convolutional vision transformer[J]. arXiv preprint, arXiv: 2102.11126, 2021
[146] Wang Junke, Wu Zuxuan, Chen Jingjing, et al. M2tr: Multi-modal multi-scale transformers for deepfake detection[J]. arXiv preprint, arXiv: 2104.09770, 2021
[147] Heo Y, Choi Y, Lee Y, et al. Deepfake detection scheme based on vision transformer and distillation[J]. arXiv preprint, arXiv: 2104.01353, 2021
[148] Dolhansky B, Howes R, Pflaum B, et al. The deepfake detection challenge (DFDC) preview dataset[J]. arXiv preprint, arXiv: 1910.08854, 2019
[149] Li Yuezun, Yang Xin, Sun Pu, et al. Celeb-DF: A large-scale challenging dataset for deepfake forensics[C] //Proc of the 33rd IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2020: 3207−3216
[150] Ondyari. Deepfake detection (DFD) dataset [DB/OL]. 2018 [2021-10-15]. https://github.com/ondyari/FaceForensics
[151] Koeshunov P, Marcel S. Deepfakes: A new threat to face recognition? assessment and detection[J]. arXiv preprint, arXiv: 1812.08685, 2018
[152] Li Yuezun, Yang Xin, Sun Pu, et al. Celeb-DF (v2): A new dataset for deepfake forensics[J]. arXiv preprint, arXiv: 1909.12962, 2019
[153] Ruiz N, Bargal S A, Sclaroff S. Disrupting deepfakes: Adversarial attacks against conditional image translation networks and facial manipulation systems[C] //Proc of the 16th European Conf on Computer Vision. Berlin: Springer, 2020: 236−251
[154] Huang Qidong, Zhang Jie, Zhou Wenbo, et al. Initiative defense against facial manipulation[C] //Proc of the 35th AAAI Conf on Artificial Intelligence. New York: ACM, 2021: 1619−1627
[155] Dong Junhao, Xie Xiaohua. Visually maintained image disturbance against deepfake face swapping [C/OL] //Proc of the 22nd IEEE Int Conf on Multimedia and Expo (ICME). Piscataway, NJ: IEEE, 2021 [2021-10-15]. https://doi.org/10.1109/ICME51207.2021.9428173
[156] Neves J C, Tolosana R, Vera-rodriguez R, et al. Real or fake? Spoofing state-of-the-art face synthesis detection systems[J]. arXiv preprint, arXiv: 1911.05351, 2019
[157] Carlini N, Farid H. Evading deepfake-image detectors with white- and black-box attacks[C] //Proc of the 33rd IEEE/CVF Conf on Computer Vision and Pattern Recognition Workshops. Piscataway, NJ: IEEE, 2020: 658−659
[158] Hussain S, Neekhara P, Jere M, et al. Adversarial deepfakes: Evaluating vulnerability of deepfake detectors to adversarial examples [C] //Proc of the 21st IEEE/CVF Winter Conf on Applications of Computer Vision. Piscataway, NJ: IEEE, 2021: 3348− 3357
[159] Patel T B, Patil H A. Cochlear filter and instantaneous frequency based features for spoofed speech detection[J]. IEEE Journal of Selected Topics in Signal Processing, 2016, 11(4): 618−631
[160] Tom F, Jain M, Dey P. End-to-end audio replay attack detection using deep convolutional networks with attention.[C] //Proc of the 20th Interspeech. 2018 [2021-10-15]. https://www.isca-speech.org/archive_v0/Interspeech_2018/abstracts/2279.html
[161] Das R K, Yang Jichen, Li Haizhou. Assessing the scope of generalized counter-measures for anti-spoofing[C] //Proc of the 45th IEEE Int Conf on Acoustics, Speech and Signal Processing (ICASSP). Piscataway, NJ: IEEE, 2020: 6589−6593
[162] Lavrentyeva G, Novoselov S, Malykh E, et al. Audio replay attack detection with deep learning frameworks[C] //Proc of the 19th Interspeech. 2017 [2021-10-15]. https://www.isca-speech.org/archive_v0/Interspeech_2017/abstracts/0360.html
[163] Wu Xiang, He Ran, Sun Zhenan, et al. A light CNN for deep face representation with noisy labels[J]. IEEE Transactions on Information Forensics and Security, 2018, 13(11): 2884−2896 doi: 10.1109/TIFS.2018.2833032
[164] Lavrentyeva G, Novoselov S, Tseren A, et al. Stc anti-spoofing systems for the ASVspoof 2019 challenge[J]. arXiv preprint, arXiv: 1904.05576, 2019
[165] Cai Weicheng, Wu Haiwei, Cai Danwei, et al. The DKU replay detection system for the ASVspoof 2019 challenge: On data augmentation, feature representation, classification, and fusion[J]. arXiv preprint, arXiv: 1907.02663, 2019
[166] Lai C I, Chen Nanxin, Villalba J, et al. Assert: Anti-spoofing with squeeze-excitation and residual networks[J]. arXiv preprint, arXiv: 1904.01120, 2019
[167] Parasu P, Epps J, Sriskandaraja K, et al. Investigating light-resnet architecture for spoofing detection under mismatched conditions[C] // Proc of the 22nd Interspeech. 2020 [2021-10-15]. https://www.isca-speech.org/archive_v0/Interspeech_2020/abstracts/2039.html
[168] Ma Haoxin, Yi Jiangyan, Tao Jianhua, et al. Continual learning for fake audio detection[J]. arXiv preprint, arXiv: 2104.07286, 2021
[169] Li Zzhizhong, Hoiem D. Learning without forgetting[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2017, 40(12): 2935−2947
[170] Dolhansky B, Bitton J, Pflaum B, et al. The deepfake detection challenge (DFDC) dataset[J]. arXiv preprint, arXiv: 2006.07397, 2020
[171] Peng Bo, Fan Hongxing, Wang Wei, et al. DFGC 2021: A deepfake game competition[J]. arXiv preprint, arXiv: 2106.01217, 2021
[172] Zi Bojia, Chang Minghao, Chen Jingjing, et al. Wild Deepfake: A challenging real-world dataset for deepfake detection[C] //Proc of the 28th ACM Int Conf on Multimedia. New York: ACM, 2020: 2382−2390
[173] Jiang Liming, Li Ren, Wu W, et al. DeeperForensics-1.0: A large-scale dataset for real-world face forgery detection[C] //Proc of the 33rd IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2020: 2889−2898
[174] Fox G, Liu Wentao, Kim H, et al. Video ForensicsHQ: Detecting high-quality manipulated face videos[C/OL] //Proc of the 22nd IEEE Int Conf on Multimedia and Expo (ICME). Piscataway, NJ: IEEE, 2021 [2021-10-15]. https://doi.org/10.1109/ICME51207.2021.9428101
[175] Zhou Tianfei, Wang Wenguan, Liang Zhiyuan, et al. Face forensics in the wild[C] //Proc of the 34th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2021: 5778−5788
[176] He Yinan, Gan Bei, Chen Siyu, et al. ForgeryNet: A versatile benchmark for comprehensive forgery analysis[C] //Proc of the 34th IEEE/CVF Conf on Computer Vision and Pattern Recognition. Piscataway, NJ: IEEE, 2021: 4360−4369
[177] Khalid H, Tariq S, Woo S S. FakeAVCeleb: A novel audio-video multimodal deepfake dataset[J]. arXiv preprint, arXiv: 2108.05080, 2021
[178] University of Edinburgh, the Centre for Speech Technology Research (CSTR). ASVspoof 2015 database[DB/OL]. 2015 [2021-10-15]. https://datasha re.ed.ac.uk/handle/10283/853
[179] University of Edinburgh, the Centre for Speech Technology Research (CSTR). ASVspoof 2017 database [DB/OL]. 2017 [2021-10-15]. https://datashar e.ed.ac.uk/handle/10283/3055.
[180] University of Edinburgh, the Centre for Speech Technology Research (CSTR). ASVspoof 2019 database [DB/OL]. 2019 [2021-10-15]. https://datashar e.ed.ac.uk/handle/10283/3336.
[181] Krishnan P, Kovvuri R, Pang Guan, et al. Textstyle brush: Transfer of text aesthetics from a single example[J]. arXiv preprint, arXiv: 2106.08385, 2021
-
期刊类型引用(4)
1. 马良玉，程东炎，梁书源，耿妍竹，段新会. 基于LightGBM-VIF-MIC-SFS的风电机组故障诊断输入特征选择方法. 热力发电. 2024(01): 154-164 . 
百度学术
2. 王永兴，王彦坤. 基于改进蚁狮算法的智慧赋能工厂装配线任务分配优化. 自动化与仪器仪表. 2024(03): 167-170 . 百度学术
3. 韦修喜，彭茂松，黄华娟. 基于多策略改进蝴蝶优化算法的无线传感网络节点覆盖优化. 计算机应用. 2024(04): 1009-1017 . 百度学术
4. 刘艺，杨国利，郑奇斌，李翔，周杨森，陈德鹏. 无人系统数据融合流水线架构设计. 计算机应用. 2024(08): 2536-2543 . 百度学术
其他类型引用(3)
计量
- 文章访问数: 1284
- HTML全文浏览量: 147
- PDF下载量: 501
- 被引次数: 7
