1  研究背景
近年来，AIGC（AI Generated Content）技术已经成为人工智能技术新的增长点。2023年，AIGC开启了人机共生的时代，特别是ChatGPT的成功，使得社会对AIGC的应用前景充满了期待。但AIGC在使用中也存在着诸多的风险隐患，主要表现在：利用AI生成不存在的虚假内容或篡改现有的真实内容已经达到了以假乱真的效果，这降低了人们对于虚假信息的判断力。例如，2020年，MIT利用深度伪造技术制作并发布了一段美国总统宣布登月计划失败的视频，视频中语音和面部表情都高度还原了尼克松的真实特征，成功地实现了对非专业人士的欺骗。人有判断力，但AI没有，AI 生成的内容完全取决于使用者对它的引导。如果使用者在使用这项技术的过程中做了恶意诱导，那么AI所生成的如暴力、极端仇恨等这样有风险的内容会给我们带来很大的隐患。因此，对相关生成技术及其检测技术的研究成为信息安全领域新的研究内容。
本文以A I G C在图片生成方面的生成技术为目标，分析现有的以生成对抗网络（G e n e r a t i v e Adversarial Network，GAN）为技术基础的人脸生成技术。在理解GAN的基本原理的同时，致力于对现有的人像生成技术体系和主要技术方法进行阐述。对于当前人脸伪造检测的主流技术进行综述，并根据实验的结果分析检测技术存在的问题和研究的方向。
2  GAN的基本原理
GAN由Goodfellow等人[1]于2014年首次提出。
生成对抗网络人脸生成及其检测技术研究
吴春生，佟  晖，范晓明
正则化目的
（北京警察学院，北京  102202）
摘要：随着AIGC的突破性进展，内容生成技术成为社会关注的热点。文章重点分析基于GAN的人脸生成技术及其检测方法。首先介绍GAN的原理和基本架构，然后阐述GAN在人脸生成方面的技术模式。重点对基于GAN在人脸语义生成方面的技术框架进行了综述，包括人脸语义生成发展、人脸语义生成的GAN实现。接着从多视图姿态生成、面部年龄改写、人脸的属性风格生成三个方面展开详细的阐述，并从政策法规、检测技术两个方面对伪造生成人脸图片的检测方法进行了分析。文中将检测技术分成基于深度学习、基于物理、基于生理学、基于人类视觉四个方面，最后对检测技术未来方向进行了展望。
关键词：GAN；深度伪造；人脸生成；生成检测；AIGC
doi：10.3969/J.ISSN.1672-7274.2023.07.008
中图分类号：TP3              文献标志码：A              文章编码：1672-7274（2023）07-0028-06
Overview of Research on Face Generation and Detection Techniques in
Generation Countermeasures Networks
WU Chunsheng, TONG Hui, FAN Xiaoming
(Beijing Police Academy, Beijing 102202, China)
Abstract: With the breakthrough development of AIGC, content generation technology has become a hot topic of social concern. This article focuses on GAN based face generation technology and its detection methods. Firstly, the principle and basic architecture of GAN are introduced, and then the technical model of GAN in face generation is described. The technical framework of facial semantic generation based on GAN is reviewed and analyzed, including the development of facial semantic generation and the implementation of GAN for facial semantic generation. Specifically, it elaborates on three aspects: multi view pose generation, facial age rewriting, and facial attribute style generation. This article systematically describes the detection methods for generating fake face images from two aspects: policies, regulations, and detection technology. In this paper, detection technology is divided into four aspects: based on deep learning, based on physics, based on physiology, and based on human vision, and the future direction of detection technology is prospected.
Key words: GAN; deep forgery; face generation; generation detection; AIGC
作者简介：吴春生（1976-），男，北京人，教授，博士，研究方向为计算机应用、信息安全。
技术研究
生成对抗网络在很多领域上证明了其强大的性能，特别是在人脸生成[2-3]和人脸属性编辑[4-5]方面。由于GAN 开创性地使用判别器来测量生成数据和真实数据之间的差距，使得生成的数据质量明显优于以往的神经网络，从而使其在计算机视觉领域取得巨大进步。根据GAN 模型对人脸图像的生成方式，将GAN 模型主要分为条件GAN （conditional GAN ）和非条件GAN （unconditional GAN ）。条件GAN 适用于人脸属性编辑，非条件GAN 适用于人脸生成，基本架构示例见图1。对于非条件GAN 还可以再进一步细分为渐进式GAN 、可控式GAN 和其他
GAN ，其中可控式GAN 示例见图2。
及各种属性的人脸，包括各种不同姿势、面部表情、年
龄和风格。本文通过对近5年内相关技术文献的搜索，分析和比较过去几年发布的最先进的GAN 架构。
3  基于GAN的人脸语义生成
3.1 人脸语义生成发展
GAN 在人脸生成领域的应用已成为近年来研究的热点，这也是本文所关注的重点领域。基于GAN 架构
强大的学习功能，
已经出现了多种人脸生成的GAN
模型。几年来人脸生成GAN 取得了重要进展，已经从低分辨率的不可控人脸生成发展到特定语义的照片级真实人脸生成。这一进展又可以表现在多个方面，目前主流的研究侧重于基于输出目标语义的改进GAN 模型，主要是姿势、面部表情、风格、年龄和视频等。为此，基于条件的GAN 架构被提出并得到了广泛的使用。在条件GAN 中进一步引入了额外的损失值，以使条件GAN 在不同变化的训练中保持稳
定性，同时能够调整面部细节和消除缺陷。在本节中，首先通过图片来展示各类GAN 随时间的进展情况；其次汇总GAN 体系结构的改进情况；然后研究在不同属性模式下生成人脸的面部模型的进展；最后逐个对语义生成GAN 的进展进行了分析。近年来的各类主要GAN 模型见图3。
（b）非条件GAN
图1 GAN生成人脸的基本架构
图2 可控式GAN示例——Style-GAN
图3 人脸生成GAN的各阶段模型汇总
（a）条件GAN
GAN 的产生改变了人脸图像的研究格局，使得过
去由于数据量限制而无法深入的人脸识别领域的研究不再成为难以涉足之处。文献[6-7]显示，将生成的数据添加到小型数据库中可以提高15%的性能。近来年，GAN 的应用研究不再局限于数据的扩展，还能够对面部图像进行预处理操作，特别是去模糊和修复。此外，GAN 架构已经得到了重要的改进，不仅能够生成不可控的人脸，还能够生成静态和动态的2D 和3D 人脸，以
GAN 架构已经得到了很大的改进，以应对与分辨
率和理想性相关的挑战。OG-GAN 的第一个架构[1]由全连接层组成，其生成人脸的能力有限且灰度不可控。随后卷积层在OG-GAN [8]中的应用改善了对更为客观的面部特征的学习。随着条件GAN 架构的出现，GAN 能够通过在生成器和鉴别器的输入中注入相应的代码来学习如姿态等不同风格特征的面部生成规律。此外，可控架构GAN 的引入使得可以更为流畅地对面部属性的修改进行控制[9]。组合架构的出现[10]使
得两个以上的变量能够并行地共同促进人脸的生成。渐进GAN 模型[11]采用金字塔结构进行人脸特征的渐进式学习，从而生成更高分辨率的人脸。此外，最近的一些研究[12-13]通过解释不同面部风格之间的
分离边界来操纵两个或多个面部属性并控制变化强度。近年来，出现了特定的改写人脸属性语义风格的GAN ，其架构被建模为关注一个或多个联合的人脸属性语义。图4呈现了通过GAN 进行改写生成的不同面部属性示例。众多不同的模型分别侧重于某些特定的属性生成改写，例如，Age-cGAN 可进行年龄的改写，CAPG-GAN 用于开展多视角的头部姿态生成，StyleGAN 、StyleGAN2专用于进行各种面部风格的生成及改写。
鉴别器，以增强合成任意姿态图像的真实性。CAPG-GAN 使用生成器、条件对抗损失和固有特征损失的加权以及全部变量的正则化来合成具有真实感的人脸，在保持原有身份的同时得到所需的姿态信息。
3.2.2 面部年龄改写
其包括人脸图像老化和人脸图像年轻化两个
方面。Age -cGA N （Age condit ional Generat ive
Adversarial Network ）[18]
可在保持原始身份的同时合成老化的面孔。Yang 等人[19]提出了基于楔形对抗判别器的年龄转换GAN 。该方法在保持个性特征稳定的前提下，以一种简洁的方式渐进地学习对老化效果的模拟。CAAE （Conditional Adversarial Auto-Encoder ）模型[20]在一个架构中实现了面部年龄的老
化和年轻化。首先通过卷积编码器将人脸映射到特征向量，然后通过反卷积生成器将其投影到基于年龄条件的人脸模板中。通过投影特征向量展现个性化的面部特征，而模板则维持其现有的年龄条件。Liu 等人[21]介绍了一种基于小波GAN 的属性感知人脸老化模型，用于老化人脸图像的生成。面部属性向量被嵌入到生成器和判别器中，以学习在生成的图像中保存输入图像的面部属性。该方法在多尺度上引入小波包变换来提取特征，从而提高生成的人脸图像的视觉逼真度。Dual-cGAN （Dual conditional
GAN ）[22]
实现使用大量人脸图像以无监督方式开展人脸的老化和年轻化生成训练。原始的条件GAN 基于年龄条件将面部图像转换到其他年龄，而双重条件GAN 则学习对任务的反转。Zhao 等人[23]提出了AIM （proposed Age-Invariant Model ）模型，该模型从基于自动编码器的生成对抗网络扩展而来。该模型学习生成与年龄变化无关的面部特征，使得在进行面部老化和年轻化的同时保持身份不变。
3.2.3 人脸的属性风格生成
人脸属性的风格化生成种类繁多，如头发颜、是否佩戴眼镜。Style-GAN [24]可实现无监督的对高级属性的提取，如姿态、身份特征以及生成图像（如头发）中的随机特征。StyleGAN2[25]通过对分布质量和图像质量的度量改进了非条件GAN 的图像建模方法。Bhattarai 等人[26]提出了基于无监督的面部图像语义转换生成网络（STGAN ）。Collins 等人[27]提出了一种用于Style-GAN 生成图像中局部语义部
分编辑的模型。Guan 等人[28]提出了一个基于无监督的实时Style-GAN 语义图像编辑应用的协作学习框架，这个更快的Style GAN
由一个自适应嵌入网络和一个基
（a）头部姿态生成
（b）面部风格改写
（c）年龄改写
图4 人脸属性语义改写示例
3.2 人脸语义生成的GAN实现
3.2.1 多视图姿势生成
DR-GAN （Disentangled Representation learning
Generative Adversarial Network ）模型[14-15]构建了生成器的编码器-解码器结构，对图像的生成和判别结果进行自动学习，并可进行图像合成。DR-GAN 将一个或多个图像作为输入。提供给解码器的姿势码和鉴别器中的姿势估计明确地将姿势特征与其他的面部属性变量区分开来。解码器使用任意数量的合成图像生成一个统一的人脸图像。Zeno 等人[16]介绍了一种姿态面部增强框架（PFA-GA N ），该框架由两个子路径组成。用于生成具有所述目标姿态的面部图像的重建子路径和用于合成所述目标面部同时保持所述对象身份的变换子路径。Hu 等人[17]提出了CAPG-GAN （Couple-Agent Pose-Guided Generative Adversarial Network ）模型，用于生成正面和侧面头部姿态图像。头部姿态信息通过面部标记热图进行编码。除了编码器-解码器网络，还引入了一个耦合代理
技术研究
于优化的迭代器组成。
目前有大量的使用GAN生成混合风格人脸的研究在开展。这相当于同时修改与所需风格相对应的两个或多个面部属性。Shen等人[29]通过解释GAN学习的潜在语义，提出了一个名为Interface-GAN的框架，用于面部语义编辑。Interface-GAN通过子空间投影方法来分离不同的语义，以增强对面部属性生成的控制程度。Choi[30]提出了Star-GAN，即可缩放图像转图像多任务模型。Star-GAN通过从具有不同标签的多个数据集学习来获得泛化能力。Voynov[31]提出了可在GAN潜空间中提取有用语义方向的第一种无监督方法，该方法可普遍应用于预训练生成器。Ic-GAN （Invertible conditional-GAN）[32]将编码器引入GAN 模型的条件设置。Ic-GAN是CGAN的一个扩展，它逆向地将真实图像映射到GAN的潜空间和条件表达中。He等人[33]提出了称为Att-GAN的面部属性编辑方法，该方法结合了属性分类约束、重建学习和对抗性学习，用于实现高质量的面部属性编辑。
4  伪造生成人脸图片的检测方法
专用于伪造数据的生成技术也称为深度伪造技术，已经逐渐对社会安全、网络空间安全造成了重大威胁。例如，GAN生成的人脸可以很容易地用于创建虚假的社交媒体账户，用于恶意目的，引起严重的社会关注。虚假社交媒体账户使用GAN人脸作为官方图像，也会产生严重的负面社会影响。为了有效地预防和打击利用深度伪造技术进行各类潜在的违法犯罪活动，主要从两个层面开展工作：一是从政策层面制定相关的政策法规，二是研究相应的检测技术。4.1 相关政策法规
2019年11月，国家网信办、文旅部和广电总局等三个部门联合发布了《网络音视频信息服务管理规定》，其中明确了利用基于深度学习、虚拟现实等的新技术新应用制作、发布、传播非真实音视频信息的，应当以显著方式予以标识，且不得利用该技术“制作、发布、传播虚假信息”。此外，规定还强调，不得利用相关的音视频技术“侵害他人名誉权、肖像权、隐私权、知识产权和其他合法权益”。2022年11月，国家网信办、工信部、公安部联合发布了《互联网信息服务深度合成管理规定》，明确了生成合成类算法治理的对象，确立了深度合成算法治理的基本原则，为深度合成技术安全可靠发展指明了方向，为技术的服务应用提供了指引和规范。4.2 生成人脸的检测技术
对GA N生成人脸的自动检测是一种全新的技术需求。通常面临两大挑战。首先，一种准确灵活的GAN人脸检测方法应该能够在各种GAN模型生成的人脸图像中发现变化的痕迹，同时保持对抗的鲁棒性。其次，分析过程和检测结果应可解释，而不是仅通过无法形象理解的技术环节进行分析。我们将现有的GAN生成人脸检测技术分为四类。虽然不同类别方法之间有相似之处，但我们主要通过技术的关键点来进行区分。
4.2.1 基于深度学习的方法
基于深度学习的GAN生成人脸检测方法主要是提取图像信息特征，在端到端学习框架中通过训练DNN分类器，以实现对真假人脸的区分。
2018年，Do[34]使用VGG-Net开展了人脸检测工作。该网络使用CelebA数据集[35]训练网络，并使用DC-GAN和PG-GAN生成假人脸，其中VGG-16架构与VGG人脸的预训练权重一起使用[36]。Mo[37]发现残差场中的信号可以作为区分真假人脸的有效特征。Li[38]通过分析颜成分来识别GAN人脸。首先提取彩图像的统计特征，然后使用这些特征来训练GAN 人脸分类器。类似的，Chen[39]发现亮度和度的有效利用都有助于提高检测性能。最近，Fu[40]使用双通道CNN来减少图像后处理操作带来的影响。使用深层CNN提取预处理图像的特征，而浅层CNN从原始图像的高频分量中提取特征。
基于深度学习的方法在GAN人脸检测上取得了显著的效果。然而，所有上述方法都不能提供可解释的结果，而是将决策过程解释为黑箱。人们更想知道推理的过程而不仅仅是最终结果。例如，“这张图片看起来像我认识的人，如果人工智能算法告诉我它是假的还是真的，那么依据是什么，我是否应该相信？”
4.2.2 基于物理的方法
基于物理的方法是通过寻面部和背景之间的反常之处来识别GAN面部，例如光线投射中的照明和反射情况。
Matern[41]根据GAN生成人脸的眼睛中的镜面反射缺失或呈现为简单的白斑点的结果，检测出了较早期的GAN生成人脸。然而，这种情况在最近的人脸生成（如StyleGAN2）中得到了修正。Hu[42]提出了根据两只眼睛之间的不一致性识别GA N生成人脸的方法。具体方法是对眼角膜上的亮点进行检测并对齐，
进行像素级比较，如果是真实图像，这些亮点应具有相似性。
基于物理的检测方法对于对抗攻击更具鲁棒性，
预测结果可为用户提供直观的解释。
4.2.3 基于生理学的方法
基于生理学的方法研究人脸的语义特征，包括对称性、虹膜颜、瞳孔形状等信息，当出现反常信息（称为伪影）时则说明该人脸可能为伪造。
GA N生成的人脸中存在此类伪影的一个根本原因是生成模型对于人眼解剖结构无法真实模拟。Guo[43]提出检测方法，首先检测、定位眼睛并分割瞳孔区域，接下来将瞳孔边界用椭圆模型进行相似拟合，然后将计算提取的瞳孔和提取的椭圆边界之间的误差用于估计瞳孔的“圆度”。
基于生理学的方法具有更强的可解释性。然而，与其他法庭科学方法一样，环境限制（如遮挡和眼睛在面部图像中的可见性）仍然是一个主要因素。如何利用端到端学习的优势来改进模型训练，仍然是一个待解决的问题。
4.2.4 基于人类视觉的方法
尽管已经开发了许多自动的生成人脸检测算法，但人类通过自身视觉识别和发现伪造人脸的能力尚未被充分研究。与图像识别等其他AI问题相比，GAN 生成人脸检测对人眼来说是一个更具挑战性的问题。因此，研究人眼如何识别GAN生成人脸以及相关的社会影响和伦理问题非常重要。
ROC分析和召回准确性被作为评估自动算法在检测GAN人脸方面的有效性的标准度量。虽然这些指标也可用于研究人类的视觉判别能力，但它们往往并不直接适用。人类的视觉感知能力往往具有很大程度的偏差，如果加以适当的方向性引导则识别假脸的能力会大大提高。
总之，对人类视觉表现的研究对于研究检测技术以及更好地理解GAN生成人脸的缺陷是非常有用的。
4.3 GAN生成人脸检测技术发展方向
4.3.1 与GAN的对抗
尽管现有的GAN模型由于各种缺陷还无法生成完美的假脸，但更强大的GAN模型正在开发中。我们预计，现有的GAN生成人脸的缺陷（例如，不一致的角膜亮点、不规则的瞳孔形状等）可以通过纳入相关约束被后来的GAN模型克服。更强大的深度神经网络架构、训练技巧和更大的训练数据将带来更先进的GAN模型。例如，最新的StyleGAN3[44]对StyleGAN2的所有信号处理方面进行了全面改造，以改进生成人脸的纹理和3D形态。研究针对最新GAN生成人脸的有效检测方法的需求始终存在。4.3.2 良好的可解释的方法
许多人脸检测方法的一个关键缺点是它们不能提供结果的可解释性。广泛使用的注意力机制方法[45]不能对预测结果进行解释。尽管关注热图突出显示了网络预测的像素，但该机制无法解释为什么选择这些像素以提高性能。如何更好地开发一种端到端机制，用于有效地利用年龄和生理线索进行人脸检测，仍然是一个开放的研究问题。
4.3.3 对抗攻击的鲁棒性
DN N容易受到对抗性攻击的弱点成为此类检测技术的缺陷。目前反取证技术专注对人脸检测器的攻击。已经出现了通过对抗性干扰规避伪造检测的反取证方法，如文献[46]所述。这些对抗检测器的方法通常会产生对抗性扰动，经常会影响到整个图像，这又成为检测器感知此种对抗扰动的依据。Liao[47]引入了一种称为Key Region Attack的稀疏矩阵攻击方法，使得对抗性扰动只出现在关键区域，人类很难分辨。因此，未来的生成人脸检测方法需要谨慎应对对手的对抗攻击。
5  结束语
本文主要对基于GAN的人脸生成及其检测方法进行了较为全面的综述。从多个角度介绍了当前世界上的主流模型，提供了主要方法思路。尽管GAN生成人脸的检测方法最近取得了显著进展，但仍有很大的改进空间。在实际环境中对生成人脸进行检测仍然具有挑战性，需求很高。扩展开来，随着数字技术的开源开放，AIGC技术研发门槛、制作成本等不断降低，致使互联网内容生态更加鱼龙混杂，泥沙俱下。在
ChatGPT走红掀起的新一轮AIGC浪潮中，内容审核也应被推向新的技术高度。■
参考文献
[1] Goodfellow I, Pouget-Abadie J, Mirza M, et al. Generative adversarial
networks[J]. Communications of the ACM, 2020, 63(11):139-144.
[2] Mahla Abdolahnejad and Peter Xiaoping Liu.Deep learning for face image
synthesis and semantic manipulations: a review and future perspectives[J].
Artiicial Intelligence Review, 2020, 53(8):5847-5880.
[3] Joachim D Curtó, Irene C Zarza,Fernando De La Torre. High-resolution deep
convolutional generative adversarial networks[C]. CVPRW, 2017: 1905-1914. [4] Gauthier J. Conditional generative adversarial nets for convolutional face
generation[J]. convolutional neural networks for visual recognition, Winter semester, 2014, 2014(5): 2-10.
[5] Shuyang Gu, Jianmin Bao, Hao Yang.Mask-guided portrait editing with
conditional gans[C].In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition, 2019: 3436-3445.

版权声明：本站内容均来自互联网，仅供演示用，请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系QQ:729038198，我们将在24小时内删除。