本文版权为《邮电设计技术》所有，如需转载请联系《邮电设计技术》编辑部
摘要：人脸伪造给网络安全带来了重大挑战。针对现有人脸鉴伪模型特征单一、准确率低的问题，提出了一种基于深度学习的多特征融合人脸鉴伪模型。该模型设计了不同特征提取模块，用以获取不同尺度的特征表示。并学习如何有效融合这些语义信息以准确判定是否伪造，从而显著提升模型的准确率和鲁棒性。最后在公开数据集FaceForensics++上进行大量实验验证。实验结果显示，与现有方法相比，设计的模型有明显的性能提升。
关键词：人脸鉴伪；特征融合；深度学习；FaceForensics++数据集
doi：10.12045/j.issn.1007-3043.2024.08.012
概述
随着生成对抗网络（Generative Adversarial Networks，GAN）的快速发展，人脸深度伪造技术取得了巨大的进步，生成的图像逼真，令人难以分辨。为了区分真伪，相关科研人员努力探索各种检测人脸伪造的方法。早期相关技术主要依赖于手工提取各种特征进行伪造检测，导致模型准确率低且泛化能力和鲁棒性受到了限制。因此，基于深度学习（DeepLearning，DL）的相关人脸鉴伪方法成为了近年来的主要研究方向。同时这个领域也涌现出了一系列的人脸鉴伪方法。例如Afchar等人提出的一种紧凑型面部视频伪造检测网络，通过提取一组有效的面部微表情、质地等特征，从而区分真实视频和伪造视频。Liu等人提出了一种全局纹理增强方法，用于野外环境下的人脸检测，通过增强图像的全局纹理信息，提高了人脸检测系统对伪造人脸的敏感性，从而提升检测的准确性和鲁棒性。Chen等人提出了一种将频域信息与RGB信息相结合的检测方法，通过离散余弦变换过滤低频特征并保留高频特征，同时结合图像中提取的低层、中间层和高层卷积特征，将2种不同模态的信息进行融合，从而提高模型的鲁棒性。杨挺等人提出了基于改进三元组损失的伪造人脸视频检测方法，通过改进传统的三元组损失函数，更好地引导模型学习到有效的特征表示，从而提高检测效果。Coccomini等人提出了一种基于Transformer的伪造检测方法，将视觉Transformer与卷积特征提取器结合起来，利用EfficientNet B0 作为特征提取器与Vision Transformers相结合，从而实现了对视频中深度伪造的检测。尽管目前的研究算法已经在人脸鉴伪方向取得了一些成绩，但仍然存在一些挑战。为了克服这些挑战，并进一步提高人脸鉴伪系统的性能，本文提出了一种基于深度学习的多特征融合人脸鉴伪模型，旨在克服传统方法中存在的局限性，并提高人脸鉴伪系统的性能。该模型通过融合多种特征信息，包括图像外观、纹理等方面的特征，构建了一个更加全面和准确的人脸鉴伪模型。与单一特征的方法相比，多特征融合能够提供更多的信息，增强了系统对真实和伪造人脸的区分能力。
