目录
摘 要 I
ABSTRACT II
第一章 绪论 1
1.1 选题背景与意义 1
1.2 国内外文献综述 1
1.2.1 深度伪造技术 1
1.2.2 深度伪造检测技术 2
1.3 研究内容 3
第二章 材料与方法 5
2.1 数据集与工具箱 5
2.1.1 FaceForensics++数据集 5
2.1.2 VoxCeleb2数据集 5
2.1.3 OpenFace2.0工具箱 5
2.2 基于手工提取特征的视频取证算法研究 5
2.2.1 面部跟踪与特征提取 6
2.2.2 基于手工提取特征的检测模型 7
2.3 基于深度特征的视频取证算法研究 9
2.3.1 行为网络(BehaviorNet) 9
2.3.2 样貌网络(AppearanceNet) 10
2.3.3 基于深度特征的检测模型 11
2.3.4 消融实验 11
第三章 结果与分析 12
3.1 基于手工提取特征的实验结果 12
3.2 基于深度特征的实验结果 12
3.2.1 参考集和测试集的划分 12
3.2.2 模型搭建与结果分析 13
3.2.3 消融实验 13
第四章 结论与展望 16
4.1 结论 16
4.2 展望 16
参考文献 18
附 录 23
1 基于手工提取特征的检测模型 23
1.1 手工特征的提取 23
1.2 基于SVM的检测模型 25
1.3 基于LAD、KNN、Random Forest、Naive Bayes的检测模型 28
2 利用OpenFace2.0工具箱处理数据集 30
3 基于深度特征的检测模型 30
3.1 Behavior特征的提取 30
3.2 Appearance特征的提取 *51今日免费论文网|www.51jrft.com +Q: ￥351916072$ 
37
3.3 标签预测 39
3.4 规则判断 41
致 谢 44
基于人脸行为特征的视频取证算法研究
摘 要
针对基于深度伪造技术的换脸视频混淆社会身份，扰乱社会秩序等问题，本文提出一种基于人脸行为特征的视频取证算法。首先将FaceForensics++数据集统一帧速，划分为4秒的视频块。通过面部跟踪技术，提取每个视频块中人物面部表情和头部运动相关的190个手工特征，分别利用SVM、LDA、KNN、Random Forest、Naive Bayes构建基于手工特征的深度伪造视频检测模型。结果显示SVM效果最好，准确率为83%，并且发现对Face2Face伪造的鉴别效果最好，对NeuralTextures的鉴别效果最差。为了涵盖更多能够区分真伪视频的特征，建立基于深度特征的伪造视频检测模型。首先利用OpenFace2.0特征构建基于MultiSimilarity Loss和Resnet101的BehaviorNet，将网络最后一层全连接层作为输出得到Behavior特征。然后通过OpenFace2.0工具箱提取人脸图像，并自动对齐与缩放。利用提取好的人脸图像构建基于VGG16的AppearanceNet，将网络最后一层作为输出得到Appearance特征。对Behavior特征和Appearance特征进行规则判断，得到的检测精度为96.73%。最后进行消融实验与分析，验证模型有效性的同时，提取75个刚性和非刚性形状参数以及面部动作单元相关的特征建立基于深度特征的检测模型，精度提升到99.13%，且优于手工特征。研究表明基于人脸行为特征进行深度伪造视频取证是可行的。

原文链接：http://www.jxszl.com/dzxx/dzdq/609039.html