《電子技術應用》
您所在的位置：首頁 > 人工智能 > 设计应用 > 基于Star-Gan的人脸互换算法
基于Star-Gan的人脸互换算法
《信息技术与网络安全》2020年第5期
易旭，白天
中国科学技术大学 软件学院
摘要： 基于Star-Gan的人脸互换算法易旭，白天(中国科学技术大学 软件学院，安徽 合肥 230026)基于深度学习的人脸互换算法会因背景人脸环境的明亮程度、人脸表情、姿势等因素影响换脸效果，现阶段的人脸互换模型存在固有的弊端。采用Patch-Gan(Generative Adversarial Networks)的判别器结构能通过全卷积网络增强人脸局部一致性的效果。生成器将Unet结构的编码器的特征输出作为输入，能考虑多层信息细节。整体模型架构采用Star-Gan的模型，引入实例归一化层能保证图像的独立性。最后在Face-Forensics++人脸互换数据集上进行验证，结果表明，融合的模型有较好的生成效果和细节。
中圖分類號：TP183 文獻標識碼：A DOI： 10.19358/j.issn.2096-5133.2020.05.003
引用格式：易旭，白天.基于Star-Gan的人臉互換算法［J］.信息技術與網絡安全，2020,39（5）：12-16.
Yi Xu，Bai Tian
School of Software Engineering,University of Science and Technology of China
Abstract： The effect of face swap algorithm based on deep learning will be affected by the brightness of the background face environment,facial expression,posture and other factors.There are inherent disadvantages in the current face swap models.The discriminator structure based on PatchGan can enhance the local consistency of human face through full convolution network.The generator takes the feature output of the Unet encoder as the input,and considers the multilayer information details.Among them,StarGan model is adopted as the overall model architecture,and case normalization layer is introduced to ensure the image independence.Finally,it is validated on FaceForensics++ face exchange data set.The results show that the optimized model has better generation effect and details.
Key words : deep learning;face swap;generative adversarial networks

隨著深度學習技術的興起，圖像處理相關的研究有了一項強有力的技術支持。人臉互換在圖像處理方面作為一個里程碑式的技術，意味著計算機能夠理解人臉圖像。如何通過對抗生成網絡實現人臉互換，提升生成效果是現如今計算機視覺的一大熱點。

對于傳統(tǒng)的方法Face-swap［1］，人臉互換只是把目標人臉截取，粘貼到原始人臉上面，使用圖像融合的相關算法（如泊松融合）消除邊界，后續(xù)的改進一般是在圖像融合方面進行突破。

近年來，隨著深度神經網絡技術的成熟，KORSHUNOVA I［2］提出基于深度學習的人臉互換，將兩個人臉的身份信息看成是兩個不同圖片風格，為一個目標人物訓練一個深度神經網絡提取人臉特征，換臉其實就是替換人臉的高維隱空間向量，而后再用訓練好的人臉生成器進行生成，這種方式要求同一身份大量的人臉數據，其訓練得到的模型只適用于這兩個身份。YUVAL N［3］提出先使用3DMM模型擬合人臉，再互換人臉，解決了需要大量同一身份人臉圖片的問題，但3DMM仍然有人臉匹配失敗的問題，最終導致模型出錯。NATSUME R［4-5］提出了FSnet和RSGAN,使用編碼器學習整體人臉的編碼，對所有的人臉只學習一個單一的人臉身份編碼器網絡，但由于輸出的編碼是一個高維的人臉身份向量，特征信息依然高度糾纏。

本文借鑒前人的思想，使用Star-Gan模型作為生成器，利用Arcface［6］身份編碼器提取人臉高維身份特征，針對人臉細節(jié)的生成，使用基于U-net［7］的人臉特征編碼器模型為多層級的輸入，解決人臉特征糾纏的問題，使用PatchGan的思想改造判別器網絡結構，引入實例歸一化層提升生成效果。



本文詳細內容請下載：http://m.ihrv.cn/resource/share/2000003093


作者信息：易旭，白天(中國科學技術大學 軟件學院，安徽 合肥 230026)

此內容為AET網站原創(chuàng)，未經授權禁止轉載。

相關內容