【TPAMI 2018: CNN-based Real-time Dense Face Reconstruction with Inverse-rendered Photo-realistic Face Images】

【作者】郭玉东，张举勇，蔡剑飞， 江博艺， 郑建民

【单位】中国科学技术大学，新加坡南洋理工大学

▍背景与问题

近年来，基于单目彩色相机与深度相机的三维人脸重建与跟踪是计算机图形学与计算机视觉领域中的一个研究热点，苹果公司在2018年底发布的ARKit SDK与带有深度传感器的iPhone X更是将这一热点推向了工业界。三维人脸重建在诸如人脸识别、人脸美化、人脸驱动、人脸替换、人脸编辑等方面有着广泛的应用。

针对这一问题，研究者们提出了大量基于单目视频或单张人脸图像的三维人脸重建方法。这些方法大致可以分为两类：基于优化的和基于学习的。基于优化的方法一 般需要求解一个或多个复杂的优化问题，因此非常耗时，而且一般需要关键点做输入，因此不能很好地处理大角度的情况。基于学习的方法一般需要大量的带标签的 人脸数据，一些研究者通过利用一些人脸三维统计化参数模型直接渲染生成人脸来生成数据，然而这样生成的数据不够真实，因此在真实数据上效果不够理想。

▍解决方案

本文利用深度学习来做实时三维人脸重建，包括重建姿态，纹理，光照和粗糙几何的CoarseNet以及重建精细几何的FineNet。为解决数据缺乏以及不够仿真这些难点，本文首先利用优化方法逆向渲染得到一些人脸图片的光照，几何以及纹理信息： 

利用这些信息，我们通过改变姿态以及表情系数然后重新渲染得到大量仿真数据来训练CoarseNet：

并且通过细节迁移构建大量带皱纹的仿真数据训练FineNet：

利用CoarseNet和FineNet，我们的方法可以实时重建姿态，纹理，光照和精细的几何信息：

▍实验结果

我们的方法可以做基于人脸视频和单张人脸图片的三维人脸重建：

由于多样化的数据增强和仿真渲染，我们的方法对于大角度，各种表情和皱纹等细节都很鲁棒： 

利用重建信息，我们可以实现实时人脸替换：

▍技术贡献

本文提出利用逆向渲染之后数据增强再渲染构建大量仿真人脸数据训练卷积网络来做基于视频或单张图片的实时精细三维人脸重建。实验表明，通过多样化的数据增强，我们的方法对大角度，各种表情以及皱纹等细节都很鲁棒。

▍论文发表

该项研究工作已被人工智能与机器学习领域顶级期刊IEEE Transactions on Pattern Analysis and Machine Intelligence (IEEE TPAMI) 收录。《IEEE Transactions on Pattern Analysis and Machine Intelligence》是人工智能、模式识别、图像处理、计算机视觉领域的顶尖国际期刊之一，2016-2017年度影响因子为8.329，属于JCR TOP期刊，是计算机科学与人工智能领域的5个一区刊物之一，堪称人工智能领域的“名人堂”。该杂志覆盖所有计算机视觉、图像理解、模式分析与识别等传统领域，以及部分机器智能领域，尤其强调模式分析的机器学习的前沿成果。

▍论文原文

Yudong Guo, Juyong Zhang, Jianfei Cai, Boyi Jiang, Jianmin Zheng. CNN-based Real-time Dense Face Reconstruction with Inverse-rendered Photo-realistic Face Images. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2018.

▍论文主页

http://staff.ustc.edu.cn/~juyong/publications.html

（本文来源：USTC计算几何实验室公众号；）

如若转载，请注明e科网。

如果你有好文章想发表or科研成果想展示推广，可以联系我们或免费注册拥有自己的主页