单幅图像人脸三维重建综述

1.概念：人脸3D重建是指从一张或多张2D图像中重建出人脸的3D模型。
可以用这样一个表达式来建模3D人脸模型：M = （S,T）

其中：S表示人脸3D坐标形状向量（shape-vector）
T表示对应点的文理信息向量（texture-vector）

2D的人脸图片可以看作是3D人脸在2D平面上的一个投影，所以3D人脸重建就是从2D图片中计算出M的估计。
2.重建方法分类:
20年来，基于 2D人脸图像到3D人脸重建方法很多，大致分类如下
⑴传统3D人脸重建方法，大多是立足于图像信息，如基于图像亮度、边缘信息、线性透视、颜色、相对高度、视差等等一种或多种信息建模技术进行3D人脸重建。
⑵基于模型的3D人脸重建方法，是目前较为流行的3D人脸重建方法；3D模型主要用三角网格或点云来表示，现下流行的模型有通用人脸模型（CANDIDE-3）和三维变形模型（3DMM）及其变种模型，基于它们的3D人脸重建算法既有传统算法也有深度学习算法。
⑶端到端3D人脸重建方法，是近年新起的方法；它们绕开了人脸模型，设计自己的3D人脸表示方法，采用CNN结构进行直接回归，端到端地重建3D人脸。

传统最经典的基于二维图像的三维重建方法中最经典的一种是阴影重建算法（SFS），被用于3D人脸重建，后来有一系列的优化和改进。（RJ Woodham在1980年首次利用PS(photometric stereo)重建三维模型，PS的理论依据是物体表面反射光的强度与物体的表面与光的夹角以及观察的位置相关，利用不小于三张视角固定且光照不同的图像来恢复形状和反射率[8]。SFS(shape-from-shading)是PS的特例。与传统PS的区别是，SFS可以从一张图像重建三维模型，由Horn在1989年提出）
为了得到人脸的通用模型，通常有三种方法：第一种方法是采用三维扫描仪获取数据，此方法采集精度高但设备价格昂贵；第二种方法是采用计算机图形技术创建人脸；第三种是利用一些商业的建模软件生成人脸通用模型，目前在市场上比较著名的人头模型生成商业软件有FaceGen Modeller，3D Max 和Poser7.0 等等。
（在众多通用人脸模型中，CANDIDE-3模型是目前被学术界广泛使用的一种通用模型，其符合MPEG-4标准中对人脸的定义。CANDIDE-3模型总共有113个顶点，168个面组成，可以通过对这些点和面的操作调节形成特定的人脸，）
通用模型重建法的本质是对通用模型进行修改，使得其特征与所需要3D重建的输入图像相配.一般包括整体性调整和局部性调整两个方面。整体性调整主要是针对模型的轮廓，通过一定的方法(如特征点对应)使得通用模型的整体布局（如眼耳鼻眉）和输入图片的五官布局尽量一致；局部性调整指的是针对局部细节尤其是人脸五官的微调，让局部细节更为精确。在进行完这两项调整之后，再辅助以基于顶点的插值运算就可以重建人脸。通用模型法的优点是计算量较小，但其显著缺陷就是因顶点数目过少导致对人脸轮廓的模拟和面部细节刻画不够细腻，故只能适用于精度要求不高的场合。

另外还有基于形变模型的3D人脸重建（3DMM）。
形变模型（Morphable Model）这一名词来源于计算机图形学中一个名叫Morphing技术的图像生成算法。Morphing 技术主要思想：如果两幅图像中存在一定的对应关系，那么就可以利用这个对应关系生成具一副有平滑过渡效果的图像。
三维形变模型(3DMM)建立在三维人脸数据库的基础上，以人脸形状(S)和人脸纹理(T)统计为约束，同时考虑到了人脸的姿态和光照因素的影响，因而生成的三维人脸模型精度更高。
3DMM模型数据库是人脸数据对象的线性组合，假设要建立的3D变形的人脸模型由m个人脸模型组成，其中每一个人脸模型都包含相应的Si，Ti两种向量，这样在表示新的3D人脸模型时，我们就可以用这种方式：

其中S平均表示平均脸部形状模型，si表示shape的PCA部分，αi表示对应系数。（主成分分析法PCA是非常常用的数据降维方法。它的基本思想是从一组特征中计算出一组按照重要性的大小从大到小依次排列的新特征，它们是原有特征的线性组合，并且新特征之间不相关, 我们计算出原有特征在新特征上的映射值即为新的降维后的样本。也就是说PCA的目标是用一组正交向量来对原特征进行变换得到新特征，新特征是原有特征的线性组合https://blog.csdn.net/weixin_39986952/article/details/80428421）。
T部分类同。