【脑洞】如何可以用人工神经网络高真模拟人脸的动态表情？

如果人工分类什么表情是什么，或者人工提交个表情只管模拟。
前阵子倒是有个 实时移植 A人视频表情 到 B人脸上的

CNN能实时生成图片？

人的脸部有80多块肌肉，能产生7000种表情，所以说还是用颜色代替吧

把人脸用点云表示或者网格模型表示，表情就是每个点和邻居点的相对位置关系以及和参照系的位置关系。
两步：
1、（用intel realsense之类）收集人脸RGB-D图像；映射到标准人脸点云模型，缺失的地方自动补足，生成训练集
2、用概率图模型或LSTM预测标准人脸模型的表情变化

对标准模型上的每个点，分配一个LSTM，输入为此点位置+全局表情编码E，E由某CNN生成，CNN可以先借用人脸识别网络。由p+v生成下一个时间的标准模型p，再生成RGB图像，图像扔给CNN得到下一个时间的E，图像再得到p，如此循环

提取特征识别容易，但信息丢失了，重现生成就麻烦了。模仿这种事情，传统计算机不是更容易。

（续9楼）
楼上提出了个从图像样本产生个先验模型的想法。下面再补充些细节。
1. 铭印阶段：首先根据一组單纯表情的图像样本(RGB或RGBD)透过CNN提出各层级脸部特征。结果大致如下。

这一步骤可以看成是大体类似某些动物的铭印（imprinting）现象，以短期性的学习提出重要脸部的标准特征，然后据此造出个脸部模型供进一步的用途。这些标准特征在完成铭印阶段以后就固定不变了。
2. 学习复杂表情阶段。含有复杂表情的图像样本首先根据上面导出的标准特征分解成一个【标准特征云】，然后设法学会需要何等的变形操作才能让这个标准特征云趋近于观察到的图像。
3. 加标签学习阶段。这里是学习标签（如伤心，尴尬，开心，等）和上面提出模型之间的映射。
4. 表演阶段。当收到表情要求时，可以按要求根据上面学到的标准特征，变形操作元，以及目标表情实时输出高真表情图像序列。

用WRL三维模型来做比较好吧，取其中几点来定义基准点，然后要活动的点相对位移。显示是可以用ocx控件的，人头可以先在zbrush里画好。导出WRL文件。

不知道索尼手机自带相机中的AR面罩算不算你说的那种，最近朋友的z5p里发现的，表面看就是追踪头部位置+PS另一个人或动物的脸在自己脸上。我试着张嘴嘟嘴皱眉眨眼抽动脸部肌肉，新合成的脸是会实时跟着你做出表情做同样的变化的，所以并没那么简单。我看上面还有“AR效果”，“AR趣拍”，启动的时候会叫你先对准一个位置然后左右平移一至两秒，对准移动的过程中会看到在颜色明暗交界处，比如瓷砖接缝地面和墙之间的转角地上鲜艳的图案交界不断泛起水波涟漪点，然后就能实时将3d模型和显示场景合成在一起，我发现有趣的是里面有个叫“童话”的ar，里面很多卡通小人走来走去，碰到我地上放的垃圾桶和凳子还有墙是会拐弯的，根本不会碰到，当时我就震惊了一下。综合起来分析如果使用的是同一技术的话，应该是在平移过程中截取两张生成3d图片利用Shift特征点匹配两张图片中的对应位置点，生成粗略3d模型再平滑处理一下，叠加待合成的场景3d模型上去就是AR了，AR面罩就是将他人的脸贴图到一个NURBS曲面上，实时人脸提取的Shift特征点和NURBS曲面上点做映射，Shift特征点位置变化带动NURBS曲面变形，然后PS，分析完毕不知道对不对

对于人工的智能，表情真那么重要？