如今，给视频人物“喂”一段音频，他就能自身魔性笑声了，如同那样：

原声带实际上 是源于这儿：

它是一种运用音频转化成视频人物嘴型的新方式，源于德国慕尼黑理工大学Wojciech Zielonka的研究生论文。

用这类新方式魔性笑声，只需2-3分钟就可以训炼总体目标人物角色，转化成的视频保存了总体目标人物角色的讲话设计风格；

而且不会受到视频语音

新方式与Neural Voice Puppetry、Wav2Lip、Wav2Lip GAN的转化成实际效果，比照起來是那样的：

在维持较低嘴唇偏差的与此同时，转化成图象品质高过别的方式。

基本原理介绍

从总体上，作者明确提出了一个新的架构，它由音频svm算法、投射网络、形变网络、色调网络、构成网络好多个一部分构成。

最先，将键入音频变换为MFCC（梅尔頻率倒谱指数），并开展svm算法。

运用投射网络开展类似变换，将获取的特点置入到不一样的低维空间。

为了更好地顺利转化成视频，科学研究工作人员还引进了一维卷积和网络和一个衰减系数控制模块，以维持時间上的衔接性。

在形变网络中，作者应用了三维可形变面部实体模型（三维MM），它是一种根据一组面部样子和纹路的统计模型，将面部表明为固定不动的等级。

将三维MM的网格图键入形变网络，该网络能根据音频数据信号造成提升的三维样子。

再将其栅格化传送给颜色网络，每一个三维点历经部位编号，并与音频置入关联，最后根据颜色网络輸出图象。

最终，用3D澎涨卷积和网络创建的构成网络，将3D渲染的面部被无缝拼接地置入到情况中。

能够见到从三维样子到最后生成輸出的实际效果：

此项科学研究选用了最少平方根误差（L1）和认知损害（VGG）这两个交叉熵的组成。

先运用L1损害网络寻找粗略地图象，随后在训炼全过程中，根据VGG损害开展健全并学习培训关键点。

特性怎样？

科学研究工作人员应用数据模型拟合开展了检测，数据信息集中化一共有6个人物。

在其中，实体模型用以Krista和Obama时实际效果更强，转化成图象与ground truth更为贴近。

而Ayush的偏差较高，作者表明，这可能是遭受训炼视频品质的危害。

从左至右先后是原视频、配声视频、原声带视频：

作者还对颜色网络的特性开展了评定，数据显示，即便三维样子在任意帧中间沒有非常大转变 ，颜色网络也可以做出恰当的预测分析。

毕业论文中还得出了与别的方式的定量分析比照状况，全部数据的图象品质偏差以下：

在图象品质的3个指标值中，新方式都好于别的方式。

但是新方式也不是一直靠谱，例如在生成时，也很有可能会造成偏移偏差，发生下巴肉多等。

除此之外，它还存有一定的局限。

因为三维MM并沒有确立地对牙模型，现阶段的方式是将2个嘴巴封闭式起來。因而，端点的总数并沒有更改，特点数量依然创立。

有着详尽的牙几何图形样子，能够能够更好地捕获讲话时的脸部健身运动，自然这在非常大水平上在于大家的讲话设计风格。

除此之外，一个更高的局限性是，在情景或艺人转变 时，就必须 再次训炼实体模型，而且只支持英文音频。

网友强烈反响

作者把实际效果视频发至了Reddit上，造成了网友们的强烈反响。

许多网友发觉，视频人物的嘴唇姿势，好像实际效果不佳。

除开“英国”以外，他的嘴型看上去不一样。

大量的网友针对此项技术性的运用，明确提出了提出质疑。

这与在美国奥巴马静音模式的视频上播放视频音频有什么不一样？

如同这名网友常说，相近那样的面部转化成技术性，许多都被用以作假，因而一直存有着伦理道德异议。

网友们也因此觉得忧虑：

有时候我能想起这种技术性是怎样被乱用的，这要我对将来觉得有点儿伤心。大家必须 虚报视频探测器，不清楚这次作战还需要走有多远。

有着支配权的与此同时，也被授予了重特大的义务！

假如这类运用风靡起來，大家或许不容易坚信视频了。

但是也是有网友提及：

好在，就现阶段而言，检验比转化成要非常容易得多，实际效果也更强。

针对此项科学研究，作者表明，