首页 科技 正文

你好,这是微视人工智能还原的李焕英。

鱼羊 发自 凹非寺量子位 报道 | 公众号 QbitAI

看,李焕英这豪情亲切的笑脸、通亮的眼眸,是不是与银幕上谁人她一样有感染力?

你的尊长年青时,又是不是像这张老照片里的人一样,剑眉星目,神彩飞扬:

要说比来最火的AI弄法,那真长短腾讯微视“会动的老照片”这类特效莫属。

脸色迁徙手艺与基于GAN的老照片修复手艺强强连络,给人一种打开了光阴机的感到感染,恍如真的能与老照片里的人隔空对话,追思往昔。

△“我的女儿,我就要她健康欢愉”

而且用户无需任何加工,只需在微视APP里上传一张照片,不到一分钟,都能亲身开启如许的“时候魔法”。

这不,一经上线,就吸引了15万用户体验,视频播放量高达5800万

更有良多网友在看到如许特效后直接泪目:

麻瓜的魔法

说起来,让照片动起来的“魔法”,在2019年就曾带起一波时尚风潮,令网友直呼“哈利波特”。

好比,来自意大年夜利特伦托大年夜学的一篇NeurIPS 2019论文,就介绍了一种名为一阶活动模子(First Order Motion Model)的方式。

颠末历程活动估计模块和图象生成模块,这个AI能让川开国和《冰与火之歌》里的史塔克们实现眨眼、摇头神同步。

除“会动的老照片”,基于这类手艺,腾讯微视上还能如许玩:

一键让清朝皇帝们齐唱画画的baby。

而环绕图象生成,AI这类麻瓜的魔法能实现的后果,当然还不止如此。

正如前文所提到的,要实现“会动的老照片”这一特效,除动态的部分,在晋升清楚度方面,也少不了GAN的功烈——这也是最近几年来人脸特效方面最热的课题之一。

单单基于GAN,腾讯微视上就还有如许的弄法:

做人嘛,最主要就是愉快。对着镜头笑不出来?AI分分钟帮你打造完善笑脸。

减龄10岁,也不在话下。

还能秒变欧美脸。

不外,当然以上方式相干的开源代码良多,但想把它集成到一个手机App里,依然需要在算法优化和工程实践上下功夫打磨。

具体腾讯微视是若何实现的呢?

起首,在生成模子方面,手艺团队针对分歧场景,前后研发迭代了三种大年夜模子:

在非成对数据较量丰硕的场景下,基于CycleGAN思惟,打造可以或许实现有前提生成的Cycle-StyleGAN模子。

在只有少许非成对数据的真实人脸生成场景中,接纳基于隐向量的属性编纂思惟,行使如StyleGAN如许的预演习生成模子,在隐向量空间中找出代表方针属性的标的目标向量,以实现对眉毛、眼睛如许的脸下属性的节制。

而在只有少许非成对数据的气概化场景中,手艺团队提出了基于小样本的模子畅通领悟方式。主要思惟是,在搜集的少许数据上对预演习模子进行微调,然后,将微调后的模子与原始模子畅通领悟获得一个夹杂模子,如许,该模子既能生成方针气概的图片,又兼具原始预演习模子强大年夜多样的生成能力。

而在动作迁徙方面,手艺团队实现了实时的轻量化人脸动作迁徙。

具体而言,在大年夜模子层面,手艺人员借鉴Monkey-Net和一阶活动模子等所接纳的基于关头点轨迹的反向光流猜测方式,先以无看管形式估计每对关头点的位置,获得稀少动作光流,再猜测加权掩膜获得稠密动作光流。

而为了实现更强的变形能力和动作建模能力,手艺人员还引入了透视变换项,使得稀少动作光流可以进修到加倍复杂的变换类型。

而为了实现手机真个实时揣摸,手艺团队还进行了小模子层面的优化:

收集布局优化。对模子中的各个模块,借鉴GhostNet划分设计响应的小模子布局,从而将模子大小缩减99.2%,GFLOPs下降97.7%。分阶段蒸馏演习。假如直接从零最早演习小模块,模子将没法收敛,首假如由于模块之间为串行关系,前者的输出将作为后者的输入,是以需要接纳分阶段演习的策略。同时,引入常识蒸馏的思惟,使得小模子可以成功进修到大年夜模子的能力。工程优化。例如缓存模子傍边,需要反复利用的一些常量、优化代码逻辑、节省揣摸时无需反复进行的步调等。同时,手机真个布置和实时推理均借助腾讯自研的TNN推理框架实现,测试后果显示,比较其他框架,在大年夜部分场景下TNN具有一定提速增效的优势。相干手艺人员还吐露,针对分歧配置的手机,他们进行了有针对性的分档优化。从后果上来看,即使是配置较低的千元机,也能以15FPS以上的帧率流通运行老照片修复如许的特效。

最潮的AI,也可以或许低门坎

以上算法实现,均来自腾讯微视拍摄算法团队和腾讯平台与内容事业群(PCG)利用研究中央配合研发。

腾讯微视拍摄算法团队致力于图象/视频标的目标的手艺索求,并依托丰硕的营业场景,一向在索求前沿AI和CV算法在内容分娩和消费范畴的利用和落地。利用研究中央则被称作腾讯PCG的“伺探兵”、“特种兵”,站在腾讯索求、挑战智能媒体相干前沿手艺的第一线。

平居而言,特效算法的更新换代节奏很快,从研发到上线,周期大年夜概在1到1个半月之间。团队成员也坦言:推下手艺落地产出,让用户可以或许低成本、第一时候上手体验,是团队最垂青的方针。

但这其实不意味着快速迭代是这支手艺团队唯一的节奏。

实际上,对前沿手艺的主动出击、持久存眷正是其手艺底气的来历:

对加倍前沿、更有难度的算法,和一些不常见的模子后果,我们会投入5-6个月甚至更长的时候去攻坚克难。在这个历程当中,团队会把从算法到工程的框架所有搭好。而这些堆集,也就是后续项目可以或许快速上线的基石。

而多种多样新AI弄法的灵感,一样

同时,也离不开如许的初衷:

非特殊说明,本文由原创资讯网原创或收集发布。

转载请注明本文地址:http://www.ycadmc.com/kj/2290.html