首页 科技 正文

两张图就能“算”出一个视频,红迪用户震惊又鄙夷&北大出品。

鱼羊 萧箫 发自 凹非寺量子位 报道 | 公众号 QbitAI

只给AI两张图片,就可以获得高帧率动态视频?

输入的两张图象,堆叠后是如许的:

而算出来的视频,是酱婶的:

不错,这又是视频插帧算法的功烈。

极限操作玩得6,让老片子变丝滑的常规手法,这个名叫RIFE的AI算法一样信手拈来。

右侧这支经典探戈,看上去是不是是比左侧丝滑多了?

不然则老片子,航行表演的超卓刹时,也能一口气从每秒24帧晋升到每秒96帧。

这项新研究,来自旷视和北大年夜。不但能让老影象资料追上人平易近大众对高帧率的需求,支持2X/4X/8X高质量插值,它还有一个最大年夜的特点:快。

量子位在Colab上用T4跑了一遍Demo,一个时长53秒的720p 25fps视频,插值到100fps仅用了2分19秒。

该项目现已开源,而且有官方Demo、第三方Windows利用可以试玩。

看过了RIFE的显露,网友们不由赞叹,这是要超越那只常常在各类修复视频里呈现的插帧AI DAIN,引领一波新潮水的节奏啊?

一时之间,RIFE在Reddit上的热度飙升到了2.8k。

那末,如许的后果事实是怎样实现的呢?

从双向估计,到一步猜测中央帧

视频插帧,平居是用光流猜测算法来猜测中央帧,并插入两帧之间。光流,就像光的活动一样,是一种颠末历程色彩来透露显露图象中方针移动标的目标的体式格局。

△稀少光流与稠密光流

传统光流猜测算法,平居按照前后两帧视频来猜测中央的某一帧长啥样。

将猜测完成的图象插进去后,视频看起来就会变得更丝滑。

以DAIN的算法为例,假如要猜测t时刻的帧,就需要t时刻的前后两帧视频,颠末历程光流猜测算法来实现。

△DAIN的算法图

然则这一类的算法会产生一个错误谬误:在猜测历程当中,假如用前后两帧图象产生双向光流,用线性组合来估计中央流,猜测出来的后果,在活动鸿沟区域就会呈现伪影。

如许的伪影,使得重建中央帧图象的后果不尽人意。

那末,假如换一种思绪,直接先猜测中央流呢?

比拟于行使前一帧和后一帧进行两次估计,这里的IFNET(a Specialized and Efficient Intermediate Flow Network)算法,将直接接纳线性活动假定,对中央帧进行一次估计。

后果也不言而喻,比拟于行使前后两帧的双向估计所产生的光流,行使IFNET估计出的光流后果异常清楚,而且几近没有伪影。

行使这类体式格局重建图象,不但光流边缘看得清楚,而且速度也更快。

论文提到,RIFE是首个基于光流的实时视频插帧方案。

由于中央帧猜测,直接假定了前后两帧的变换是线性的,相当于每帧猜测中直接少了一次估计。

那末,这个模子,事实将插帧算法晋升到了怎样的程度?

运行速度远超其他方式

前文已提到,RIFE最亮眼的一点是快。

研究人员在UCF101、Vimeo90K、Middlebury OTHER set和HD benchmarks等基准上,将RIFE与英伟达的SoftSplat、上交大年夜的DAIN等「先辈」进行了比较。

用来测试运行时候的是一个640×480的视频,利用的GPU型号是NVIDIA TITAN X(Pascal)。

从后果可以看出,在性能相当的环境下,RIFE根本模子的运行速度逾越了所有对歧式。

而模子的大年夜版本RIFE-Large,在性能超越SOTA方式SoftSplat的环境下,运行速度快出了30%。

别的,研究人员基于Vimeo90K测试集,供应了可视化的比较后果。

可以看到绿框部分,SepConv-L1和DAIN产生了伪影,而CAIN铲子部分则呈现了缺失落,相对而言,RIFE生成的后果加倍靠得住。

安装包和colab都有,试玩无忧

后果这么漂亮的模子,应当怎样利用?

今朝作者们已给出了预演习模子的几种用法,从GitHub项目中可以直接下载网盘版的紧缩包。

不管是用作者供应的demo、照样用你本身想要进行插帧的样本,都可以上手试玩。

当然,模子也有colab版本,可以直接在云处事器上玩模子。

而且,已有玩家做出了Windows版的软件,可以直接下载下来利用。界面看起来还挺精练:

模子RIFE的呈现,已让一些游戏欢愉爱好者狂热了起来:

你们能想象吗,就算是已吃灰良久的PS2,也可以或许到达4k游戏的程度后果了!行使这类算法,3步就可以弄定!

不外,也有网友透露显露了对这类算法的耽忧。

当然这类算法速度快、性能高,但实际上存在一个问题:

这类算法,素质上没法联想到丢失落的帧间信息,所以没法用在安防视频上。

对这些方面的利用,将来还需要进一步考虑。

作者介绍

黄哲威,论文一作,今朝是旷视的一名算法研究员,卒业于北京大年夜学。

进入北大年夜信科一年后,他获得了ICPC区域赛金牌,还成了旷视科技智能较量争论组(IC组)的演习生,今后列入了NIPS 2017的Learning to Run角逐,利用Actor-Critic Ensemble算法获得了第二名。别的,在ICCV 2019顶会上,他的论文一样被收录。

张天远,卒业于北京大年夜学,就读时期,论文曾被ICML 2019、ICCV 2019、NIPS 2019等顶会收录。

衡稳,于北京大年夜学获较量争论机利用手艺硕士学位。

施柏鑫,来自北京大年夜学,今朝是北京大年夜学信息科学手艺学院的助理传授(博雅青年学者)、研究员、博士生导师。

非特殊说明,本文由原创资讯网原创或收集发布。

转载请注明本文地址:http://www.ycadmc.com/kj/1826.html