首页 科技 正文

GitHub热榜:一张照片实现高清3D人体建模,可以播放Demo。

鱼羊 发自 凹非寺量子位 报道 | 公众号 QbitAI

手动对人体进行3D建模并不是易事。

但而今,只给AI一张高清照片,它还真就可以分分钟弄定这件事。

甚至还挺高清,衣服褶皱、脸部脸色,细节一点良多。

这项新研究来自南加州大年夜学和Facebook,被选CVPR 2020

而且已在GitHub上开源,标星3.6k,还在一天内就涨了207颗星,登上GitHub热榜。

一路来看看,这事实是若何实现的。

多级像素对齐隐式函数

这只AI名叫PIFuHD,其根本框架是ICCV 2019上已登场的像素对齐隐式函数PIFu。不外,PIFu以分说率为512×512的图象作为输入,输出的3D模子分说率不高。

为了获得高分说率的输出,在这项研究中,研究人员在PIFu的根本之上,额外叠加了一个像素对齐的猜测模块。

如图所示,顶部粗层次像素对齐猜测器捕捉全局的3D布局。高分说率的细节则由下面的Fine模块添加。

具体而言,fine模块将1024×1024的图象作为输入,并将其编码成高分说率的图象特点(512×512)。

尔后,高分说率特点嵌入和第一个模块中获得的3D嵌入被连络起来,用以猜测占位概率场。

为了进一步提高重建的质量和保真度,该方式还会在图象空间中猜测正反两面的法线图,并将其作为额外的输入反馈给收集。

细节捕捉高手

所以,跟先辈们比拟,PIFuHD事实前进了多少?

研究人员在People Snapshot dataset数据集上将其与此前的SOTA方式进行了定性较量。

可以明明看出,由于PIFuHD充分行使了根本外形和邃密外形,可以或许直接在像素级别上猜测3D几何外形,它对输入图象的细节掌控加倍精准,重建出来的3D人体模子分说率更高。

Demo可玩

论文代码已开源,而且,研究团队还在Colab上供应了在线试玩。

输入一张你本身的照片,几分钟之内就可以收成一个数字3D的你。

真·3D建模师福音。

连络可让3D模子动起来的Mixamo食用,网友们都玩嗨了。

赶紧上手玩起来吧~

最后,附上作者简介。

论文一作斋藤俊辅(Shunsuke Saito),今朝在Facebook Reality Labs担负研究科学家,致力于深度人类数字化的有用数据表征研究。

他在南加州大年夜学工作时期,曾与较量争论机图形学范畴知名华人传授黎颢合作。

GitHub地址:https://github.com/facebookresearch/pifuhd

Demo地址:https://colab.research.谷歌.com/drive/11z58bl3meSzo6kFqkahMa35G5jmh2Wgt?usp=sharing#scrollTo=afwL_-ROCmDf

非特殊说明,本文由原创资讯网原创或收集发布。

转载请注明本文地址:http://www.ycadmc.com/kj/1670.html