子豪 发自 凹非寺
量子位 报道 | 公众号 QbitAI
先来看一张海岛大片：
这可不是哪个摄影师的杰作，而是出自GANcraft之手。
原图是「我的世界」中一个马赛克画质的场景：
这下「我的世界」真的变成了，我的世界！
GANcraft由英伟达和康奈尔大学合作完成，它是一个无监督3D神经渲染框架，可以将大型3D块状世界生成为逼真图像。
空前的真实感
究竟有多逼真？和与其他模型对比来看。
以下是在两个场景中，分别使用MUNIT、GauGAN用到的SPADE、wc-vid2vid，以及NSVF-W（NSVF+NeRF-W）生成的效果。
再感受下GANcraft的效果：（色彩和画质有所压缩）
通过对比可以看到：
诸如MUNIT和SPADE这类im2im（图像到图像转换）方法，无法保持视角的一致性，这是因为模型不了解3D几何形状，而且每个帧是独立生成的。
wc-vid2vid产生了视图一致的视频，但是由于块状几何图形和训练测试域的误差累积，图像质量随着时间迅速下降。
NSVF-W也可以产生与视图一致的输出，但是看起来色彩暗淡，且缺少细节。
而GANcraft生成的图像，既保持了视图一致性，同时具有高质量。
这是怎么做到的？
原理概述
GANcraft中神经渲染的使用保证了视图的一致性，而创新的模型架构和训练方案实现了空前的真实感
