神经网络不是简单地用岩石、山脉、天空或水的逼真图像替换涂鸦和形状。除了考虑到绘图的原始形状外,GauGAN 还考虑了场景中的其他物体。将一片草地变成一个池塘,它会根据新水体周围的情况在表面上产生反射。
为了实现这一目标,NVIDIA 研究人员采用了生成对抗网络,即 GauGAN 名称中的“GAN”。生成器网络创建它呈现给鉴别器网络的图像。鉴别器从真实图像中学习了真实世界的物体是什么样子的,它通过逐像素反馈来指导生成器。
因此,开发人员或画家不必说“在这片水域上创建倒影”。GauGAN 会自动这样做,因为它在研究真实照片的基础上了解到水会产生反射。更令人印象深刻的是,当您将绿草变成雪时,神经网络会自动将天空颜色和周围的树叶调整到合适的冬季。
虽然其本身令人印象深刻且有趣,但研究人员设想 GauGAN可用于创建工具,从而使用户能够创建自己的虚拟世界。他们将不再需要依靠艰苦的过程或呼吁艺术家将他们的想法转化为图像。他们只需要拿起鼠标或手写笔,然后涂鸦就可以了。