历时一年半的研发之后，新成果浮出水面 。
被称为人工智能“梦之队”的DeepMind，刚刚在Science上发表论文，提出一种像人类一样具备“脑补”世界能力的AI：GQN(Generative Query Network)。
GQN能够基于2D图像，重建/脑补出整个场景的3D表示。
“与婴儿和动物非常相似，GQN通过理解对周围环境的观察来学习。”DeepMind在官方博客中称这个学习方式，就像人类一样。
DeepMind的创始人兼CEO哈萨比斯表示，他一直都对大脑如何重现图像非常着迷，而这次提出的GQN模型可以根据几个2D快照重现3D场景表示，还能从任何角度渲染出来。
△ 哈萨比斯Twitter截图
这个AI高级在哪?
你可能已经从前边的描述中注意到，它是一种无监督学习模型，连训练的图像都是自己获取的。
而现在那些很厉害的计算机视觉系统，都是监督学习的成果，它们需要用人类制造的大规模标注图像数据集来训练，这就限制了数据集包含场景的范围，进而限制了这种数据所训练出来的视觉系统的能力。
论文一作、DeepMind研究员Ali Eslami说，监督学习超级成功，但它还是无法让人满足。有这样两个原因：第一，人类需要手动创建数据集来训练它，这种操作又贵又不全面;第二，人类婴儿和高级哺乳动物都不是这么学习的。
如果要开发在现实世界里可用的复杂机器，想让AI完全理解周边环境，知道能就近坐在哪、旁边的沙发是什么材质、地上的影子是哪个光源制造出来的、又该去哪关灯，就需要换一个思路。
DeepMind新提出的GQN，就是这样一种新思路。
两个网络
GQN模型由两部分组成：一个表示网络、一个生成网络。
表示网络将智能体观察到的图像作为输入，然后生成一个描述潜在场景的表示(向量)。
生成网络的任务是从一个之前没有观察到的角度，来预测(也可以叫“想象”)出这个潜在的场景。
表示网络并不知道人类会让生成网络从哪些视角来预测，所以，它必须有效地描绘出整个场景的真实布局。
在这个过程中，它会先构建一个简单的分布表示，抓住最重要的元素，比如物体的位置、颜色和整个房间的布局。在训练过程中，生成器了解了这个环境中典型的物体、特性、关系、规则。这些两个网络共享的“概念”让表示网络可以用高度压缩、概略的方式来描述场景，让生成网络在有必要的时候去补全细节。
比如说，一个蓝色立方体，在表示网络那里就是一组数字，而生成网络知道在不同角度该用怎样的像素来呈现它。
四大特性
DeepMind在模拟的三维世界中，基于多个程序生成的环境，对GQN进行了一系列受控实验。其中的多个物体的位置、颜色、形状、纹理、光源都是随机生成，并且伴随着重度的遮挡。
在这些环境中进行训练之后，GQN被用于新的场景。DeepMind在实验中，发现了GQN的几个重要特性。
第一，GQN能以非常精确的方式，从全新的视角“想象/脑补”出以前从未见过的场景。只要给出一个场景表示和新的摄像机视点后，GQN就能生成清晰的图像，无需实现规定透视、遮挡或光线规则。
效果请看下面几个演示，左边是观察到的2D图片，右边是GQN“脑补”出的世界。
第二，GQN学会对对象进行计数、定位和分类，而且无需任何对象级标签。尽管露出的表示部分可能非常小，但GQN的预测仍然高度准确，几乎可以乱真。这意味着GQN能够准确感知。
效果请看下图，同样左边是观察，右边是脑补：
第三，GQN能够表示、衡量和减少不确定性。即便内容不是完全可见，GQN也能应付场景中的不确定性，并将场景中的多个局部视图组合起来，形成一个整体。
这事儿挺难，人都不一定能做好。GQN能力如何?见下图所示。有一类是第一人称视角的预测：
有一类是自上而下的视角预测：
第四，GQN能够进行稳健、数据高效的强化学习。与无模型的基线智能体相比，把GQN的紧凑表示赋予最先进的强化学习智能体后，可以更加数据高效的方式完成任务。
对这些智能体而言，GQN中的信息可以看做是对环境的“先天”知识。
相关研究
GQN同样构建于诸多前人的探索基础之上，DeepMind正式列出的相关研究就达到128篇，而且声明仅列出了一小部分。
这些相关的研究从1971年，一直延续到2018年3月。
其中排在第一位的，也是曾经刊载在Science上的著名研究：心理旋转实验。这个实验表明：表象这一心理现象是客观存在的，外界刺激进入大脑并非进入黑箱，而这个实验也揭露了信息在大脑中进行加工的过程。