经典高分美剧《老友记》中你没看过的镜头：被AI给补出来了

呃这是《老友记》未公开的一幕吗

或者子弹时间特效那种。

我看到那个人影停了一会儿，飞机在平稳地运动一个多角度全方位的厨房出现在我的面前，仿佛我就站在现场

要知道，正片其实只有两张图。

没错，又是AI在做魔法，.

看完《老友记》，AI可以像真实场景一样直接还原3D场景，弥补了两个切换画面之间人物不同角度的手势。

可以从没拍过的角度重建。

也可以把特写镜头变成大视野。

乍一看，真的很难看出生成的效果其实完全是捏造的。

以后电视剧的补拍就省了。

这是加州大学伯克利分校的研究人员提出的一种重建3D人物和环境的新方法。

看完，网友脑洞大开:

也许10年之内，你就能把你的VR影像放到你喜欢的节目里。

目前，该方法已被ECCV 2022接受。

专门针对电视剧场景重建。

研究人员表示，此次提出的新方法是专门针对电视剧场景的。

除了《老友记》，他们还用3D重构了《生活大爆炸》等七部电视剧的场景。

要知道，用一段视频重建一个3D场景其实是非常困难的而在电视剧中，很多画面都是同一个场景拍摄的，这为AI学习提供了非常丰富的图像数据

这种方法可以在整季剧集中自动运行，计算出每个镜头的摄像机位置信息，静态3D场景结构和角色身体信息，然后整合成一个3D场景。

具体来说，这种方法主要分为两个方面:场景信息和人物信息。

这种方法是指在只有一台摄像机的情况下，通过分析摄像机移动时拍摄的场景来确定3D场景信息。

然后通过分析摄像头与人的位置关系，确定人所在的区域，再对两个不同角度的图像进行整合分析，进行位置三角测量，从而确定人的真实位置。

之后，使用NeRF重建详细的3D场景信息。

神经渲染辐射场可以将场景的体积表示优化成矢量函数，该矢量函数由位置和视角方向组成的连续5维坐标定义。

也就是说，5D坐标沿着相机光线被采样以合成图像。

接下来，我们处理场景中人物的信息。

在多镜头的情况下，确定人的位置后，可以通过NeRF直接重建人体的3D信息。

但在单镜头的情况下，需要利用上下帧中人体姿态，摄像机位置和环境结构信息的变化来进行重建。

从实验结果可以看出，该方法最终可以合成三维信息，重新渲染出新的画面。

在烧蚀实验中，如果没有确定摄像机和人的特征信息，最终的结果是不理想的。

而且，研究人员还分析了场景的数据，包括相机距离和人的位置分布。

目前团队有开源代码和论文数据。

研究团队来自加州大学伯克利分校人工智能研究实验室。