三维重建和运动追踪,长期是两条流水线。前者回答"这个场景长什么样",用多视角几何、SfM、MVS一步步算出来;后者回答"东西怎么动的",靠光流和轨迹匹配单独处理。两条线各自的工具链都很成熟,但拼在一起时经常对不上:重建出来的表面和追踪出来的轨迹,不在同一个坐标系里。11月20日前后公开的π⁴,想做的就是把这两件事塞进同一次计算。
π⁴接受的输入很宽:一张图片、一堆顺序打乱的图、一段视频,都可以。这些输入共同的特点是"未标定",也就是不知道相机内参、不知道拍摄位置、不知道真实尺度。这恰恰是普通人手里的素材的真实状态。
输出则是一整套:稠密的几何结构、每一张图的相机位姿、把整组图对齐到真实世界的度量尺度,以及二维和三维的点轨迹、运动物体的掩码。一个模型,一次前向,把这些一次给全。
把度量尺度也算出来,是这件事里最难的部分之一。单目图像天生缺少尺度信息,一张桌子的照片无法判断它是1米宽还是1.5米宽。模型要从数据分布里学到"这种场景通常多大",才能给出一个物理上合理的估计。这类能力靠的是训练数据的多样性,而不是几何公式。
对下游应用来说,这个组合的价值在于省掉了标定环节。扫描一个房间、复现一个货架、给一段手机视频做后期,过去都需要先做标定和稀疏重建,再手工对齐。如果一次前向就能拿到全套,中间那一大段工程代码就可以删掉。
π⁴的结构分成两支:几何分支和运动分支。几何分支用循环式的Transformer解码器,在所有视角之间共享权重,不设"主视角",输出局部点图、相机位姿和全局尺度;运动分支在几何特征的条件下去预测图像空间里的对应关系。
关键是"条件"这两个字。运动分支不是凭空预测三维位移,而是在已经重建出来的几何上做条件,通过空间自适应的层归一化把几何特征注入进去。作者给出的数据是,这样做让端点误差降低了超过7个像素,在相机基线较大的图像对里尤其明显。
更重要的设计是把二维轨迹"提升"到三维表面。直接回归三维坐标,轨迹很容易从物体表面飘出去,看起来像悬在空中;π⁴先预测图像空间的对应点,再在重建出的三维几何上采样那个位置。这样每一条可见的轨迹点,都必然落在场景表面上。
这个处理看起来只是换了一种参数化方式,实际影响很大。轨迹飘移是四维重建里最影响可用性的问题,因为它会让后续的物理仿真、运动分析、编辑操作全部失准。把轨迹钉在表面上,等于把这个误差源从根上去掉了。
整套几何加运动的系统约0.5B参数,不到多数对比基线的一半。做到这个体量,靠的是循环复用:Transformer的权重在多次解码迭代里共享,等于用同一个模块反复"想",而不是堆更深的网络。
在16项几何基准、9个基线的对比中,π⁴取得了最佳的平均排名,超过了参数更大的Pi3X和VGGT。在Oxford Spires这个长序列数据集上(361到800帧),它的绝对轨迹误差比此前最好的DVLT降低了47.2%。
长序列是这类模型的传统弱项。序列越长,累积误差越大,相机位姿会逐渐漂移,重建结果在末端严重变形。π⁴能在长序列上把误差降近一半,说明它在跨帧一致性上做了实质性的改进,而不只是把短序列的精度又提了一点。
更值得注意的是泛化边界。模型训练时最多只用了64个视角的上下文,但推理时可以处理超过1000张输入图像的场景,一次前向完成。训练与推理的规模差了一个数量级还能工作,说明它学到的是视角之间的几何关系,而不是记住了特定数量的输入。
训练数据由四十多个数据集混合而成。其中三块是自己补的:一是约1万个来自Funes和Sketchfab的三维资产,用覆盖感知的视角选择渲染成合成场景,保证相机角度和焦距足够多样;二是把互联网视频里的前景物体用生成式修补"抹掉",得到干净背景的伪标签;三是与合作伙伴做的GameRealm数据集,直接从游戏引擎里取原生几何和持续的点轨迹。
这三块各自解决一个问题。合成数据补齐视角多样性,修补后的视频补齐真实光照与材质,游戏引擎补齐精确的轨迹标注。最后这一块尤其关键,因为真实世界里几乎不存在"每个点的运动轨迹都已知"的数据,而这个任务恰恰需要这种监督。
数据策略背后的判断是:几何可以从合成数据学,运动必须从可控环境学。真实视频能提供外观的真实性,但无法提供逐点的运动真值;游戏引擎能提供真值,但外观是渲染出来的。两边混着用,是当前这类模型唯一可行的路径。
代价是分布偏移。模型见过了大量游戏和合成场景,在真实室内环境上表现很好,但在极端光照、强反射、透明物体、大面积动态人群这些场景里的表现,论文没有给出充分证据。这些恰恰是工业巡检、自动驾驶、影视制作最常遇到的场景。
把π⁴放进2026年的技术脉络里,它的位置比较清楚。过去两年,三维重建从优化方法转向前馈网络,代表是DUSt3R、VGGT这一批模型,做的是"从图像直接出几何";与此同时,世界模型这一支在做"从图像预测未来",但几何一致性一直是软肋。
π⁴站在两者的中间:它不做未来预测,但把几何和运动放在同一个前向里,让"场景怎么变"这件事有了几何约束。这个位置在应用上很实用,因为大量真实需求不是"预测未来",而是"把已经拍到的动态场景还原成可编辑的四维结构"。
代码和模型已经放出。对开发者来说,它提供的是一条新的基线:过去要拼三四个开源工具才能拿到的结果,现在可能一次调用就够。对研究者来说,它提出的问题更值得跟进,比如运动分支在遮挡和快速运动下的失效边界在哪,度量尺度的估计在室内外场景的偏差有多大。
四维这件事的难点从来不在模型结构,而在数据。能把"逐点运动真值"的获取成本降下来的团队,就更容易在下一代模型上取得优势。游戏引擎是一条路,仿真器是一条路,真实世界的多传感器采集是第三条路,三条路目前都还没有走到能规模化的程度。