Aximmetry:实景外延物理缝合

在扩展现实(XR)与混合现实(MR)的拍摄现场,当摄像机进行大范围摇移、镜头视线逸出物理 LED 墙的边界时,系统必须启用“实景外延(Set Extension)”技术。

它要求系统以极速的响应,用虚幻引擎 5(UE5)渲染的虚拟背景,实时、天衣无缝地填满 LED 屏幕之外的空白区域。

然而,当技术总监(TD)试图在原生 UE5 架构下完成这种“虚实缝合”时,两股力量会在物理 LED 墙的边缘爆发出剧烈的“空间撕裂”

  1. 透视与节点滑移(Parallax & Nodal Slip): 由于追踪系统的微毫级延迟,以及物理相机光学节点(Nodal Point)与追踪传感器(Tracker)之间的物理偏移(Nodal Offset),在相机运动时,LED 墙内的“实拍+背景”与外围的“纯虚拟外延”在交界处会产生极其显眼的错位滑移(Drifting)
  2. 边缘畸变折断(Distortion Breakage): 真实镜头必然存在光学畸变,且越往镜片边缘畸变越剧烈。当一根虚拟的柱子横跨 LED 边界时,LED 墙内的部分由于实拍镜头畸变产生了弯曲,而外延部分作为纯数字渲染信号却是绝对笔直的,导致柱子在交界处直接“折断”。
  3. 光度学色温断层(Color Discrepancy): 物理 LED 屏幕由于发光材质和视角(Viewing Angle)衰减,在边缘处会产生发黄、发暗的偏色;而数字外延则是完美的 RGB 信号,导致缝合线两侧出现刺眼的明暗断层。

Aximmetry 凭借其专为空间几何纠偏设计的“三维重投影与畸变统一合成管线(Distortion Unification Pipeline)”,在 GPU 显存底层对虚实交界进行了物理级缝合。


一、 视差消融:基于双向重投影矩阵的空间对齐

为了让外延虚拟背景与 LED 墙内的透视达到绝对的一致,Aximmetry 拒绝使用简单的二维画面拼接,而是在 GPU 内部重构了双向重投影(Homography Reprojection)算法:

1. 物理 LED 几何模型数字化

Aximmetry 在其流图空间中,以 sub-millimeter(亚毫米)精度,1:1 重构了物理 LED 墙的空间几何拓扑(包含弧度、倾角和物理锚点坐标)。

2. 光学节点实时补偿

系统实时抓取 6DOF 追踪数据,并在底层应用一个三维变换矩阵(3D Transform Matrix),将追踪器的原点精准换算到镜头的物理光学节点。 这一算法消除了因物理相机转动时由于“追踪器绕镜头公转”引发的杠杆误差(Lever Arm Error),确保了 LED 内部渲染(Inner Frustum)与外延渲染(Set Extension)共享同一个绝对确定的视轴中心。

3. 三维深度重投影

Aximmetry 将外延场景的 3D 深度图与实拍视频进行实时像素级融合。 通过将两路画面投影到同一个标准视椎体(Standard Frustum)中,消灭了任何因网络数据到达先后顺序不同而产生的“透视滑移”,让虚实结合处在空间几何上保持刚性粘合。


二、 畸变统一:GPU 级的去畸变与重畸变级联管线

要解决交界处“线条折断”的光学灾难,必须让纯数字渲染的外延背景,实时“传染”上与物理相机镜片一模一样的光学畸变属性。

Aximmetry 部署了一套“去畸变-拼接-重畸变”级联像素着色器:

1. 动态读取高阶畸变参数

Aximmetry 实时提取标定得出的镜头径向畸变(Radial Distortion, K1/K2/K3)和切向畸变(Tangential Distortion, P1/P2)参数。

2. 逆向去畸变缝合(Undistort & Merge)

在合成前一毫秒,Aximmetry 的 GPU 着色器先对输入的实拍相机画面(包含 LED 墙内场景)执行逆向畸变映射(Undistort),将其拉伸回绝对完美的线性空间(Linear Space)。 在双方都是绝对笔直、无畸变的状态下,Aximmetry 在 GPU 显存中对内、外两路画面进行像素拼接。

3. 全局重畸变还原(Global Redistort)

拼接完成后的完整画面,整体通过 Aximmetry 的高阶畸变着色器进行重畸变(Redistort)运算。 整幅画面(包括物理 LED 部分与虚拟外延部分)统一被赋予了与真实镜片边缘一致的物理弯曲和色散(Chromatic Aberration)。 这使得任何横跨虚实边界的线条、物体,其弯曲弧度在像素级别达到了绝对连续,视觉上的“空间骨折”被彻底治愈。


三、 光度消隐:边缘物理光衰补偿与自适应羽化

在物理世界中,LED 屏幕在侧面视角度下存在本能的光衰(Vignetting)和色偏。 Aximmetry 在合成的最后关口,利用“光度学差值均衡器(Photometric Equalizer)”抹平了这道冷冰冰的物理界限:

1. 建立 LED 边缘光衰曲线

Aximmetry 的色彩引擎预先扫描并记录下物理 LED 墙在不同摄影机拍摄角度下的亮度衰减曲线(Vignetting Profile)与色温偏移值。

2. 动态色度补偿

当相机移动到侧面时,Aximmetry 实时计算相机视线与 LED 墙面法线的夹角。 系统自动、动态地向数字外延背景像素中注入微弱的色温补偿与 Gamma 衰减,使外延画面主动去迎合、匹配物理 LED 屏幕侧向视角的“灰暗与发黄”。

3. 亚像素自适应羽化(Soft Blending)

在最终的缝合线边缘,Aximmetry 采用了一套基于高频亮度比对(Luminance-Based)的自适应羽化蒙版(Adaptive Blend Mask)。 它在交界处实施一个非线性的 Alpha 渐变,将硬边缘打散并溶解在几个像素的微小宽度内。 这使得物理 LED 墙的边界线,彻底在观众的眼皮底下“物理隐形”。


结语:重铸碎裂的空间

实景外延是 XR 舞台打破物理空间限制、走向无限广袤的钥匙。 但若无法攻克虚实拼接处在几何、畸变和光度学上的重重断层,这把钥匙只会沦为穿帮的铁证。

虚幻引擎 5 勾勒出了无垠的数字疆域,但它无法感知物理镜头的玻璃折射,也无法预知物理 LED 屏幕的发光物理缺陷。

Aximmetry 在此展现了其作为工业级中控的刚性手腕。

它用空间重投影消灭视差滑移,用 GPU 级畸变级联管线熨平折断的几何,用光度学补偿消融偏色边界。 Aximmetry 在光子和像素的源头重铸了碎裂的空间秩序,让有限的物理舞台与无限的数字宇宙,在极速流转的镜头中,凝结成了同一套坚不可摧的物理现实。

AeroCore图片