Aximmetry：3D 동적 마스크 재구성

在电视转播、大型晚会和电竞直播中，AR（增强现实）虚拟元素的出圈应用早已屡见不见。 然而，当虚拟的巨龙盘旋在真实的体育馆上空，或者虚拟的摩天大楼从真实的舞台中央拔地而起时，技术团队必然会遭遇一个关乎空间秩序的底层阵痛：“虚实空间的深度遮挡失真（Occlusion Failure）”。

最经典的穿帮场景是： 当舞台上的歌手向前走动时，本该处于歌手身后的虚拟AR雕塑，由于缺乏精确的物理遮挡机制，依然强行叠加在歌手的身体前方。 这种“透视错乱”瞬间剥夺了AR元素的实体感，让整个表演退化成了拙劣的贴片涂鸦。

在原生虚幻引擎（UE5）中，要解决虚实遮挡极为棘手：

• 如果使用传统的 2D 垃圾遮罩（2D Garbage Matte），一旦摄像机发生机位摇移或推拉，静态的 2D 遮罩会因为透视不匹配（Parallax Error）而迅速错位穿帮。
• 如果在 UE5 内部利用复杂的“不透明度遮罩（Opacity Mask）”材质去强行裁剪三维场景，高频的材质更新会直接干扰引擎的渲染管线，引发严重的帧率抖动。

Aximmetry 凭借其独特的“三维动态遮罩（3D Garbage Matte & Occlusion）合成管线”，在 GPU 层面重构了虚实深度裁切，让 AR 元素在复杂的物理舞台中拥有了绝对正确的空间秩序。

一、 实体空间数字化：基于追踪数据绑定的 3D 垃圾遮罩技术

在真实的绿幕棚或实景演播室中，天花板上的吊灯、四周的灯架、以及绿幕边缘的物理死角，统称为“物理穿帮区”。 传统的抠像软件需要后期手动拉抠像遮罩（Matte），这在实时直播中是无法实现的。

Aximmetry 采用了“3D 垃圾遮罩（3D Garbage Matte）”技术，将物理世界进行几何数字化重构：

1. 舞台空间几何化（Stage Geometry Import）

在系统初始化阶段，标定工程师将物理演播室的简易 3D CAD 模型（包含绿幕的物理边界、灯架和承重柱的 3D 尺寸）导入 Aximmetry。

2. 追踪矩阵实时同步

在 Aximmetry 的流图中，这个虚拟的 3D 空间模型并不参与视觉渲染，而是与真实的摄像机追踪系统进行 1:1 的空间投影矩阵绑定（Projection Matrix Alignment）。 当真实摄像机在摇臂上划过弧线时，Aximmetry 内部的虚拟遮罩相机也在完全同步地转动。

3. GPU 级实时几何裁剪

Aximmetry 在 GPU 的合成最前端，将这个同步的 3D 模型渲染为一张实时的二值化遮罩图（Binary Matte）。 凡是处于 3D 模型实体范围之外的区域（即物理穿帮区），其像素在进入抠像器之前就被强行剔除并替换为虚拟 3D 背景。 由于这个几何裁剪是在 Aximmetry 底层利用轻量级的像素着色器直接完成的，虚幻引擎完全不需要承担任何物理空间的几何计算，成功在源头上消灭了物理穿帮。

二、 动态 Actor 的深度分形：场景深度通道（Scene Depth）的像素级比对

当解决完背景穿帮后，更具挑战性的是“动态演员与 AR 元素的双向穿梭遮挡”——例如，歌手绕着一根虚拟的古希腊石柱做 360 度的环绕走动。

这要求系统在每一帧的毫秒级时间内，做出像素级的深度判定（Depth Test）。

Aximmetry 避开了在 UE 内部进行繁琐网格体重构的传统套路，开发了“像素级深度重投影与合成（Per-Pixel Depth Reprojection）”管线：

1. 提取 UE5 场景深度图（Scene Depth Pass）

Aximmetry 通过其高带宽的数据通道，从虚幻引擎的渲染管线中，实时提取出当前帧无压缩的场景深度缓冲图（Scene Depth Map）。 这张图记录了虚拟石柱、虚拟墙壁距离相机的绝对物理距离。

2. 重构实拍人物的“深度阻挡体（Depth Block）”

通过前文提到的动态广告牌定位，Aximmetry 根据追踪系统传回的摄像机与歌手的物理距离，在 3D 空间内为歌手分配一个动态的深度值。

3. 像素级深度比较（Pixel-by-Pixel Depth Comparison）

在 Aximmetry 的 2.5D 合成器中，GPU 着色器对每一个像素进行裁决：

• 凡是歌手像素所在深度小于虚拟场景深度（歌手靠前）的区域，直通输出歌手的实拍画面，遮挡住虚拟石柱；
• 凡是歌手像素所在深度大于虚拟场景深度（歌手走到柱子后）的区域，则用虚拟石柱的像素覆写。

这种基于 GPU 的硬件级像素裁决，反应时间低于 0.1 毫秒，且能够以完美的分辨率，实时、丝滑地处理任何复杂的交叉穿梭，彻底终结了 AR 合成中的“穿模”尴尬。

三、 消除“硬边缘”：基于运动矢量与半影羽化的动态遮罩平滑

在快速运动中，硬生生的三维裁切会在虚实边缘产生极为难看的锯齿和高频闪烁，尤其是在摄像机快速摇移、或者歌手快速挥手时，硬边缘会瞬间暴露人工合成的痕迹。

Aximmetry 在合成的最末端，部署了一套“基于运动矢量的半影羽化（Penumbra Feathering）”算法：

1. 运动模糊重构（Motion Blur Reconstruction）

Aximmetry 提取虚幻引擎渲染出的运动矢量图（Motion Vector Map），该图记录了虚拟场景中每个像素在前后两帧之间的移动方向和速度。 在合成深度遮挡的边缘时，算法会根据该点的运动矢量大小，对遮罩边界执行自适应的方向性模糊。 如果摄像机正在快速向左摇移，遮挡边缘会自动向右产生符合物理相机快门开角的运动拖尾。

2. 亚像素级半影羽化（Sub-pixel Softening）

在深度突变的交界处，Aximmetry 利用高阶差值算法对 Alpha 遮罩进行亚像素级的羽化收缩。 它能完美保留歌手飞扬的头发、飘动的衣角在虚拟元素前后的半透明过渡，让虚实交融的边界过渡得如丝般顺滑。

结语：重建虚实空间的几何铁律

在增强现实（AR）的制作中，“看得见”只是第一步，“碰得到、挡得住”才是实现终极沉浸感的黄金分割线。 没有严密的物理空间遮挡，再绚丽的虚拟元素也只是一张漂浮在空中的海报。

虚幻引擎 5 勾勒出了恢弘的数字奇观，但在面对现实世界瞬息万变、没有网格体拓扑的真实演员时，它无法独自在 3D 深度世界中重建秩序。

Aximmetry 凭借其精密的流图设计和强大的 GPU 二维/三维混合合成引擎，在虚实两个世界之间充当了最严厉的“几何法官”。

它通过轻量化的 3D 垃圾遮罩屏蔽物理穿帮、利用像素级场景深度比对解决动态穿梭遮挡，再辅以运动矢量与亚像素羽化熨平视觉边界。 Aximmetry 强行在像素和几何层面重建了不可动摇的空间铁律，让虚拟的 AR 元素与真实的物理舞台，完成了一次真正意义上的时空咬合。