「3D Gaussian Splatting 攻入游戏引擎:手机视频变可行走场景,4DGS 让 splat 动起来」
> 当”拍一段手机视频就能生成可走进去的 3D 场景”变成游戏资产平台上的一个按钮,splat 才真正从技术 demo 变成无聊的基础设施。
一、引擎各自为政,但 splat 已经进厂了
Khronos 的 KHR_gaussian_splatting 扩展仍卡在 release-candidate,错过了 Q2 2026 的批准窗口(Q2 已于 6/30 结束,8/10 仍未正式批准)。于是各引擎各搞一套互不兼容的格式:Godot 用社区 GDGS 插件(.ply + Compute/Raster 双渲染路径),Unity 用 Aras 的 UnityGaussianSplatting(.ply),Unreal 5.7 靠 Luma AI / Polycam 第三方插件;只有 Cesium 原生跟踪 Khronos 扩展(地理数字孪生场景)。社区插件现实性能上限约 60 fps(<100 万高斯),RTX 3060 / RX 6600 级硬件。
graph LR K[Khronos KHR_gaussian_splatting RC停滞] –> G[Godot:GDGS .ply] K –> U[Unity:UnityGaussianSplatting .ply] K –> E[Unreal:Luma/Polycam 第三方] K –> C[Cesium:原生跟踪扩展] G –> X[格式割裂 互操作难] U –> X E –> X
二、World Labs + HTC VIVE:把 AI 生成的 splat 变成可行走的 UE 场景
World Labs 与 HTC VIVE 推出工作流:用 Marble 世界模型生成 3D 环境,经 VIVE Mars Nova 3DGS 插件导入 Unreal Engine 5.4–5.6,输出 .ply/.spz。关键是可配置碰撞,让角色/相机能”走”进 AI 生成的几何,而非仅作平面投影。Moonshine Studio XR 实测一个下午生成 10+ 环境,从提示词到实拍合成只要几小时——虚拟制片的时间成本被大幅压低。
flowchart LR A[文本/图像提示] –> B[Marble世界模型] B –> C[Gaussian splat .ply/.spz] C –> D[VIVE Mars Nova 插件] D –> E[Unreal Engine] E –> F[配置碰撞+导航] F –> G[角色可行走的高保真场景]
三、Volinga 4DGS 与腾讯 HY World:让 splat 动起来、让捕捉变按钮
– Volinga 把动画捕捉序列(逐帧 PLY)压成单个 NVOL 资产,在 Unreal 实时回放,支持 UE 5.8 + DLSS + 子关卡流式 + Sequencer——静态 splat 不能骨骼动画的短板,被”4DGS(时间维)”补上: performer、车辆、水流都能在镜头里动。 – Scenario(游戏资产平台)8/3 接入腾讯 HY World Multi-view to Splat:2–64 张重叠照片或一段手机视频 → 最高 1500 万点 Gaussian splat,无需相机标定、无需 COLMAP。它并行跑三个 splat 引擎(World Labs Marble、HunyuanWorld、VAST TripoSplat),把”扫一条办公室后巷”从摄影测量项目变成一次手机录像。
timeline title 3DGS 从”3D相册”到”物理底座” 2024 : 静态splat惊艳但只是相册 CVPR2026 CaT-GS : 借游戏引擎帧间缓存 大场景渲染提速10x Volinga 4DGS : 动画splat实时回放 突破静态限制 世界模型捕捉 : 手机视频一键转可行走splat
四、值得关注的逻辑
splat 这两年忙着证明”好看”,现在开始证明”无聊”:能作为合规、可审计、与现有美术流程同抽屉的基础设施存在。真正的里程碑不是模型赢 benchmark,而是它作为一个按钮出现在你已经在用的工具旁边。结构性的刺也还在——splat 不能骨骼动画、碰撞需逐对象手动、格式未统一。CVPR 2026 的 CaT-GS(上海交大+UIUC,arXiv:2607.17842)用游戏引擎的缓存与推测调度把大场景渲染提速 10×,正是冲着”让 splat 进得了 shipping build”去的。
参考来源
– BitSoul《Gaussian splatting missed glTF’s Q2 deadline》 – IK3D《Scenario + Tencent HY World: phone video to splat》 – TheNextGenTechInsider《World Labs and HTC VIVE Enable Walkable 3D in Unreal》 – VP Land《Volinga Adds 4D Gaussian Splatting to Unreal》 – 腾讯新闻《CaT-GS: CVPR 2026 借游戏引擎缓存 3DGS 提速 10×》

讲个生活里的类比。你用手机拍了一段后巷,想走进去逛——传统摄影测量得像考试一样先量相机、再对点、再建网格,麻烦得让人放弃。Gaussian Splatting 的思路更像:“别建模了,直接把每个点记成一团会发光的小云,相机一转它们自己就糊出正确的画面。”
但问题来了:这团云现在还没“身份证”。Khronos 的 KHR_gaussian_splatting 标准卡在候选阶段,错过今年 Q2 批准窗口,于是 Godot、Unity、Unreal、Cesium 各搞各的格式,互相不认。社区插件性能上限约 60fps、不到 100 万高斯,得 RTX 3060 级显卡才扛得住。
几个有意思的进展标题没说:
– World Labs 的 Marble 世界模型 + HTC VIVE 插件,能把 AI 生成的 splat 导进 Unreal 5.4–5.6 还能配碰撞,角色真能“走”进去,一个下午生成 10+ 环境;
– Volinga 的 4DGS 把逐帧动画压成单个 NVOL 资产,静态 splat 不能骨骼动画的短板被“时间维”补上了;
– 腾讯 HY World 接进 Scenario:2–64 张照片或一段手机视频 → 最高 1500 万点 splat,不用标定、不用 COLMAP;
– 上海交大+UIUC 的 CaT-GS(arXiv:2607.17842)借游戏引擎帧间缓存,把大场景渲染提速 10×,700 万高斯还能跑 200+ FPS。
反自欺:splat 现在忙着证明“好看”,还没证明“无聊”——不能骨骼动画、碰撞要手调、格式没统一,进 shipping build 还早。
收尾钉子:看 CaT-GS 这类提速能不能把 700 万高斯压进主机游戏的实时帧率,那才是 splat 从技术 demo 变“无聊的基础设施”的拐点。