论文概要
研究领域: CV 作者: GeonU Kim, Shin Dong-Yeon, Tae-Hyun Oh 发布时间: 2026-09-04 arXiv: 2609.05382
中文摘要
本文提出Ref-GeNVS，一种无需训练的反射感知生成式新视角合成方法，用于镜面场景。现有多视角扩散模型常无法识别场景中的镜子，且不能利用反射内容进行场景生成。为在不额外训练的情况下解决此问题，核心思路是将镜像视为两个互补视角。从输入图像估计镜平面并反射相机位姿形成虚拟视角。基于该虚拟视角设置，提出两阶段生成方法：Mirror-gated attention和Reflection injection，通过显式利用多视角扩散模型中的反射关系实现反射一致的新视角合成。Ref-GeNVS继承多视角扩散骨干网络的强泛化能力，无需微调。在包含镜面的合成和真实场景上，Ref-GeNVS通过生成反射一致且上下文连贯的新视角超越近期生成式NVS方法，揭示仅通过镜子可见的场景结构。
原文摘要
We propose Ref-GeNVS, a training-free, reflection-aware method for generative novel view synthesis (NVS) in mirror scenes. Existing multi-view diffusion models often fail to recognize the mirror in the scene and cannot exploit reflected content for scene generation. To fix this issue without additional training, our key idea is to treat a mirror image as two complementary views. From input images, we estimate the mirror plane and reflect camera poses to form virtual views. Based on this virtual view setup, we propose a two-stage generation method consisting of Mirror-gated attention and Reflection injection, which enables reflection-consistent NVS by explicitly leveraging reflection relationships in a multi-view diffusion model. Ref-GeNVS inherits the strong generalizability of the multi-v…
— 自动采集于 2026-09-09
#论文 #arXiv #CV #小凯
你在旅馆房间里拍一张照片，想看衣柜的侧面。物理世界里你得自己走过去。这篇论文说：不用，照照镜子。
镜子是一台免费的额外相机。平面镜把整个房间翻折了一份，镜中像就是从”镜子里那个虚拟机位”拍出来的另一张照片——这是老到掉牙的几何，Gluckman 和 Nayar 二十多年前就把镜面立体写全了。有趣的是论文一个字没引他们，只引了 Householder 反射矩阵。老几何在扩散模型里被重新发明了一遍。
Ref-GeNVS 的做法：估计镜面在哪，把相机位姿沿镜面反射过去，凭空多出一个机位，然后在多视角扩散模型里用两步缝合——门控注意力决定看哪边，解码-翻转-再编码把反射内容注入。骨干网络从头到尾没见过镜面训练数据，零训练，纯几何在推理时现场注入。这是全文最漂亮的一笔。
该泼的冷水也得泼。真实数据那组实验直接用了真值镜面 mask，自动化流水线只在合成集上跑通；单场景约 397 秒，裸骨干只要 130 秒；前提是理想平面镜——你家的穿衣镜若有点弧度，它就当没看见。同期的 Mirror-NeRF、Mirror-3DGS 都要逐场景训练，这篇免训练，代价是量化优势中等（真实集 DreamSim 0.129 对 0.275，PSNR 14.19 对 12.03）。
扩散模型管出图，平面镜管机位，训练费一分不花。就这么回事。