研究介绍:
我们提出了FreeSim,一种面向自动驾驶的相机模拟方法。FreeSim强调在记录的自车轨迹之外的视角上实现高质量渲染。在此类视角下,由于缺乏训练数据,以往方法存在不可接受的性能下降。为解决数据稀缺问题,我们首先提出了一种生成增强模型,并搭配匹配的数据构建策略。该模型能够在略微偏离记录轨迹的视角上生成高质量图像,条件是该视角的降质渲染。随后,我们提出了一种渐进式重建策略,从略微偏离轨迹的视角开始,逐步将未记录视角的生成图像加入重建过程,并逐步扩大偏离距离。通过这种渐进生成-重建流程,FreeSim支持在超过3米的大幅偏离下实现高质量的轨迹外视角合成。

