Robust Depth Enhancement via Polarization Prompt Fusion Tuning (CVPR 2024)

研究介绍

本文提出了一个利用偏振成像改进各种深度传感器不准确深度测量的通用框架。现有的深度传感器在存在透明或反射物体的复杂场景中会提供不准确的深度值,而此前基于偏振的深度增强方法主要利用纯物理公式来处理单一传感器的数据。相比之下,本文所提出的方法采用深度学习,通过训练神经网络从偏振数据和来自不同传感器的传感器深度图来获得更稠密准确的深度图。本文提出了一种称为Polarization Prompt Fusion Tuning (PPFT)的策略,其利用在大规模RGB数据集上预训练的模型,在规模有限的偏振数据集上进行融合增强,从而有效地训练出更强大的深度增强模型。本文在一个公共数据集上进行了大量实验证明,与现有的深度增强基准方法相比,所提出的方法表现最佳。

图中数据来自偏振相机以及d-ToF深度传感器,本方法在具有挑战性的深度增强问题上产生准确的结果,包括深度补全、透明表面的深度修复、形状校正等。如图所示,透明水瓶处的深度被有效修复
本文所提出的偏振提示融合块(PPFB)将偏振光信息作为额外视觉提示输入,采用递进的方法依次融合到从预训练层提取的特征中

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

Zhaoxiang Zhang © 2020