Monocular Occupancy Prediction for Scalable Indoor Scenes (ECCV 2024)

研究介绍:

基于摄像头的3D占用预测最近在户外驾驶场景中引起了越来越多的关注。然而,室内场景的研究仍然相对未被探索。室内场景的核心差异在于场景尺度的复杂性和对象大小的差异。本文提出了一种新的方法,称为ISO,用于使用单目图像预测室内场景占用率。ISO利用预训练深度模型的优点来实现精确的深度预测。此外,我们在ISO中引入了双特征视线投影(D-FLoSP)模块,该模块增强了3D体素特征的学习。为了促进该领域的进一步研究,我们引入了Occ-ScanNet,这是一个用于室内场景的大规模占用基准。其数据集大小是NYUv2数据集的40倍,有助于未来室内场景分析的可扩展研究。在NYUv2和Occ-ScanNet上的实验结果表明,我们的方法达到了最先进的性能。

图1. ISO模型结构图
图2. ISO在NYUv2数据集的定性结果

论文链接:https://arxiv.org/pdf/2407.11730

代码链接:https://github.com/hongxiaoy/ISO

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注

Zhaoxiang Zhang © 2020