研究介绍
最近，世界模型的概念引发了广泛关注。我们首次提出了一种名为Drive-WM的全新多视图世界模型，旨在增强端到端自动驾驶规划的安全性。Drive-WM模型通过多视图世界模型，能够想象不同规划路线的未来情景，并根据视觉预测获取相应的奖惩反馈，从而优化当前的路线选择，为自动驾驶系统的安全提供了保障。 Drive-WM是与现有端到端规划模型兼容的第一个驾驶世界模型。通过视图因子分解促进的联合时空建模，我们的模型在驾驶场景中生成了高保真度的多视角视频。在其强大的生成能力基础上，我们首次展示了将世界模型应用于安全驾驶规划的潜力。对真实世界驾驶数据集的评估验证了我们的方法可以生成高质量、一致性和可控性的多视角视频，为真实世界的模拟和安全规划开辟了新的可能性。
论文链接：https://arxiv.org/abs/2311.17918
代码链接：https://github.com/BraveGroup/Drive-WM
Project Page: https://drive-wm.github.io
