预测道路使用的未来姿势是自动驾驶系统中的一个关键挑战。正交鸟瞰视角通常用于基于 LiDAR 的预测。使用摄像头代替 LiDAR 会产生更精简、更便宜、分辨率更高的视觉识别系统。在鸟瞰图框架中操作基于相机的系统将有利于规划和控制。最近的一篇论文提出了第一个从单目相机视频鸟瞰图的未来预测模型。

该网络直接从驾驶数据中模拟未来的随机性。系统预测时间上一致的未来实例分割和运动。它还可以对未来的概率性质进行推理，并预测可能的和多模态的未来轨迹。结果表明，所建议的系统优于当前自动驾驶中的预测基线。

驾驶需要与道路代理人互动并预测他们未来的行为，以便安全驾驶。我们提出了 FIERY：一种单目相机鸟瞰图的概率未来预测模型。我们的模型预测了动态代理的未来实例分割和运动，这些动态代理可以转换为非参数化的未来轨迹。我们的方法通过直接从环绕 RGB 单目相机输入估计鸟瞰图预测，结合了传统自动驾驶堆栈的感知、传感器融合和预测组件。FIERY 学习以端到端的方式直接从摄像头驾驶数据对未来的固有随机性进行建模，而不依赖于高清地图，并预测多模态未来轨迹。我们表明，我们的模型在 NuScenes 和 Lyft 数据集上的表现优于之前的预测基线。代码可在这个 https 网址