浪潮信息:自动驾驶多摄像头BEV场景表示论文入选CVPR 2022

(全球TMT2022年7月5日讯)近日,在国际计算机与模式识别会议CVPR 2022期间,浪潮信息AI团队提交的论文《Scene Representation in Bird's-Eye View from Surrounding Cameras with Transformers(基于Transformer的多摄像头BEV场景表示)》成功入选。论文提出了一种基于Transformer的图像-BEV特征转换框架,能够生成有效的环境表示,可以提升自动驾驶车辆对周围环境的感知能力。CVPR是计算机视觉领域三大世界顶级会议之一。

模型架构图
模型架构图

浪潮信息AI团队研究了如何利用环形摄像头阵列来对BEV视角的环境进行特征表示。他们设计了一种基于Transformer的编解码模块,将图像特征转换为对应的BEV特征。为验证转换后的BEV特征的有效性,论文引入了三个分割任务:车辆分割、道路分割和车道线分割。整个模型框架如下图所示,由环形摄像头阵列采集的图像,通过共享的图像编码器得到各种的图像特征。然后,CBTR(Camera-BEV Transformation)模块将图像特征转换为对应的BEV特征。最后,利用生成的BEV特征图,多个检测头分别完成各自的分割任务。