旷视研究院获 CVPR 2023 自动驾驶国际挑战赛 OpenLane Topology 赛道冠军

这篇具有很好参考价值的文章主要介绍了旷视研究院获 CVPR 2023 自动驾驶国际挑战赛 OpenLane Topology 赛道冠军。希望对大家有所帮助。如果存在错误或未考虑完全的地方,请大家不吝赐教,您也可以点击"举报违法"按钮提交疑问。

近日,为期三个月的 CVPR 2023 自动驾驶国际挑战赛比赛结果揭晓。旷视研究院在OpenLane Topology 赛道中击败 30 余支国内外队伍,夺得冠军。

自动驾驶技术已经渗透到人们的日常生活中,但是传统的感知方法仍不能满足大家对 L5 级自动驾驶的追逐。CVPR 2023 自动驾驶国际挑战赛将自动驾驶技术分为对背景场景的理解、对前景物体的感知和对未来运动的规划三方面,并举办了四个不同赛道的竞赛,希望选手们通过深入探讨自动驾驶感知决策系统面临的任务和挑战,提升自动驾驶的性能表现。

旷视研究院获 CVPR 2023 自动驾驶国际挑战赛 OpenLane Topology 赛道冠军

图片来源:Challenge at CVPR 2023 Autonomous Driving Workshop | OpenDriveLab

OpenLane Topology赛道赛题介绍

为了更好的实现自动驾驶场景理解,现有场景感知任务从车道线分割、检测发展到车道中心线检测,但是车道线和车道线之间、车道线和交通标志之间的逻辑关系仍然没有得到合理的建模。OpenLane Topology 比赛[1]要求以车道中心线取代以往数据集中的车道边缘线,结合车道间的拓扑关系,直接得到车辆行驶的轨迹。

此外,本次比赛用到的数据集——OpenLane-Huawei 数据集首次对交通标识和其对车道的对应关系进行了标注,使每条车道都拥有实时的交通属性,来指引车辆在当前车道上对未来的自车行为有合理的倾向。本次比赛以给定环视相机图片作为输入,参赛者需要同时给出车道中线和交通元素的感知结果及拓扑关系的认知结果。主办方将根据各参赛队伍提交算法的 OLS(感知结果和拓扑关系预测 mAP 的平均)进行排名。

旷视夺冠算法介绍

拓扑关系的预测依赖于车道中心线和交通元素的感知结果,因此对于车道中心线和交通元素的感知非常重要,我们分别采用了不同的模型来完成这两个感知任务。

对于车道中心线检测任务来说,不同于以往的 3D 车道线检测任务,3D 车道中心线在图像中往往没有明显的几何特征。3D 车道中心线的检测往往需要根据周边的 3D 车道线的位置关系进行判断,因此 3D 车道中心线的检测需要较大的感受野。我们对比了现有的 3D 车道线检测框架,最终选择了旷视自研的 PETRv2 框架[2]作为 baseline。在 PETRv2 中,lane queries 会通过全局注意力机制和图像特征进行交互,具有全局的感受野。这种交互方式可以兼顾局部的细节特征和整体的结构特征,有利于对 3D 车道中心线的预测。

旷视研究院获 CVPR 2023 自动驾驶国际挑战赛 OpenLane Topology 赛道冠军

对于交通元素的检测任务,考虑到以往比赛的经验,我们选取了 YOLO 系列最新的模型 YOLOv8 模型[3]作为我们的 baseline。相比其他 2D 检测方法,它拥有更快的速度,更准确的性能。

旷视研究院获 CVPR 2023 自动驾驶国际挑战赛 OpenLane Topology 赛道冠军

结合 YOLOv8 和 PETRv2,我们进一步搭建了一个多阶段的网络框架,并将其拓展到拓扑关系的预测中。首先,我们使用一个预先训练好的 YOLOv8 模型,通过和前向视角图像交互来进行交通元素的检测任务,并生成对应的交通元素特征。PETRv2 模型通过和多视角图像特征交互来生成 3D 车道中心线检测结果和对应的车道中心线特征。这样设计是为了尽最大限度保证 2D 检测的性能,同时实现交通元素特征与车道中心线特征的特征对齐。基于两个任务的特征,我们将对应的特征进行拼接,然后分别使用了两组多层感知机预测对应的拓扑关系矩阵。

旷视研究院获 CVPR 2023 自动驾驶国际挑战赛 OpenLane Topology 赛道冠军

最终,我们的团队MFV(Megvii-Foundation model-Video)在 OpenLane Topology 挑战赛中凭借 OLS 指标的显著优势取得了第一名。

旷视研究院获 CVPR 2023 自动驾驶国际挑战赛 OpenLane Topology 赛道冠军

https://opendrivelab.com/AD23Challenge.html#Track1

[1] Wang, Huijie, et al. "Road Genome: A Topology Reasoning Benchmark for Scene Understanding in Autonomous Driving." arXiv preprint arXiv:2304.10440 (2023).

[2] Liu, Yingfei, et al. "Petrv2: A unified framework for 3d perception from multi-camera images." arXiv preprint arXiv:2206.01256 (2022).

[3] https://github.com/ultralytics/ultralytics.

旷视研究院获 CVPR 2023 自动驾驶国际挑战赛 OpenLane Topology 赛道冠军文章来源地址https://www.toymoban.com/news/detail-495781.html

到了这里,关于旷视研究院获 CVPR 2023 自动驾驶国际挑战赛 OpenLane Topology 赛道冠军的文章就介绍完了。如果您还想了解更多内容,请在右上角搜索TOY模板网以前的文章或继续浏览下面的相关文章,希望大家以后多多支持TOY模板网!

本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若转载,请注明出处: 如若内容造成侵权/违法违规/事实不符,请点击违法举报进行投诉反馈,一经查实,立即删除!

领支付宝红包 赞助服务器费用

相关文章

  • Tcsec安全研究院|fastjson漏洞分析

    fastjson 是一个 Java 库,可用于将 Java 对象转换为其 JSON 表示形式。它还可以用于将 JSON 字符串转换为等效的 Java 对象。Fastjson 可以处理任意的 Java 对象,包括没有源代码的预先存在的对象。 java 的核心就是对象的操作,fastjson 同样遵循这个原则利用get、set操作对象。将 User 对

    2024年02月13日
    浏览(19)
  • 中国电信研究院发布《5G+数字孪生赋能城市数字化应用研究报告》

    nbsp; nbsp; nbsp; nbsp;9月5日,中国电信研究院战略发展研究所联合中关村智慧城市产业技术创新战略联盟在2023年中国国际服务贸易交易会数字孪生专题论坛正式对外发布《5G+数字孪生赋能城市数字化应用研究报告》。nbsp; nbsp; nbsp; nbsp; nbsp;会上,中国电信研究院战略发展研究所副

    2024年02月09日
    浏览(24)
  • ThePASS研究院|以Safe为例,解码DAO国库管理

    本研究文章由ThePASS团队呈现。ThePASS是一家开创性的DAO聚合器和搜索引擎,在为DAO提供洞察力和分析方面发挥着关键作用。 随着去中心化自治组织(DAOs)的发展,它们被赋予了越来越多的角色和期望。在这种巨幅增长的背景下,资产管理成为一个至关重要的问题。随着DAO不断

    2024年02月10日
    浏览(15)
  • 中国联通软件研究院春招3场面试Offer面经

      本文介绍 2024届春招 中, 中国联通软件研究院广州分院 的 软件研发 岗位的 3 场面试基本情况、提问问题等。    2024 年 03 月投递了 中国联合网络通信有限公司 下属 软件研究院 的 软件研发 岗位,所在部门为 广州分院 。目前完成了一面、二面、三面,并有幸获得

    2024年04月10日
    浏览(52)
  • 双非生物医学硕士放弃研究院工作,零基础转型大数据开发

    点击上方 \\\" 大数据肌肉猿 \\\"关注, 星标一起成长 点击下方链接,进入高质量学习交流群 今日更新| 1052个转型案例分享-大数据交流群 分享学习群一位同学的大数据求职转型经验,他本科是二本机械方向,研究生是一本生物医学方向,原本考研就是为了转到计算机方向,因为分

    2023年04月08日
    浏览(18)
  • 微软亚洲研究院推出AI编译器界“工业重金属四部曲”

    编者按:编译器在传统计算科学中一直是一个重要的研究课题。在人工智能技术快速发展和广泛应用的今天,人工智能模型需要部署在多样化的计算机硬件架构上。同时,训练和部署大型人工智能模型时又对硬件性能有着更高的要求,有时还需根据硬件定制化代码。这些都对

    2024年02月16日
    浏览(18)
  • HTX研究院:坎昆升级完成,LRT(Liquid Restaking)赛道催化以太坊生态?

    随着坎昆升级的完成,以太坊及其相关生态代币价格在近期表现亮眼。同时,模块化概念项目和以太坊Layer2项目陆续推出主网,进一步推动了当前市场对以太坊生态的看好。流动性再质押(Liquid Restaking)叙事也因EigenLayer项目的爆火而开始吸引资本的关注。 但,从ETH - LST -

    2024年03月23日
    浏览(23)
  • 微软亚洲研究院多模态模型NÜWA:以自然语言创造视觉内容

    此前我们曾提出了一个问题:从文字脚本生成创意视频一共分几步?微软亚洲研究院的开放领域视频生成预训练模型给出了答案:只需一步。现在,我们追问:除了文字生成视频之外,还有哪些途径可以生成视频?我们能否使用自然语言对视觉内容进行编辑?微软亚洲研究院

    2024年02月04日
    浏览(17)

觉得文章有用就打赏一下文章作者

支付宝扫一扫打赏

博客赞助

微信扫一扫打赏

请作者喝杯咖啡吧~博客赞助

支付宝扫一扫领取红包,优惠每天领

二维码1

领取红包

二维码2

领红包