作者 | ADLab  编辑 | OpenDataLab

点击下方卡片,关注“自动驾驶之心”公众号

ADAS巨卷干货,即可获取

点击进入→自动驾驶之心【语义分割】技术交流群

后台回复【分割综述】获取语义分割、实例分割、全景分割、弱监督分割等超全学习资料!

f0f6972599745e7527704c3e12f356e3.png

PCSeg高性能点云分割开源框架

点云语义分割任务旨在将点云中的每个点分配类别甚至实例标签。然而,作为自动驾驶3D感知的关键任务之一,现有开源工具箱大多仅围绕室内场景进行,缺乏对室外场景的支持。于是,上海人工智能实验室智能交通平台组(ADLab)发布PCSeg高性能点云分割开源框架,在Waymo Open Dataset和SemanticKITTI等公开数据集上支持了多种SOTA算法,并提供了强基线复现模型。

代码地址:https://github.com/PJLab-ADG/PCSeg

PCSeg专注于自动驾驶领域的室外点云分割,致力于推动三维场景理解及其相关领域的统一和繁荣。在PCSeg的帮助下,开发团队以追求公平、效率和性能的方式,在通用的大规模点云数据集上对各种方法进行基准(Benchmark)测试。

350126a38224b58a028238a4e3f4c8b1.gif

719803d3f54c6cd6513b4b64940c4814.gif

4a470b80de88b7646accd6228ef577e4.gif

8334aaeec953d3cdf2459408314d892b.gif

6ae285beb1b1f9d65d746fe2de48944f.gif

3326cbea1c06fce24d563f4463ba36e1.gif

PCSeg在拥有较高训练速度及推断速度的同时,对几种SOTA算法的实现分割精度均超过了原论文报告的分割精度。目前,PCSeg支持MinkowskiNet、Cylinder3D、SPVCNN、RPVNet的高精度复现;并支持SemanticKITTI、ScribbleKITTI、Waymo Open Dataset在内的数据集,后续会提供对A2D2、nuScenes的支持;同时也会在近期更新Panoptic nuScenes、Panoptic SemanticKITTI、4D Panoptic SemanticKITTI等对全景分割任务的数据与方法支持。

下表为在几个SOTA方法在SemanticKITTI数据集上的PCSeg实现性能和原论文报告性能,可以看到,PCSeg实现的SPVCNN和MinkowskiNet相比原论文报告的性能具有显著优势。

ba5521a7c40a8057be21d09f0d1a5219.png

PCSeg框架的深度学习逻辑由PyTorch实现,整体采用简洁易懂的模块化编程。在架构上部分参考了OpenPCDet框架[5],故而对熟悉点云领域的研究和工程人员比较友好。所有模型结构和超参数由Yaml文件控制,并为SemanticKITTI数据集上的几个代表性方法提供了预训练模型参数。

e42eb48f8a23cc6754748a6b586c679f.png

已支持的大规模点云数据集

● SemanticKITTI

下载地址:

https://opendatalab.com/SemanticKITTI

● ScribbleKITTI

下载地址:

https://github.com/ouenal/scribblekitti

● Waymo

下载地址:

https://opendatalab.com/Waymo

参考资料

[1] 4D Spatio-Temporal ConvNets: Minkowski Convolutional Neural Networks

[2] Cylindrical and Asymmetrical 3D Convolution Networks

for LiDAR Segmentation

[3] Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution

[4] RPVNet: A Deep and Efficient Range-Point-Voxel Fusion Network for LiDAR Point Cloud Segmentation

[5] OpenPCDet Toolbox for LiDAR-based 3D Object Detection

cf259ccff0ce41743b3a0d553692852f.png

国内首个自动驾驶学习社区

近1000人的交流社区,和20+自动驾驶技术栈学习路线,想要了解更多自动驾驶感知(分类、检测、分割、关键点、车道线、3D目标检测、多传感器融合、目标跟踪、光流估计、轨迹预测)、自动驾驶定位建图(SLAM、高精地图)、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布,欢迎扫描下方二维码,加入自动驾驶之心知识星球,这是一个真正有干货的地方,与领域大佬交流入门、学习、工作、跳槽上的各类难题,日常分享论文+代码+视频,期待交流!

3a606aa4d004f7f8402d1d86f673a011.jpeg

自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区,聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向;

c870dba622372be7ef685b117e81925d.jpeg

添加汽车人助理微信邀请入群

备注:学校/公司+方向+昵称

Logo

瓜分20万奖金 获得内推名额 丰厚实物奖励 易参与易上手

更多推荐