引言

Transformer架構(gòu)因其強大的序列處理能力和長距離依賴捕捉能力，在自然語言處理領(lǐng)域取得了巨大成功。近年來，這一架構(gòu)也被引入3D物體檢測領(lǐng)域，如Voxel Transformer等，顯著提升了模型在復雜場景下的檢測性能。OpenPCDet整合了多種先進的檢測模型，包括基于Transformer的架構(gòu)，為用戶提供了豐富的選擇。

環(huán)境搭建與數(shù)據(jù)準備

1. 安裝OpenPCDet: 確標Python環(huán)境，確保安裝PyTorch及OpenPCDet?？寺}庫后，執(zhí)行依賴安裝。

   參考：安裝、測試和訓練OpenPCDet：一篇詳盡的指南

2. nuScenes數(shù)據(jù)集: 從官方網(wǎng)站下載數(shù)據(jù)集，包含LiDAR、相機圖像、雷達等多模態(tài)數(shù)據(jù)，為訓練和評估準備。存放到相應的路徑。

?????????參考：nuscenes生成數(shù)據(jù)信息info

模型訓練

python train.py --cfg_file ./cfgs/nuscenes_models/transfusion_lidar.yaml

模型測試

python test.py --cfg_file ./cfgs/nuscenes_models/transfusion_lidar.yaml --batch_size 4 --ckpt ../checkpoints_office/cbgs_transfusion_lidar.pth

mAP: 0.5563
mATE: 0.3980
mASE: 0.4401
mAOE: 0.4530
mAVE: 0.4337
mAAE: 0.3143
NDS: 0.5743
Per-class results:
Object Class AP ATE ASE AOE AVE AAE
car 0.908 0.172 0.156 0.119 0.110 0.065
truck 0.771 0.151 0.145 0.018 0.092 0.014
bus 0.995 0.146 0.082 0.025 0.609 0.311
trailer 0.000 1.000 1.000 1.000 1.000 1.000
construction_vehicle 0.000 1.000 1.000 1.000 1.000 1.000
pedestrian 0.933 0.123 0.250 0.311 0.208 0.125
motorcycle 0.643 0.182 0.260 0.368 0.051 0.000
bicycle 0.510 0.150 0.181 0.237 0.401 0.000
traffic_cone 0.805 0.056 0.327 nan nan nan
barrier 0.000 1.000 1.000 1.000 nan nan
2024-06-06 18:13:44,866 INFO ----------------Nuscene detection_cvpr_2019 results-----------------
***car error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.17, 0.16, 0.12, 0.11, 0.07 | 82.63, 91.75, 93.79, 94.97 | mean AP: 0.907864441295618
***truck error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.15, 0.14, 0.02, 0.09, 0.01 | 73.73, 75.99, 78.95, 79.56 | mean AP: 0.7705777235003457
***construction_vehicle error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
1.00, 1.00, 1.00, 1.00, 1.00 | 0.00, 0.00, 0.00, 0.00 | mean AP: 0.0
***bus error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.15, 0.08, 0.02, 0.61, 0.31 | 99.49, 99.49, 99.49, 99.49 | mean AP: 0.9949294532627868
***trailer error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
1.00, 1.00, 1.00, 1.00, 1.00 | 0.00, 0.00, 0.00, 0.00 | mean AP: 0.0
***barrier error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
1.00, 1.00, 1.00, nan, nan | 0.00, 0.00, 0.00, 0.00 | mean AP: 0.0
***motorcycle error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.18, 0.26, 0.37, 0.05, 0.00 | 60.32, 64.65, 65.63, 66.58 | mean AP: 0.6429236754509353
***bicycle error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.15, 0.18, 0.24, 0.40, 0.00 | 50.24, 50.24, 50.24, 53.10 | mean AP: 0.5095299178346822
***pedestrian error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.12, 0.25, 0.31, 0.21, 0.12 | 91.35, 92.33, 93.59, 95.76 | mean AP: 0.9326112947913681
***traffic_cone error@trans, scale, orient, vel, attr | AP@0.5, 1.0, 2.0, 4.0
0.06, 0.33, nan, nan, nan | 80.48, 80.51, 80.51, 80.51 | mean AP: 0.805013454499808
--------------average performance-------------
trans_err: 0.3980
scale_err: 0.4401
orient_err: 0.4530
vel_err: 0.4337
attr_err: 0.3143
mAP: 0.5563
NDS: 0.5743

數(shù)據(jù)準備

1. 數(shù)據(jù)格式： OpenPCDet 支持?.npy?格式的點云數(shù)據(jù)和?.txt?格式的標注文件。
2. 標注格式： 標注文件每行代表一個目標框，格式如下：

x y z dx dy dz heading_angle category_name

其中，x, y, z?為目標框中心坐標，dx, dy, dz?為目標框尺寸，heading_angle?為目標框朝向角，category_name?為目標類別名稱。

1. 文件結(jié)構(gòu)： 數(shù)據(jù)集文件應按照以下目錄結(jié)構(gòu)組織：

OpenPCDet
├── data
│   ├── custom
│   │   │── ImageSets
│   │   │   │── train.txt
│   │   │   │── val.txt
│   │   │── points
│   │   │   │── 000000.npy
│   │   │   │── 999999.npy
│   │   │── labels
│   │   │   │── 000000.txt
│   │   │   │── 999999.txt
├── pcdet
├── tools

ImageSets?目錄包含數(shù)據(jù)集劃分文件?train.txt?和?val.txt，分別用于訓練和驗證。

注：如果沒有數(shù)據(jù)集，那就先使用kitti數(shù)據(jù)集。

配置文件修改

1. 點云特征： 修改?custom_dataset.yaml?中的?POINT_FEATURE_ENCODING?參數(shù)，根據(jù)自定義數(shù)據(jù)集的點云特征進行配置。
2. 點云范圍和體素尺寸： 對于基于體素的檢測器，如 SECOND、PV-RCNN 和 CenterPoint，需要設(shè)置點云范圍和體素尺寸。通常情況下，z 軸范圍和體素尺寸為 40，x 和 y 軸范圍和體素尺寸為 16 的倍數(shù)。
3. 類別名稱和錨框尺寸： 修改?custom_dataset.yaml?中的?CLASS_NAMES、MAP_CLASS_TO_KITTI?和?anchor_sizes?等參數(shù)，以匹配自定義數(shù)據(jù)集的類別名稱和錨框尺寸。
4. 數(shù)據(jù)增強： 修改?custom_dataset.yaml?中的?PREPARE?和?SAMPLE_GROUPS?等參數(shù)，進行數(shù)據(jù)增強和目標采樣。

文件路徑：如果想自己重新創(chuàng)建一個新的dataset, 那就可以仿著costom數(shù)據(jù)集合寫。
如果沒有就可以使用kitti數(shù)據(jù)集，
pcdet/datasets/custom/custom_dataset.py

創(chuàng)建數(shù)據(jù)信息文件

運行以下命令創(chuàng)建數(shù)據(jù)信息文件，用于訓練和評估：

python -m pcdet.datasets.custom.custom_dataset create_custom_infos tools/cfgs/dataset_configs/custom_dataset.yaml

訓練模型

使用修改后的配置文件，運行以下命令進行模型訓練：

python train.py --cfg_file tools/cfgs/dataset_configs/custom_dataset.yaml --batch_size 4 --epochs 24

評估模型

使用訓練好的模型，運行以下命令進行評估：

python test.py --cfg_file tools/cfgs/dataset_configs/custom_dataset.yaml --ckpt tools/cfgs/checkpoints/your_model.pth --eval all

結(jié)語

通過上述步驟，你不僅能成功地在OpenPCDet框架下訓練和測試基于Transformer的3D物體檢測模型，還能靈活地加載和處理自定義數(shù)據(jù)集。這不僅促進了模型的泛化能力，也為特定應用場景的定制化需求提供了可能。隨著數(shù)據(jù)集的多樣化和模型的持續(xù)優(yōu)化，未來在3D感知領(lǐng)域的應用將更加廣泛且精準。

關(guān)注我的公眾號auto_drive_ai（Ai fighting）, 第一時間獲取更新內(nèi)容。