戰(zhàn)應(yīng)用、模型可視化與MMDetection3D集成之路)
從論文到落地SPVNAS實(shí)戰(zhàn)應(yīng)用、模型可視化與MMDetection3D集成之路【免費(fèi)下載鏈接】spvnas[ECCV 2020] Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution項(xiàng)目地址: https://gitcode.com/gh_mirrors/sp/spvnasSPVNAS 是 ECCV 2020 論文《Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution》的官方開源項(xiàng)目。它通過稀疏點(diǎn)-體素卷積 自動(dòng)網(wǎng)絡(luò)搜索AutoML為激光雷達(dá)點(diǎn)云語義分割自動(dòng)找到精度-算力的最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)是 3D 視覺與 AutoML 交叉領(lǐng)域的經(jīng)典之作。本文面向新手手把手帶你完成環(huán)境搭建、預(yù)訓(xùn)練模型測(cè)試、點(diǎn)云可視化、自行訓(xùn)練以及 MMDetection3D 生態(tài)集成。1. 為什么 SPVNAS 值得關(guān)注 激光雷達(dá)點(diǎn)云是稀疏、無結(jié)構(gòu)的數(shù)據(jù)傳統(tǒng)稠密 3D 卷積算力開銷極大。SPVNAS 的解法很直接稀疏卷積底座只在有點(diǎn)的位置計(jì)算SPVCNN 基線大幅降低 MACs自動(dòng)結(jié)構(gòu)搜索在超網(wǎng)中搜索不同算力預(yù)算下的最優(yōu)子網(wǎng)無需人工調(diào)參實(shí)戰(zhàn)成績(jī)過硬SemanticKITTI 排行榜曾達(dá) SOTA最高 64.7 mIoU2021 年 NuScenes 激光雷達(dá)語義分割挑戰(zhàn)賽第一名、全景分割挑戰(zhàn)賽第二名。項(xiàng)目?jī)?nèi)置了一個(gè)模型動(dòng)物園model_zoo.py按算力預(yù)算提供多檔預(yù)訓(xùn)練模型模型參數(shù)量 (M)MACs (G)mIoUSemanticKITTI_val_SPVNAS20GMACs3.320.061.5SemanticKITTI_val_SPVCNN30GMACs5.530.060.7SemanticKITTI_val_SPVNAS35GMACs7.034.763.5SemanticKITTI_val_SPVNAS65GMACs10.864.564.7 規(guī)律很明顯SPVNAS 搜出的模型在更低算力下取得更高 mIoU這正是高效架構(gòu)搜索的價(jià)值所在。2. 環(huán)境搭建從零到可運(yùn)行的最快路徑 項(xiàng)目基于 PyTorch TorchSparse 構(gòu)建推薦用 conda 一鍵搭好環(huán)境git clone https://gitcode.com/gh_mirrors/sp/spvnas conda create -n torch python3.7 conda activate torch conda install pytorch torchvision torchaudio cudatoolkit10.2 -c pytorch conda install numba opencv pip install torchpack?? 注意兩個(gè)硬性要求Python 版本在 3.6~3.7 之間且依賴 torchsparse 需要與你的 CUDA 版本匹配編譯 CUDA 后端。3. 數(shù)據(jù)準(zhǔn)備SemanticKITTI 數(shù)據(jù)集按官方說明下載 SemanticKITTIKITTI Odometry 語義標(biāo)簽將sequences文件夾下所有內(nèi)容解壓到/dataset/semantic-kitti應(yīng)看到00~21共 22 個(gè)序列目錄每個(gè)含velodyne和labels子目錄數(shù)據(jù)加載與體素化邏輯集中在core/datasets/semantic_kitti.py默認(rèn)體素大小 0.05m、每幀采樣 8 萬點(diǎn)等超參見configs/semantic_kitti/default.yaml。4. 一鍵測(cè)試預(yù)訓(xùn)練模型3 行命令出結(jié)果 ?想快速驗(yàn)證效果無需訓(xùn)練一條命令即可評(píng)估任意檔位的預(yù)訓(xùn)練模型權(quán)重會(huì)自動(dòng)下載到本地.torch/目錄并緩存torchpack dist-run -np 1 python evaluate.py configs/semantic_kitti/default.yaml --name SemanticKITTI_val_SPVNAS65GMACs把--name換成上表任意模型名即可切換。評(píng)估入口是evaluate.pymIoU 等指標(biāo)回調(diào)在core/callbacks.py中實(shí)現(xiàn)。5. 模型可視化親眼看看點(diǎn)云被分成了什么 項(xiàng)目自帶可視化腳本visualize.py支持open3d與mayavi兩種渲染后端默認(rèn) open3d會(huì)把每個(gè)點(diǎn)按 19 個(gè)語義類別著色——道路、行人、車輛、植被一目了然運(yùn)行方式# 有顯示器的機(jī)器直接運(yùn)行 python visualize.py # 無顯示器的服務(wù)器用 xvfb 虛擬顯示 xvfb-run --server-args-screen 0 1024x768x24 python visualize.py有.label真值文件時(shí)腳本還會(huì)額外輸出一張 Ground Truth 對(duì)比圖方便直觀檢驗(yàn)分割質(zhì)量。6. 從零訓(xùn)練自己的 3D 語義分割網(wǎng)絡(luò) ?訓(xùn)練 SPVCNN / MinkUNet 基線模型只需切換配置文件# 多卡分布式訓(xùn)練 torchpack dist-run -np 4 python train.py configs/semantic_kitti/spvcnn/cr0p5.yaml # 單卡、無需 MPI python train.py configs/semantic_kitti/spvcnn/cr0p5.yaml --distributed False配置文件極簡(jiǎn)比如configs/semantic_kitti/spvcnn/cr0p5.yaml只指定了模型名和壓縮率cr: 0.5其余超參SGD、余弦學(xué)習(xí)率等繼承自configs/semantic_kitti/default.yaml改一行即可復(fù)現(xiàn)。訓(xùn)練主邏輯在train.py網(wǎng)絡(luò)骨架位于core/models/semantic_kitti/spvnas.py、spvcnn.py、minkunet.py稀疏算子封裝在core/modules/。7. MMDetection3D 集成走向更大的 3D 感知生態(tài) 2023 年 3 月起SPVNAS 已被官方集成進(jìn) MMDetection3D對(duì)應(yīng)其configs/spvcnn配置系列。這意味著你可以直接在 MMDetection3D 生態(tài)中調(diào)用 SPVCNN/SPVNAS 骨干統(tǒng)一使用其訓(xùn)練/評(píng)估/部署流水線便于把點(diǎn)云語義分割與檢測(cè)、全景分割等任務(wù)放在同一套框架下實(shí)驗(yàn)對(duì)新團(tuán)隊(duì)來說用 MMDetection3D 入門后幾乎零成本接入 SPVNAS是 3D 感知項(xiàng)目的實(shí)用組合。8. 項(xiàng)目結(jié)構(gòu)與上手路線 spvnas/ ├── train.py / evaluate.py / visualize.py # 訓(xùn)練 / 評(píng)估 / 可視化入口 ├── model_zoo.py # 預(yù)訓(xùn)練模型下載與加載 ├── tutorial.ipynb # Colab 可跑的交互式教程 ├── configs/semantic_kitti/ # 各模型 YAML 配置 └── core/ ├── datasets/semantic_kitti.py # 數(shù)據(jù)加載 ├── models/semantic_kitti/ # SPVNAS / SPVCNN / MinkUNet ├── modules/ # 稀疏卷積等網(wǎng)絡(luò)模塊 └── trainers.py / callbacks.py # 訓(xùn)練器與 mIoU 回調(diào)新手路線建議先看 tutorial.ipynb 跑通 Demo → 再測(cè)預(yù)訓(xùn)練模型 → 最后嘗試自訓(xùn)。9. 常見問題速查 ?裝不上 TorchSparse確認(rèn) CUDA 版本與 pip 安裝時(shí)編譯環(huán)境一致必要時(shí)先裝好對(duì)應(yīng)cudatoolkit復(fù)現(xiàn) mIoU 有 ±0.5 波動(dòng)正?，F(xiàn)象來自 CUDA 后端浮點(diǎn)原子加法的非確定性內(nèi)存不夠降低configs/semantic_kitti/default.yaml中的num_points與batch_size。從論文公式到torchpack dist-run一行命令SPVNAS 把高效 3D 架構(gòu)搜索變成了開箱即用的工具鏈。配合 MMDetection3D 集成它已成為點(diǎn)云語義分割落地的高性價(jià)比選擇——現(xiàn)在就去 clone 倉庫跑通你的第一張點(diǎn)云分割可視化吧【免費(fèi)下載鏈接】spvnas[ECCV 2020] Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution項(xiàng)目地址: https://gitcode.com/gh_mirrors/sp/spvnas創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 從論文到落地：SPVNAS實(shí)戰(zhàn)應(yīng)用、模型可視化與MMDetection3D集成之路
從論文到落地SPVNAS實(shí)戰(zhàn)應(yīng)用、模型可視化與MMDetection3D集成之路【免費(fèi)下載鏈接】spvnas[ECCV 2020] Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution項(xiàng)目地址: https://gitcode.com/gh_mirrors/sp/spvnasSPVNAS 是 ECCV 2020 論文《Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution》的官方開源項(xiàng)目。它通過稀疏點(diǎn)-體素卷積 自動(dòng)網(wǎng)絡(luò)搜索AutoML為激光雷達(dá)點(diǎn)云語義分割自動(dòng)找到精度-算力的最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)是 3D 視覺與 AutoML 交叉領(lǐng)域的經(jīng)典之作。本文面向新手手把手帶你完成環(huán)境搭建、預(yù)訓(xùn)練模型測(cè)試、點(diǎn)云可視化、自行訓(xùn)練以及 MMDetection3D 生態(tài)集成。1. 為什么 SPVNAS 值得關(guān)注 激光雷達(dá)點(diǎn)云是稀疏、無結(jié)構(gòu)的數(shù)據(jù)傳統(tǒng)稠密 3D 卷積算力開銷極大。SPVNAS 的解法很直接稀疏卷積底座只在有點(diǎn)的位置計(jì)算SPVCNN 基線大幅降低 MACs自動(dòng)結(jié)構(gòu)搜索在超網(wǎng)中搜索不同算力預(yù)算下的最優(yōu)子網(wǎng)無需人工調(diào)參實(shí)戰(zhàn)成績(jī)過硬SemanticKITTI 排行榜曾達(dá) SOTA最高 64.7 mIoU2021 年 NuScenes 激光雷達(dá)語義分割挑戰(zhàn)賽第一名、全景分割挑戰(zhàn)賽第二名。項(xiàng)目?jī)?nèi)置了一個(gè)模型動(dòng)物園model_zoo.py按算力預(yù)算提供多檔預(yù)訓(xùn)練模型模型參數(shù)量 (M)MACs (G)mIoUSemanticKITTI_val_SPVNAS20GMACs3.320.061.5SemanticKITTI_val_SPVCNN30GMACs5.530.060.7SemanticKITTI_val_SPVNAS35GMACs7.034.763.5SemanticKITTI_val_SPVNAS65GMACs10.864.564.7 規(guī)律很明顯SPVNAS 搜出的模型在更低算力下取得更高 mIoU這正是高效架構(gòu)搜索的價(jià)值所在。2. 環(huán)境搭建從零到可運(yùn)行的最快路徑 項(xiàng)目基于 PyTorch TorchSparse 構(gòu)建推薦用 conda 一鍵搭好環(huán)境git clone https://gitcode.com/gh_mirrors/sp/spvnas conda create -n torch python3.7 conda activate torch conda install pytorch torchvision torchaudio cudatoolkit10.2 -c pytorch conda install numba opencv pip install torchpack?? 注意兩個(gè)硬性要求Python 版本在 3.6~3.7 之間且依賴 torchsparse 需要與你的 CUDA 版本匹配編譯 CUDA 后端。3. 數(shù)據(jù)準(zhǔn)備SemanticKITTI 數(shù)據(jù)集按官方說明下載 SemanticKITTIKITTI Odometry 語義標(biāo)簽將sequences文件夾下所有內(nèi)容解壓到/dataset/semantic-kitti應(yīng)看到00~21共 22 個(gè)序列目錄每個(gè)含velodyne和labels子目錄數(shù)據(jù)加載與體素化邏輯集中在core/datasets/semantic_kitti.py默認(rèn)體素大小 0.05m、每幀采樣 8 萬點(diǎn)等超參見configs/semantic_kitti/default.yaml。4. 一鍵測(cè)試預(yù)訓(xùn)練模型3 行命令出結(jié)果 ?想快速驗(yàn)證效果無需訓(xùn)練一條命令即可評(píng)估任意檔位的預(yù)訓(xùn)練模型權(quán)重會(huì)自動(dòng)下載到本地.torch/目錄并緩存torchpack dist-run -np 1 python evaluate.py configs/semantic_kitti/default.yaml --name SemanticKITTI_val_SPVNAS65GMACs把--name換成上表任意模型名即可切換。評(píng)估入口是evaluate.pymIoU 等指標(biāo)回調(diào)在core/callbacks.py中實(shí)現(xiàn)。5. 模型可視化親眼看看點(diǎn)云被分成了什么 項(xiàng)目自帶可視化腳本visualize.py支持open3d與mayavi兩種渲染后端默認(rèn) open3d會(huì)把每個(gè)點(diǎn)按 19 個(gè)語義類別著色——道路、行人、車輛、植被一目了然運(yùn)行方式# 有顯示器的機(jī)器直接運(yùn)行 python visualize.py # 無顯示器的服務(wù)器用 xvfb 虛擬顯示 xvfb-run --server-args-screen 0 1024x768x24 python visualize.py有.label真值文件時(shí)腳本還會(huì)額外輸出一張 Ground Truth 對(duì)比圖方便直觀檢驗(yàn)分割質(zhì)量。6. 從零訓(xùn)練自己的 3D 語義分割網(wǎng)絡(luò) ?訓(xùn)練 SPVCNN / MinkUNet 基線模型只需切換配置文件# 多卡分布式訓(xùn)練 torchpack dist-run -np 4 python train.py configs/semantic_kitti/spvcnn/cr0p5.yaml # 單卡、無需 MPI python train.py configs/semantic_kitti/spvcnn/cr0p5.yaml --distributed False配置文件極簡(jiǎn)比如configs/semantic_kitti/spvcnn/cr0p5.yaml只指定了模型名和壓縮率cr: 0.5其余超參SGD、余弦學(xué)習(xí)率等繼承自configs/semantic_kitti/default.yaml改一行即可復(fù)現(xiàn)。訓(xùn)練主邏輯在train.py網(wǎng)絡(luò)骨架位于core/models/semantic_kitti/spvnas.py、spvcnn.py、minkunet.py稀疏算子封裝在core/modules/。7. MMDetection3D 集成走向更大的 3D 感知生態(tài) 2023 年 3 月起SPVNAS 已被官方集成進(jìn) MMDetection3D對(duì)應(yīng)其configs/spvcnn配置系列。這意味著你可以直接在 MMDetection3D 生態(tài)中調(diào)用 SPVCNN/SPVNAS 骨干統(tǒng)一使用其訓(xùn)練/評(píng)估/部署流水線便于把點(diǎn)云語義分割與檢測(cè)、全景分割等任務(wù)放在同一套框架下實(shí)驗(yàn)對(duì)新團(tuán)隊(duì)來說用 MMDetection3D 入門后幾乎零成本接入 SPVNAS是 3D 感知項(xiàng)目的實(shí)用組合。8. 項(xiàng)目結(jié)構(gòu)與上手路線 spvnas/ ├── train.py / evaluate.py / visualize.py # 訓(xùn)練 / 評(píng)估 / 可視化入口 ├── model_zoo.py # 預(yù)訓(xùn)練模型下載與加載 ├── tutorial.ipynb # Colab 可跑的交互式教程 ├── configs/semantic_kitti/ # 各模型 YAML 配置 └── core/ ├── datasets/semantic_kitti.py # 數(shù)據(jù)加載 ├── models/semantic_kitti/ # SPVNAS / SPVCNN / MinkUNet ├── modules/ # 稀疏卷積等網(wǎng)絡(luò)模塊 └── trainers.py / callbacks.py # 訓(xùn)練器與 mIoU 回調(diào)新手路線建議先看 tutorial.ipynb 跑通 Demo → 再測(cè)預(yù)訓(xùn)練模型 → 最后嘗試自訓(xùn)。9. 常見問題速查 ?裝不上 TorchSparse確認(rèn) CUDA 版本與 pip 安裝時(shí)編譯環(huán)境一致必要時(shí)先裝好對(duì)應(yīng)cudatoolkit復(fù)現(xiàn) mIoU 有 ±0.5 波動(dòng)正?，F(xiàn)象來自 CUDA 后端浮點(diǎn)原子加法的非確定性內(nèi)存不夠降低configs/semantic_kitti/default.yaml中的num_points與batch_size。從論文公式到torchpack dist-run一行命令SPVNAS 把高效 3D 架構(gòu)搜索變成了開箱即用的工具鏈。配合 MMDetection3D 集成它已成為點(diǎn)云語義分割落地的高性價(jià)比選擇——現(xiàn)在就去 clone 倉庫跑通你的第一張點(diǎn)云分割可視化吧【免費(fèi)下載鏈接】spvnas[ECCV 2020] Searching Efficient 3D Architectures with Sparse Point-Voxel Convolution項(xiàng)目地址: https://gitcode.com/gh_mirrors/sp/spvnas創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考