第一次啟動(dòng)Carla敲下那條熟悉的啟動(dòng)命令地圖在UE引擎里慢慢加載出來(lái)街道上的車輛和行人開始流動(dòng)那一瞬間很難不把它當(dāng)游戲看。實(shí)際上Carla是當(dāng)前自動(dòng)駕駛研發(fā)里使用頻率最高的開源模擬器之一它的定位就是Self-Driving Car Simulation一個(gè)提供城市級(jí)道路環(huán)境、多類傳感器模擬、可編程交通流和車輛動(dòng)力學(xué)接口的仿真平臺(tái)。這篇7-1的Carla Overview聊的不是某個(gè)具體算法怎么實(shí)現(xiàn)而是把Carla整體框架講清楚包括它解決什么問(wèn)題、架構(gòu)怎么分層、傳感器有哪些、怎么快速跑通一個(gè)最小自動(dòng)駕駛閉環(huán)以及在真實(shí)項(xiàng)目里最值得注意的坑。如果你正準(zhǔn)備做感知、規(guī)劃控制或數(shù)據(jù)生成這篇內(nèi)容可以把頭開起來(lái)。1. 為什么選Carla做自動(dòng)駕駛仿真先算清安全和成本這兩筆賬1.1 一個(gè)模擬器解決的真實(shí)需求安全、成本、復(fù)現(xiàn)性自動(dòng)駕駛算法做得再漂亮也不能直接扔到開放道路上試驗(yàn)。一條真實(shí)的研發(fā)測(cè)試路線上跑一次可能涉及安全員、測(cè)試申請(qǐng)、車輛損耗遇到一個(gè)危險(xiǎn)場(chǎng)景甚至只能緊急接管。換句話說(shuō)實(shí)車測(cè)試的成本不是“油錢”而是風(fēng)險(xiǎn)和時(shí)間。在項(xiàng)目早期團(tuán)隊(duì)關(guān)心的往往不是“能不能跑”而是“敢不敢讓它跑”。讓一輛配備激光雷達(dá)、多路相機(jī)和高性能計(jì)算單元的測(cè)試車在雨天十字路口做出激進(jìn)變道絕大多數(shù)人都沒(méi)這個(gè)膽量。但Carla里隨時(shí)可以這么干把車開到極限、讓它撞上路沿、讓行人突然橫穿重置場(chǎng)景之后再來(lái)一次。撞壞一輛虛擬車只需要點(diǎn)一下重置。成本方面算一筆賬更好理解。一臺(tái)帶線控底盤、毫米波雷達(dá)、多相機(jī)和計(jì)算平臺(tái)的研發(fā)測(cè)試車加起來(lái)幾十萬(wàn)起步而Carla是開源的不需要授權(quán)費(fèi)只要能帶得動(dòng)UE渲染的GPU就能跑。對(duì)個(gè)人開發(fā)者和小團(tuán)隊(duì)來(lái)說(shuō)這是很長(zhǎng)一段時(shí)間里唯一能負(fù)擔(dān)得起的“城市級(jí)路測(cè)環(huán)境”。還有一點(diǎn)容易被忽略復(fù)現(xiàn)性。真實(shí)道路上出事往往靠運(yùn)氣同一個(gè)惡劣天氣下的鬼探頭想用實(shí)車復(fù)現(xiàn)基本看緣分。但在Carla里場(chǎng)景是一組參數(shù)地圖、天氣、交通密度、行人路徑都可以固定同一個(gè)bug可以在同一條街道上反復(fù)復(fù)現(xiàn)修完再跑同樣的測(cè)試用例做回歸。這種“確定性”對(duì)調(diào)試感知模型和控制邏輯至關(guān)重要。1.2 Carla在自動(dòng)駕駛技術(shù)棧里的卡位連接感知、規(guī)劃、控制的閉環(huán)驗(yàn)證一個(gè)完整的自動(dòng)駕駛系統(tǒng)通常分成感知、預(yù)測(cè)、規(guī)劃、控制四層。Carla不替你做這些算法它提供的是讓整套算法“動(dòng)起來(lái)”的城市環(huán)境以及能產(chǎn)生傳感器數(shù)據(jù)的接口。比如你的感知模型要從相機(jī)圖上輸出目標(biāo)框Carla會(huì)按照你設(shè)定的相機(jī)參數(shù)和環(huán)境光照生成帶深度信息的RGB圖像你的規(guī)劃模塊要在道路網(wǎng)上找一條可行駛軌跡Carla的地圖會(huì)給你車道、交叉路口、信號(hào)燈和路緣數(shù)據(jù)控制模塊要輸出油門、剎車、轉(zhuǎn)向Carla的車輛模型會(huì)真的把這輛車在虛擬物理世界里推出去。整條鏈路在仿真環(huán)境里是閉環(huán)的這是很多單點(diǎn)仿真工具做不到的。用一句話概括Carla是算法和世界之間的“公共接口”。它把真實(shí)世界中需要用昂貴硬件和復(fù)雜傳感系統(tǒng)才能得到的東西抽象成一組可以寫進(jìn)Python代碼里的對(duì)象和API。1.3 和AirSim、SUMO這些仿真器比Carla的取舍在哪里很多人會(huì)問(wèn)市面上的仿真器那么多為什么偏偏先學(xué)Carla這不是沒(méi)有道理的選擇題。AirSim同樣基于UE引擎在飛行器和單機(jī)感知研究里做得很好但它的城市級(jí)場(chǎng)景、道路網(wǎng)規(guī)則和自動(dòng)駕駛相關(guān)的交通流支持明顯沒(méi)有Carla那么成體系。SUMO則完全是另一條路線擅長(zhǎng)路網(wǎng)交通流和路口信號(hào)協(xié)調(diào)能模擬上萬(wàn)輛車但它沒(méi)有像素級(jí)傳感器也沒(méi)有車輛動(dòng)力學(xué)意義上的“駕駛”你要驗(yàn)證攝像頭感知算法在SUMO里無(wú)從下手。PreScan和CarSim是成熟的商業(yè)工具精度高、和行業(yè)工具鏈集成好但價(jià)格和授權(quán)方式對(duì)個(gè)人用戶很不友好。Carla的取舍在于它同時(shí)照顧了“環(huán)境真實(shí)性”和“接口便利性”。有UE引擎提供的渲染質(zhì)量有OpenDRIVE標(biāo)準(zhǔn)道路網(wǎng)有豐富傳感器模型還有Python API可以直接操控。它不追求單一維度的極致精度但作為通用自動(dòng)駕駛仿真底座綜合成本最低。當(dāng)然代價(jià)也有——體量大、啟動(dòng)重、對(duì)GPU要求高這些后面會(huì)聊。2. Carla整體架構(gòu)與核心概念服務(wù)端、客戶端、藍(lán)圖和地圖2.1 服務(wù)端-客戶端模型一個(gè)負(fù)責(zé)渲染世界一個(gè)負(fù)責(zé)寫控制邏輯Carla的架構(gòu)很容易理解但也是很多新手繞不過(guò)去的第一個(gè)坎。它分兩個(gè)獨(dú)立進(jìn)程服務(wù)端是CarlaUE4負(fù)責(zé)渲染城市、跑物理引擎、計(jì)算傳感器數(shù)據(jù)、維護(hù)交通流客戶端是Python進(jìn)程通過(guò)CARLA PythonAPI連接服務(wù)端創(chuàng)建角色、掛載傳感器、下發(fā)控制命令。端口默認(rèn)2000客戶端通過(guò)carla.Client(localhost, 2000)連接。開一個(gè)服務(wù)端可以同時(shí)被多個(gè)客戶端連接這個(gè)設(shè)計(jì)對(duì)并行訓(xùn)練很有用一臺(tái)帶強(qiáng)GPU的機(jī)器跑服務(wù)端另外幾臺(tái)機(jī)器各自跑客戶端算法任務(wù)。我平時(shí)做數(shù)據(jù)生成時(shí)會(huì)在一臺(tái)機(jī)器上開三四個(gè)Carla實(shí)例端口分別設(shè)為2000、3000、4000每個(gè)實(shí)例負(fù)責(zé)不同地圖天氣組合?？蛻舳撕头?wù)端是一對(duì)多的關(guān)系版本必須嚴(yán)格匹配。0.9.15的客戶端去連0.9.14的服務(wù)端大概率會(huì)直接報(bào)版本錯(cuò)誤即使不報(bào)錯(cuò)某些API行為和傳感器數(shù)據(jù)格式也可能有差異。每下載一個(gè)Carla壓縮包解壓后PythonAPI/carla/dist目錄下會(huì)有一個(gè)egg文件文件名里帶了Python版本信息這個(gè)文件的路徑一定要加進(jìn)PYTHONPATH否則import carla直接失敗。2.2 藍(lán)圖、Actor、Spawn這些概念到底在說(shuō)什么Carla把世界里的所有可操作對(duì)象都抽象成Actor車輛、行人、傳感器、交通燈、路面標(biāo)記都是Actor。創(chuàng)建Actor不是直接實(shí)例化而是從BlueprintLibrary里挑一個(gè)藍(lán)圖Blueprint再生成。藍(lán)圖相當(dāng)于“物種庫(kù)”vehicle.audi.etron是奧迪e-tronsensor.camera.rgb是RGB相機(jī)walker.pedestrian.0001是某一種行人外觀。我在最開始接觸Carla時(shí)總把藍(lán)圖當(dāng)成普通對(duì)象模板其實(shí)它更像生物分類同一個(gè)車型藍(lán)圖可以生成多輛車每輛車又是獨(dú)立的Actor。修改藍(lán)圖屬性會(huì)影響以后生成的所有Actor已生成的Actor不受影響。生成Actor的動(dòng)作叫spawn_actor。車輛和行人一般需要給定一個(gè)Transform位置和朝向傳感器則通常不直接獨(dú)立存在而是用attach_to掛到車輛或行人身上跟隨宿主移動(dòng)。一個(gè)典型操作是給車掛相機(jī)world.spawn_actor(camera_bp, camera_transform, attach_tovehicle)掛在車頂?shù)南鄼C(jī)就隨著車輛一起動(dòng)作傳感器坐標(biāo)相對(duì)宿主不變。2.3 地圖、道路網(wǎng)與OpenDRIVE場(chǎng)景不是貼圖而是一套可查詢的數(shù)據(jù)Carla官方地圖從Town01一直到Town15每張地圖都有自己的性格。Town01是最簡(jiǎn)單的直線路網(wǎng)Town02帶環(huán)形交叉口Town03混合城區(qū)場(chǎng)景Town04是小鎮(zhèn)布局Town05專門設(shè)計(jì)了復(fù)雜的十字路口和車道變化。做算法初測(cè)時(shí)我最常用Town03道路豐富又不至于太難做終點(diǎn)測(cè)試或者比賽類場(chǎng)景再切換到更復(fù)雜的地圖。地圖底層的道路描述是OpenDRIVE格式.xodr文件這是一種公開的道路網(wǎng)描述標(biāo)準(zhǔn)。它定義了每條車道的幾何形狀、車道數(shù)量、寬度、速度限制、路口連接關(guān)系和信號(hào)燈位置。Carla把道路網(wǎng)當(dāng)成結(jié)構(gòu)化數(shù)據(jù)提供這意味著你的規(guī)劃算法可以直接查詢world.get_map().get_spawn_points()拿到合法生成點(diǎn)也可以用map.get_waypoint_xodr()拿到指定坐標(biāo)最近的車道點(diǎn)。理解這點(diǎn)很重要Carla里的“場(chǎng)景”不是一個(gè)圖片文件夾而是一套可以被算法的坐標(biāo)系、查詢、路線規(guī)劃使用的路網(wǎng)數(shù)據(jù)庫(kù)。地圖的可編輯性也很強(qiáng)可以用RoadRunner導(dǎo)入自建的高精地圖或OpenDRIVE文件也可以直接對(duì)地圖做局部修改。不過(guò)做自定義地圖時(shí)要注意坐標(biāo)對(duì)齊、車道連接邏輯這些細(xì)節(jié)這是另一個(gè)大坑建議從官方自帶Town地圖上手。3. 傳感器模擬的硬核細(xì)節(jié)把虛擬數(shù)據(jù)當(dāng)成真實(shí)數(shù)據(jù)用3.1 相機(jī)傳感器RGB、深度、語(yǔ)義分割、光流各有什么思路Carla里最常用的傳感器就是相機(jī)。從藍(lán)圖庫(kù)里可以找到sensor.camera.rgb、sensor.camera.depth、sensor.camera.semantic_segmentation和sensor.camera.optical_flow四類。RGB相機(jī)和普通相機(jī)一致核心參數(shù)是分辨率image_size_x和image_size_y、視場(chǎng)角fov還有一個(gè)sensor_tick控制采集頻率。新手最容易犯的錯(cuò)是調(diào)整相機(jī)高度和位置隨意導(dǎo)致后續(xù)感知模型的標(biāo)定關(guān)系對(duì)不上。我常用的默認(rèn)配置是1280x720、fov 90掛在車頂前方2.4米高度看起來(lái)高度很隨意但后續(xù)做相機(jī)-車輛坐標(biāo)變換時(shí)方便。深度相機(jī)和語(yǔ)義分割相機(jī)有個(gè)關(guān)鍵點(diǎn)直接從回調(diào)里拿到的圖像不能直接用先要調(diào)用image.convert(carla.ColorConverter.Depth)或carla.ColorConverter.CityScapesPalette轉(zhuǎn)成可視化形式。特別是語(yǔ)義分割轉(zhuǎn)換后的像素值對(duì)應(yīng)Cityscapes的19類語(yǔ)義標(biāo)簽這是很多語(yǔ)義分割訓(xùn)練數(shù)據(jù)的標(biāo)準(zhǔn)格式。從Carla生成數(shù)據(jù)集核心流程就是把原始圖像和轉(zhuǎn)換后的語(yǔ)義圖成對(duì)保存后面訓(xùn)練網(wǎng)絡(luò)時(shí)直接用。光流相機(jī)輸出的是每個(gè)像素的運(yùn)動(dòng)向量場(chǎng)這在做運(yùn)動(dòng)預(yù)測(cè)和視覺(jué)里程計(jì)任務(wù)時(shí)會(huì)用到。它返回的不是普通圖像而是帶浮點(diǎn)分量的向量場(chǎng)需要自己解析水平垂直光流分量。使用前最好先跑官方文檔里的光流示例確認(rèn)數(shù)據(jù)結(jié)構(gòu)別急著直接接到自己的光流模型里。3.2 LiDAR與毫米波雷達(dá)點(diǎn)云和稀疏檢測(cè)數(shù)據(jù)的典型特征激光雷達(dá)是自動(dòng)駕駛感知里最“實(shí)在”的傳感器Carla的LiDAR模擬也會(huì)給出一幀幀點(diǎn)云數(shù)據(jù)。關(guān)鍵參數(shù)有四個(gè)channels通道數(shù)64線、128線常見、range最遠(yuǎn)量程默認(rèn)50米可以拉到100米甚至更多、points_per_second每秒點(diǎn)數(shù)以及rotation_frequency掃描頻率。我一般把64線、100米量程、每秒100萬(wàn)點(diǎn)和10Hz掃描作為標(biāo)準(zhǔn)配置因?yàn)檫@是一套接近真實(shí)中距離雷達(dá)的組合。點(diǎn)云數(shù)據(jù)中每個(gè)點(diǎn)包含x,y,z,intensity坐標(biāo)系原點(diǎn)是傳感器掛載點(diǎn)x指向車頭。做目標(biāo)檢測(cè)算法時(shí)要把點(diǎn)云轉(zhuǎn)到車輛坐標(biāo)系再考慮去地面、聚類、目標(biāo)框回歸這些常規(guī)操作和真實(shí)雷達(dá)數(shù)據(jù)是一套處理邏輯。毫米波雷達(dá)在Carla里是sensor.other.radar返回的每個(gè)測(cè)量點(diǎn)帶azimuth、altitude、depth距離和velocity相對(duì)速度。它的特點(diǎn)是稀疏、噪聲比較明顯和真實(shí)雷達(dá)輸出一致。做雷達(dá)的目標(biāo)列表或者融合時(shí)別期望它像LiDAR一樣密雷達(dá)本身的價(jià)值在于直接給速度信息。Carla的雷達(dá)設(shè)定頻率一般是20Hz比相機(jī)更高在做時(shí)序融合時(shí)要注意幀率對(duì)齊。3.3 GNSS/IMU與傳感器坐標(biāo)系做融合前必須整明白的尺子Carla里汽車的坐標(biāo)系定義很特別x軸向前y軸向左z軸向上。這一點(diǎn)和很多車輛工程里的坐標(biāo)系習(xí)慣一致但和某些設(shè)備坐標(biāo)系不一樣。做傳感器外參標(biāo)定時(shí)多花五分鐘確認(rèn)坐標(biāo)系方向能省下半天調(diào)bug的時(shí)間。GNSS和IMU解決的是“車在哪”和“車姿態(tài)怎么變”的問(wèn)題。GNSS輸出經(jīng)緯高還可以設(shè)置噪聲標(biāo)準(zhǔn)差模擬真實(shí)信號(hào)抖動(dòng)IMU輸出加速度、角速度和指南針?lè)较?。這兩類傳感器通常不需要掛到具體車輛上直接以自身位置生成但要注意IMU的輸出頻率通常高于GNSS數(shù)據(jù)融合時(shí)要先統(tǒng)一時(shí)間戳。最容易被坑的是“同步問(wèn)題”。如果你在異步模式下同時(shí)采集相機(jī)圖像和LiDAR點(diǎn)云兩者時(shí)間戳對(duì)不上會(huì)直接影響融合效果。后面我會(huì)專門講同步模式這是做數(shù)據(jù)生成和評(píng)估時(shí)最重要的配置項(xiàng)沒(méi)有之一。4. 新手必看的實(shí)操全流程從空地圖跑到一個(gè)自動(dòng)駕駛閉環(huán)4.1 環(huán)境準(zhǔn)備與版本安裝Linux下最省心的組合Carla的安裝沒(méi)有想象中復(fù)雜但也不能太隨意。官方通常提供壓縮包解壓到任意目錄就能啟動(dòng)。我的建議是直接在Linux下跑Ubuntu 20.04或者22.04都可以顯卡驅(qū)動(dòng)和CUDA先確認(rèn)好。Windows也能跑但在多實(shí)例、Python環(huán)境兼容和底層調(diào)試上會(huì)多出不少額外麻煩。安裝依賴有兩個(gè)重點(diǎn)一是把PythonAPI里的egg文件路徑加入環(huán)境變量二是裝好必要的Python庫(kù)。以0.9.15為例解壓后目錄里會(huì)有PythonAPI/carla/dist/carla-0.9.15-py3.10-linux-x86_64.egg如果你的Python是3.10執(zhí)行export CARLA_ROOT~/carla export PYTHONPATH$CARLA_ROOT/PythonAPI/carla/dist/carla-0.9.15-py3.10-linux-x86_64.egg:$CARLA_ROOT/PythonAPI/carla:$PYTHONPATH pip install numpy pygame opencv-python啟動(dòng)服務(wù)端時(shí)如果機(jī)器顯存比較緊張建議加上低質(zhì)量參數(shù)./CarlaUE4.sh -quality-levelLow這一條指令可以讓渲染分辨率降下來(lái)對(duì)跑算法邏輯影響不大但顯存占用明顯變小。我第一次用老顯卡跑Town03卡到幾乎沒(méi)法操作加上-quality-levelLow之后整個(gè)畫面立刻流暢了實(shí)測(cè)下來(lái)對(duì)傳感器數(shù)據(jù)的內(nèi)容影響很小。如果GPU性能足夠不開也行畫面質(zhì)量和真實(shí)感會(huì)更好。4.2 最小可用腳本生成車輛、掛載相機(jī)、下發(fā)第一腳油門跑一個(gè)能動(dòng)的Carla程序其實(shí)只要幾個(gè)核心步驟創(chuàng)建客戶端、加載地圖、選藍(lán)圖、生成車輛、掛相機(jī)、循環(huán)控制。我寫個(gè)最小示例你可以直接復(fù)制去跑import carla import random import time # 1. 連接服務(wù)端 client carla.Client(localhost, 2000) client.set_timeout(20.0) # 2. 加載地圖 world client.load_world(Town03) time.sleep(5) # 等地圖加載完成簡(jiǎn)單粗暴但有效 # 3. 獲取藍(lán)圖庫(kù)選一輛車 bp_lib world.get_blueprint_library() vehicle_bp random.choice(bp_lib.filter(vehicle.*)) # 4. 選一個(gè)生成點(diǎn)生成車輛 spawn_points world.get_map().get_spawn_points() spawn_point random.choice(spawn_points) vehicle world.try_spawn_actor(vehicle_bp, spawn_point) if vehicle is None: spawn_point spawn_points[0] vehicle world.spawn_actor(vehicle_bp, spawn_point) # 5. 掛載一個(gè)RGB相機(jī) camera_bp bp_lib.find(sensor.camera.rgb) camera_bp.set_attribute(image_size_x, 1280) camera_bp.set_attribute(image_size_y, 720) camera_bp.set_attribute(fov, 90) camera_transform carla.Transform(carla.Location(x1.5, z2.4)) camera world.spawn_actor(camera_bp, camera_transform, attach_tovehicle) # 6. 回調(diào)里保存圖像 camera.listen(lambda image: image.save_to_disk(fout/{image.frame:06d}.png)) # 7. 給一腳油門看看車動(dòng)不動(dòng) for _ in range(100): vehicle.apply_control(carla.VehicleControl(throttle0.5, steer0.0, brake0.0)) time.sleep(0.1)這個(gè)腳本每一步都有它的意義。load_world后面加延時(shí)是為了避免地圖還沒(méi)加載完就去查詢生成點(diǎn)try_spawn_actor則是因?yàn)椴糠稚牲c(diǎn)被占用時(shí)會(huì)返回None相機(jī)掛載到車上位置相對(duì)車輛不變這樣圖像會(huì)隨著車輛移動(dòng)而移動(dòng)才像“從車上拍的”。你可能注意到我這里沒(méi)有做感知沒(méi)有做規(guī)劃只是讓車自己往前開。但這就是一個(gè)基礎(chǔ)閉環(huán)后面所有復(fù)雜的東西都是往這里面填模塊。建議第一次接觸Carla的新手先把這個(gè)腳本跑通再考慮加其他傳感器和上層算法。4.3 Traffic Manager讓NPC車流和行人有“意識(shí)”單獨(dú)一輛車往前開是很無(wú)聊的真實(shí)的自動(dòng)駕駛測(cè)試需要周圍有“會(huì)犯錯(cuò)的車和行人”。Carla里讓NPC車輛自動(dòng)駕駛的核心是Traffic Manager它是一套內(nèi)置的交通流管理模塊會(huì)控制NPC車輛以合理的速度跟車、變道、等紅綠燈。使用方法也不復(fù)雜tm_port 8000 tm client.get_trafficmanager(tm_port) # 讓一批車自動(dòng)行駛 for npc in npc_list: npc.set_autopilot(True, tm_port) # 調(diào)整交通流參數(shù) tm.set_global_distance_to_leading_vehicle(2.0) # 前車距離 tm.set_desired_speed(npc, 8.0) # 固定某輛車速度 tm.ignore_lights_percentage(npc, 10) # 10%概率闖紅燈制造危險(xiǎn)場(chǎng)景set_autopilot(True, tm_port)里的端口必須和創(chuàng)建Traffic Manager時(shí)一致這一點(diǎn)特別容易寫錯(cuò)。寫錯(cuò)后的表現(xiàn)是沒(méi)有報(bào)錯(cuò)但NPC車完全不動(dòng)或者只在原地打轉(zhuǎn)。行人Autopilot和車輛略有不同。行者需要用一個(gè)AI控制器來(lái)控制先生成行人的Actor再綁定controller.ai.walker控制器然后調(diào)用控制器啟動(dòng)。我做行人橫穿場(chǎng)景時(shí)會(huì)先生成目標(biāo)行人再用控制器設(shè)置目標(biāo)點(diǎn)和速度讓它在指定時(shí)刻動(dòng)起來(lái)這樣能精確復(fù)現(xiàn)“鬼探頭”場(chǎng)景。這里細(xì)節(jié)較多建議參考官方教程里的行人示例代碼。4.4 同步模式與數(shù)據(jù)采集為什么生成訓(xùn)練數(shù)據(jù)必須開同步這是我認(rèn)為Carla里最影響數(shù)據(jù)質(zhì)量的一個(gè)開關(guān)。默認(rèn)的異步模式服務(wù)端按自己的節(jié)奏實(shí)時(shí)渲染客戶端發(fā)一條控制指令后圖像和點(diǎn)云到達(dá)的時(shí)間會(huì)有差異。做可視化無(wú)所謂但做訓(xùn)練數(shù)據(jù)集比如相機(jī)和LiDAR要融合時(shí)間對(duì)不上就是災(zāi)難。解決方案是同步模式settings world.get_settings() settings.synchronous_mode True settings.fixed_delta_seconds 0.05 # 物理步長(zhǎng)50ms即20Hz world.apply_settings(settings) for i in range(1000): world.tick() # 手動(dòng)觸發(fā)一幀所有傳感器在同一時(shí)刻采集fixed_delta_seconds設(shè)成0.05表示每次tick固定推進(jìn)50毫秒這樣幀率是穩(wěn)定的傳感器數(shù)據(jù)的時(shí)間戳也是確定性的。代價(jià)是如果你忘了調(diào)用world.tick()程序會(huì)卡住不動(dòng)這是新手最常見的同步模式事故現(xiàn)場(chǎng)。我在這個(gè)模式下采集過(guò)一段時(shí)間的數(shù)據(jù)做物體檢測(cè)效果明顯比異步好。不光因?yàn)闀r(shí)間戳對(duì)齊還因?yàn)槟憧梢跃_控制車輛每一步的油門剎車方便生成連續(xù)的控制標(biāo)簽。做完記得恢復(fù)異步模式否則退出程序時(shí)Carla可能一直停在卡死狀態(tài)。5. 常見問(wèn)題與排查技巧實(shí)錄5.1 高頻故障速查表我把做Carla項(xiàng)目和幫別人排查時(shí)遇到的高頻問(wèn)題整理成一張表照著排查能省很多時(shí)間問(wèn)題現(xiàn)象可能原因解決思路import carla報(bào)錯(cuò)或找不到模塊egg路徑?jīng)]加進(jìn)PYTHONPATH確認(rèn)egg文件名中的Python版本export到當(dāng)前終端客戶端連接失敗服務(wù)端沒(méi)啟動(dòng)/端口占用檢查端口2000換端口啟動(dòng)或殺舊進(jìn)程加載地圖很久沒(méi)反應(yīng)編譯著色器或顯存不足第一次運(yùn)行有編譯過(guò)程等幾分鐘加-quality-levelLow車輛生成失敗返回None生成點(diǎn)被占用換其他SpawnPoint或用try_spawn_actor循環(huán)嘗試畫面正常但NPC車不動(dòng)Traffic Manager端口不匹配確認(rèn)set_autopilot里的端口和get_trafficmanager端口一致同步模式下程序卡住忘記調(diào)world.tick()進(jìn)入同步模式后每幀必須手動(dòng)tick語(yǔ)義分割圖顏色不對(duì)沒(méi)轉(zhuǎn)換調(diào)色板調(diào)用convert(carla.ColorConverter.CityScapesPalette)LiDAR點(diǎn)數(shù)太少points_per_second太低提高到50萬(wàn)或100萬(wàn)點(diǎn)/秒5.2 新手最容易忽略的三個(gè)隱性雷區(qū)第一個(gè)雷區(qū)Python版本和服務(wù)端版本不匹配。Carla的egg文件名會(huì)帶Python版本號(hào)比如carla-0.9.15-py3.10如果你的Python解釋器是3.8直接import會(huì)失敗。遇到這個(gè)問(wèn)題最簡(jiǎn)單的做法不是硬湊環(huán)境而是查看官方對(duì)版本的支持矩陣換對(duì)Python版本。第二個(gè)雷區(qū)多實(shí)例并行時(shí)的資源配置。Carla多開對(duì)顯存特別敏感我遇到過(guò)開兩個(gè)實(shí)例后其中一個(gè)直接黑屏。解決辦法是每個(gè)實(shí)例都用低質(zhì)量啟動(dòng)參數(shù)盡量減少車輛和行人總數(shù)同時(shí)給不同實(shí)例分配不同的GPU。在服務(wù)器上跑時(shí)用CUDA_VISIBLE_DEVICES隔離開比一個(gè)顯卡滿載然后崩潰要踏實(shí)得多。第三個(gè)雷區(qū)傳感器數(shù)據(jù)里的“無(wú)效幀”。Carla里傳感器在剛掛載的前幾幀可能返回空數(shù)據(jù)尤其是LiDAR和Radar。我在做數(shù)據(jù)采集腳本時(shí)加一個(gè)跳過(guò)前20幀的邏輯避免把空點(diǎn)云寫進(jìn)數(shù)據(jù)集里。有人會(huì)忽略這個(gè)小細(xì)節(jié)結(jié)果訓(xùn)練時(shí)出現(xiàn)大量空白特征模型性能莫名其妙下降。6. 仿真和實(shí)車結(jié)合的個(gè)人經(jīng)驗(yàn)與新手指南6.1 先跑虛擬回歸測(cè)試再上公開數(shù)據(jù)集最后才是實(shí)車我剛做自動(dòng)駕駛時(shí)有一個(gè)習(xí)慣現(xiàn)在看是很危險(xiǎn)的模型在公開數(shù)據(jù)集上表現(xiàn)不錯(cuò)就直接想往實(shí)車上搬。后來(lái)一個(gè)在行業(yè)里做了多年的朋友告訴我一個(gè)流程先讓模型在Carla里跑固定路線回歸測(cè)試每次改完網(wǎng)絡(luò)都跑一遍相同的虛擬路線記錄mAP、平均碰撞次數(shù)、違規(guī)次數(shù)這些指標(biāo)曲線有異常就說(shuō)明什么地方退化了。這個(gè)習(xí)慣我一直保持到現(xiàn)在。Carla的價(jià)值不在于替代真實(shí)道路測(cè)試而是把“回歸測(cè)試”的成本降到零。真實(shí)路測(cè)一次都要耗費(fèi)大量資源但模擬器里你可以準(zhǔn)備固定10條路線每次改代碼后幾分鐘跑完快速看指標(biāo)變化。一個(gè)小技巧把所有固定路線和天氣寫成一個(gè)JSON配置文件跑回歸測(cè)試時(shí)讀取配置循環(huán)執(zhí)行。這樣每次測(cè)試的隨機(jī)性很小對(duì)比結(jié)果才有意義。6.2 用Carla做強(qiáng)化學(xué)習(xí)環(huán)境的一套粗淺經(jīng)驗(yàn)Carla也經(jīng)常被用來(lái)做強(qiáng)化學(xué)習(xí)訓(xùn)練。開源社區(qū)里已經(jīng)有把Carla封裝成Gym環(huán)境的項(xiàng)目方便接入Stable-Baselines3這類庫(kù)。獎(jiǎng)勵(lì)函數(shù)怎么設(shè)是個(gè)大學(xué)問(wèn)我的粗淺經(jīng)驗(yàn)是不要只獎(jiǎng)勵(lì)“前進(jìn)距離”要同時(shí)懲罰“偏離車道”“碰撞”“時(shí)間延遲”否則訓(xùn)練出來(lái)的車學(xué)會(huì)原地轉(zhuǎn)圈賺獎(jiǎng)勵(lì)看起來(lái)像很聰明實(shí)際就是個(gè)“刷分機(jī)”。仿真環(huán)境訓(xùn)練出來(lái)的策略直接搬到實(shí)車幾乎不可能存在典型的sim-to-real gap。光照、路面摩擦、傳感器噪聲都有差異。比較務(wù)實(shí)的做法是在Carla里用強(qiáng)化學(xué)習(xí)做策略預(yù)訓(xùn)練讓模型先學(xué)會(huì)基本駕駛行為再用真實(shí)數(shù)據(jù)做微調(diào)或行為約束而不是指望一個(gè)純仿真模型直接上實(shí)車。6.3 從模擬器到實(shí)車怎么判斷“仿真過(guò)”到底有沒(méi)有意義很多人把“仿真測(cè)試通過(guò)了”視為“實(shí)車一定能過(guò)”這是對(duì)模擬器最大的誤解。反過(guò)來(lái)仿真測(cè)試都過(guò)不了實(shí)車大概率更慘因?yàn)檎鎸?shí)世界的不確定性只會(huì)更多。所以仿真測(cè)試的定位應(yīng)該是“過(guò)濾低級(jí)錯(cuò)誤”。我用Carla判斷模型質(zhì)量時(shí)會(huì)關(guān)注兩個(gè)指標(biāo)一是極端天氣下的表現(xiàn)比如把雨天、霧天、夜晚綜合起來(lái)跑看傳感器數(shù)據(jù)里的目標(biāo)是否還能保持穩(wěn)定二是先驗(yàn)知識(shí)能不能結(jié)合比如地圖先驗(yàn)信息是否被正確注入到模型里而不是簡(jiǎn)單堆更多網(wǎng)絡(luò)層。7. 最后分享幾點(diǎn)實(shí)際操作的體會(huì)裝好Carla很容易但把Carla用好需要有一些項(xiàng)目級(jí)的思維。我自己在跑仿真數(shù)據(jù)時(shí)一定會(huì)在腳本里加入隨機(jī)的種子控制這樣既能讓同一場(chǎng)景重復(fù)復(fù)現(xiàn)又能通過(guò)修改種子生成大量相似但不完全相同的訓(xùn)練樣本。一個(gè)固定的隨機(jī)種子往往對(duì)應(yīng)一個(gè)完全確定的場(chǎng)景序列做數(shù)據(jù)增強(qiáng)和測(cè)試回歸都很方便。很多同學(xué)問(wèn)我“上手Carla多久能跑通”我的答案是如果只是跑通最小閉環(huán)一個(gè)下午都?jí)蛄说绻阋鰝鞲衅魅诤?、?guī)劃控制或強(qiáng)化學(xué)習(xí)至少需要一周把API和官方案例過(guò)一遍。剛開始不要追求把所有地圖、所有傳感器都試一遍先用一張地圖、一個(gè)相機(jī)、一個(gè)LiDAR跑通整個(gè)“采集-處理-訓(xùn)練-評(píng)估”流程再慢慢擴(kuò)展。還有一點(diǎn)是我踩過(guò)幾次坑之后總結(jié)出來(lái)的Carla的官方示例代碼一定要?jiǎng)邮智靡槐椴灰皇强?。很多?xì)節(jié)只有在實(shí)際運(yùn)行出錯(cuò)時(shí)才會(huì)意識(shí)到比如時(shí)間同步的順序、坐標(biāo)系的轉(zhuǎn)換、地圖加載的等待時(shí)長(zhǎng)。寫在這里的每一條經(jīng)驗(yàn)幾乎都對(duì)應(yīng)過(guò)一次真實(shí)的踩坑過(guò)程。工具本身是免費(fèi)的真正值錢的是自己試錯(cuò)之后沉淀下來(lái)的流程和方法。