1. 自動(dòng)駕駛仿真測(cè)試評(píng)價(jià)體系的核心價(jià)值在自動(dòng)駕駛技術(shù)研發(fā)中仿真測(cè)試已經(jīng)成為不可或缺的環(huán)節(jié)。相比實(shí)車路測(cè)仿真環(huán)境可以快速構(gòu)建各種極端場(chǎng)景大幅降低測(cè)試成本。但如何科學(xué)評(píng)價(jià)仿真測(cè)試結(jié)果卻一直是個(gè)難題。我參與過多個(gè)自動(dòng)駕駛項(xiàng)目后發(fā)現(xiàn)缺乏量化指標(biāo)會(huì)導(dǎo)致不同團(tuán)隊(duì)對(duì)同一測(cè)試結(jié)果的解讀差異巨大。舉個(gè)例子某次AEB自動(dòng)緊急制動(dòng)測(cè)試中兩套系統(tǒng)在相同場(chǎng)景下都避免了碰撞但A系統(tǒng)剎車更早更平緩B系統(tǒng)則在最后時(shí)刻急剎。沒有量化指標(biāo)時(shí)有人會(huì)認(rèn)為A更安全也有人覺得B的最后一秒拯救更顯技術(shù)實(shí)力。這種主觀評(píng)價(jià)對(duì)技術(shù)迭代毫無幫助。2. 構(gòu)建評(píng)價(jià)指標(biāo)體系的四大維度2.1 安全性指標(biāo)從碰撞避免到舒適性安全性是自動(dòng)駕駛的底線要求。在仿真測(cè)試中我們通常關(guān)注碰撞相關(guān)指標(biāo)碰撞次數(shù)/千公里平均避免碰撞時(shí)間TTC最小安全距離MSD舒適性指標(biāo)最大減速度反映急剎程度加速度變化率jerk值方向盤轉(zhuǎn)角變化率提示在MATLAB/Simulink仿真中可以通過Bus Creator模塊打包這些信號(hào)方便后續(xù)分析。2.2 交通規(guī)則符合度評(píng)估自動(dòng)駕駛必須遵守交通規(guī)則這需要專門的評(píng)價(jià)指標(biāo)紅燈通過率越線時(shí)間占比限速遵守率讓行規(guī)則執(zhí)行準(zhǔn)確率在Psi5等仿真平臺(tái)中可以通過場(chǎng)景腳本自動(dòng)記錄這些違規(guī)行為。建議按嚴(yán)重程度分級(jí)加權(quán)計(jì)算總分。2.3 行駛效率指標(biāo)好的自動(dòng)駕駛系統(tǒng)應(yīng)該在安全前提下提升通行效率指標(biāo)名稱計(jì)算公式單位平均速度總行駛距離/總時(shí)間km/h停車次數(shù)速度降至0的次數(shù)次/km跟車距離與前車保持的平均距離m2.4 系統(tǒng)穩(wěn)定性指標(biāo)長(zhǎng)期運(yùn)行的穩(wěn)定性同樣重要系統(tǒng)失效頻率接管請(qǐng)求次數(shù)模塊異常重啟次數(shù)最大連續(xù)運(yùn)行時(shí)間3. 指標(biāo)權(quán)重的動(dòng)態(tài)調(diào)整策略不同測(cè)試階段應(yīng)側(cè)重不同指標(biāo)。我們團(tuán)隊(duì)使用的權(quán)重調(diào)整方案研發(fā)初期算法驗(yàn)證階段安全性權(quán)重60%規(guī)則符合度30%其他10%量產(chǎn)前系統(tǒng)集成階段安全性40%舒適性30%效率20%穩(wěn)定性10%實(shí)際操作中可以使用AHP層次分析法確定權(quán)重定期review調(diào)整。4. 仿真測(cè)試中的典型問題與解決方案4.1 感知模塊的仿真過擬合在仿真環(huán)境中感知算法可能過度適應(yīng)理想化的傳感器數(shù)據(jù)。解決方法在Simulink模型中添加傳感器噪聲模塊隨機(jī)化天氣、光照條件引入虛擬傳感器故障模式4.2 評(píng)價(jià)指標(biāo)的天花板效應(yīng)當(dāng)基礎(chǔ)場(chǎng)景太簡(jiǎn)單時(shí)所有系統(tǒng)都能得高分。我們的應(yīng)對(duì)方案建立難度分級(jí)場(chǎng)景庫(kù)引入動(dòng)態(tài)調(diào)整的挑戰(zhàn)因子增加干擾車輛的不確定性4.3 指標(biāo)間的相互制約提高安全性可能降低效率改善舒適性可能增加能耗。我們采用Pareto前沿分析來尋找最優(yōu)平衡點(diǎn)。5. 評(píng)價(jià)指標(biāo)的可視化與報(bào)告生成好的可視化能快速發(fā)現(xiàn)問題。我們標(biāo)準(zhǔn)報(bào)告包含雷達(dá)圖展示各維度得分趨勢(shì)曲線對(duì)比歷次測(cè)試結(jié)果場(chǎng)景熱力圖標(biāo)注問題高發(fā)區(qū)域關(guān)鍵幀回放典型問題場(chǎng)景重現(xiàn)在MATLAB中可以使用App Designer快速構(gòu)建這樣的分析界面。一個(gè)實(shí)用的技巧是將評(píng)價(jià)指標(biāo)與仿真回放聯(lián)動(dòng)點(diǎn)擊異常數(shù)據(jù)點(diǎn)時(shí)自動(dòng)跳轉(zhuǎn)到對(duì)應(yīng)場(chǎng)景時(shí)刻。6. 從仿真到實(shí)車的指標(biāo)映射仿真測(cè)試的終極價(jià)值在于指導(dǎo)實(shí)車表現(xiàn)。我們建立了這樣的驗(yàn)證流程在仿真中發(fā)現(xiàn)的問題場(chǎng)景提取關(guān)鍵指標(biāo)變化模式設(shè)計(jì)對(duì)應(yīng)的實(shí)車測(cè)試用例對(duì)比仿真與實(shí)車數(shù)據(jù)差異修正仿真模型參數(shù)這個(gè)閉環(huán)過程通常需要3-5次迭代才能達(dá)到滿意的相關(guān)性。一個(gè)經(jīng)驗(yàn)法則是當(dāng)仿真與實(shí)車的關(guān)鍵指標(biāo)差異小于15%時(shí)可以認(rèn)為仿真具有代表性。7. 評(píng)價(jià)體系的持續(xù)優(yōu)化自動(dòng)駕駛技術(shù)迭代迅速評(píng)價(jià)體系也需要與時(shí)俱進(jìn)。我們每季度會(huì)分析新出現(xiàn)的事故類型評(píng)估現(xiàn)有指標(biāo)覆蓋度新增必要的評(píng)價(jià)維度淘汰過時(shí)的指標(biāo)最近我們就新增了復(fù)雜路口決策合理性和弱勢(shì)道路使用者保護(hù)兩個(gè)新維度。評(píng)價(jià)體系就像自動(dòng)駕駛系統(tǒng)一樣需要持續(xù)學(xué)習(xí)和進(jìn)化。