1. 從一張平面圖里“讀出”深度這件事到底難在哪先拋一個我經(jīng)常在技術(shù)分享會上問的問題給你一張普通的手機(jī)照片你能說出畫面里哪個杯子離你更近嗎大多數(shù)人會覺得這問題很蠢——當(dāng)然能一眼就看出來了。但如果我告訴你計算機(jī)看到的只是一張由幾百萬個像素點組成的二維矩陣每個點只有紅綠藍(lán)三個數(shù)值沒有任何一個數(shù)值直接告訴你“遠(yuǎn)近”你大概就能體會到3D視覺這件事的微妙之處了。3D視覺說白了就是讓機(jī)器從二維的圖像信息里反推出真實世界中物體的三維結(jié)構(gòu)、位置和姿態(tài)。它要回答的核心問題有三個這個東西是什么、它在哪里、它離我多遠(yuǎn)。這三個問題聽起來簡單但每一個都牽扯到一整套復(fù)雜的數(shù)學(xué)和工程體系。而計算機(jī)視覺這個更大的領(lǐng)域里3D方向一直被認(rèn)為是“硬骨頭中的硬骨頭”因為它不像2D檢測那樣只需要在平面上畫框它要求模型真正理解空間。那為什么一張平面圖能看出3D效果這里的關(guān)鍵在于圖像本身雖然丟失了深度信息但保留了大量的深度線索。這些線索分兩類一類是幾何線索比如透視、遮擋、陰影、紋理梯度另一類是語義線索比如你知道一個成年人的身高大概是多少那么他在畫面里占多大比例就能大致推斷出距離。人類視覺系統(tǒng)就是靠這些線索的組合在瞬間完成判斷的而3D視覺要做的就是用算法把這些線索顯式地建模出來。這篇文章我想聊的不是那種泛泛的“3D視覺概述”而是圍繞一個具體的問題展開當(dāng)輸入只有一張單目圖像時我們到底怎么把3D效果“看出來”。我會把背后的原理拆開講把常見的幾條技術(shù)路線擺出來對比再結(jié)合3D目標(biāo)檢測、3D人臉識別、多模態(tài)融合這些具體方向說說實際項目里怎么落地、哪些坑最容易踩。不管你是剛接觸計算機(jī)視覺常用方向的學(xué)生還是正在做計算機(jī)視覺大作業(yè)或者準(zhǔn)備多模態(tài)融合論文的 researcher應(yīng)該都能從里面找到能直接用的東西。2. 單目圖像里的深度線索人眼靠什么算法就靠什么2.1 透視與消失點最古老的深度暗示如果你學(xué)過一點繪畫一定聽過“近大遠(yuǎn)小”這個詞。這在幾何上對應(yīng)的是透視投影平行于光軸的平行線在圖像上會匯聚到一個點也就是消失點。這個現(xiàn)象本身就是深度的強(qiáng)線索。比如一條筆直延伸的公路兩條邊線在圖像上越靠越近最終交于一點這個收斂的速度直接和相機(jī)的高度、俯仰角相關(guān)。算法層面消失點檢測是一個經(jīng)典問題。傳統(tǒng)方法靠霍夫變換找直線、再聚類求交點現(xiàn)在更多是用深度學(xué)習(xí)直接回歸消失點坐標(biāo)。一旦拿到消失點就能反推出相機(jī)的內(nèi)參和姿態(tài)進(jìn)而為整個場景建立一個粗略的深度梯度。我做過一個車道線檢測的項目當(dāng)時就是先用消失點估計出地平線位置再把地平線以下的區(qū)域按行做深度假設(shè)效果比直接端到端回歸穩(wěn)定得多。注意消失點方法對場景結(jié)構(gòu)有強(qiáng)假設(shè)室內(nèi)走廊、公路這類有大量平行線的場景很好用但面對自然風(fēng)景或者雜亂桌面就基本失效。別指望一個方法通吃。2.2 遮擋關(guān)系與紋理梯度誰在前誰在后遮擋是最直觀的深度線索。如果A物體擋住了B物體的一部分那A一定在B前面。這個邏輯簡單到不需要任何數(shù)學(xué)但要讓算法自動識別“遮擋邊界”卻不容易。常見的做法是檢測T型交界——兩個物體的輪廓相交形成一個T字形T的豎線屬于前面的物體橫線屬于后面的物體。紋理梯度則是另一個被低估的線索。想象你站在一片草地上往遠(yuǎn)處看腳下的草葉清晰可辨遠(yuǎn)處的草地則糊成一片綠色。這種紋理從粗到細(xì)、從疏到密的變化就是深度在圖像上的體現(xiàn)。算法可以通過計算局部紋理的頻率和尺度變化估計出相對的深度順序。我在做無人機(jī)航拍圖像分析時就經(jīng)常用紋理梯度做預(yù)處理先把明顯的前景和背景分開再交給后續(xù)網(wǎng)絡(luò)細(xì)化。2.3 陰影與光照被很多人忽略的強(qiáng)線索陰影這個東西很有意思。一個物體投射在地面上的陰影它的形狀、方向和模糊程度都攜帶了深度信息。陰影越清晰、越靠近物體說明物體離地面越近陰影越模糊、越分散說明光源面積大或者物體離地面遠(yuǎn)。更關(guān)鍵的是陰影能幫助算法理解物體的接觸關(guān)系——一個杯子是放在桌子上還是懸浮在空中看它和桌面之間有沒有陰影過渡就知道了。在實際的3D重建任務(wù)里陰影信息經(jīng)常被當(dāng)作輔助監(jiān)督信號。比如有些工作會用陰影邊界來約束物體的底部位置從而提升深度估計的精度。不過陰影也有坑強(qiáng)光下的硬陰影容易和物體本身的暗部混淆弱光下的軟陰影又幾乎不可見。所以陰影線索通常不單獨使用而是和幾何線索融合。2.4 語義先驗?zāi)阒赖某ＷR算法也能學(xué)前面說的都是幾何和光學(xué)線索但人類判斷深度還有一個大殺器常識。你知道標(biāo)準(zhǔn)門框大概兩米高知道汽車寬度大概一米八知道成年人的頭身比。這些先驗知識讓你在看到一張圖時能迅速判斷出物體的絕對尺度。算法怎么獲得這種能力靠數(shù)據(jù)驅(qū)動。在訓(xùn)練集里見過大量“人”和“車”的樣本后網(wǎng)絡(luò)會隱式地學(xué)到這些物體的典型尺寸分布。當(dāng)它在圖像里檢測到一個只占50像素高的人時就能推斷出這個人離相機(jī)很遠(yuǎn)。這就是為什么3D目標(biāo)檢測里單目方法往往要依賴一個“平均尺寸”的先驗表——比如KITTI數(shù)據(jù)集上轎車的平均長寬高是4.5米、1.8米、1.5米。這個先驗雖然粗糙但在缺乏其他信息時非常管用。3. 從線索到坐標(biāo)單目3D目標(biāo)檢測的幾條主流路線3.1 直接回歸法讓網(wǎng)絡(luò)自己學(xué)最直接的想法是既然網(wǎng)絡(luò)能回歸2D框的坐標(biāo)那讓它多回歸幾個值——深度、長寬高、朝向角——不就行了這就是直接回歸法的核心思路。代表工作比如早期的Deep3DBox它在2D檢測器的基礎(chǔ)上加了一個分支輸出物體的3D尺寸、中心和朝向。這條路線的優(yōu)點是結(jié)構(gòu)簡單、推理速度快適合對實時性要求高的場景。但缺點也很明顯深度回歸的精度對遮擋和截斷非常敏感。一個被截斷的物體網(wǎng)絡(luò)看到的像素少回歸出來的深度往往偏差很大。而且直接回歸缺乏幾何約束容易出現(xiàn)“框飄了”的情況——2D框很準(zhǔn)但3D框在空間里歪歪扭扭。我自己的經(jīng)驗是直接回歸法適合作為baseline快速驗證想法但如果要上產(chǎn)品必須加幾何約束或者后處理優(yōu)化。一個常用的技巧是用2D框的底部中點作為物體接地點結(jié)合相機(jī)內(nèi)參和地面平面假設(shè)反推出深度。這個幾何方法比純回歸穩(wěn)定得多尤其是在自動駕駛場景里。3.2 關(guān)鍵點與幾何約束法用結(jié)構(gòu)信息兜底既然純回歸不穩(wěn)那就引入結(jié)構(gòu)。關(guān)鍵點法的思路是先檢測物體的幾個關(guān)鍵點比如車輛的車頂、車底、左前輪、右后輪然后利用這些關(guān)鍵點在3D模型上的已知位置通過PnPPerspective-n-Point求解出物體的3D姿態(tài)和位置。這個方法的精度上限很高因為關(guān)鍵點的像素坐標(biāo)是直接觀測到的幾何求解過程有明確的數(shù)學(xué)保證。但它對關(guān)鍵點檢測的準(zhǔn)確性極其敏感——一個關(guān)鍵點偏了10個像素解出來的深度可能差好幾米。而且關(guān)鍵點的定義依賴物體類別換一個類別就要重新定義一套關(guān)鍵點泛化性受限。實際項目中我通常會把關(guān)鍵點法和直接回歸法結(jié)合用回歸法出初值再用關(guān)鍵點做幾何優(yōu)化。這樣既有速度又有精度。在KITTI的評測里這種混合策略通常能把深度誤差降低20%到30%。3.3 偽激光雷達(dá)法把深度圖變成點云這條路線是近幾年比較火的。核心思想是先用一個深度估計網(wǎng)絡(luò)把單目圖像轉(zhuǎn)換成一張深度圖然后把深度圖反投影成點云最后在點云上跑標(biāo)準(zhǔn)的3D檢測算法。因為點云檢測已經(jīng)有非常成熟的方案比如PointPillars、VoxelNet所以這條路線相當(dāng)于把“單目3D檢測”轉(zhuǎn)化成了“深度估計點云檢測”兩個子問題。偽激光雷達(dá)法的優(yōu)勢在于模塊化每個子問題都可以獨立優(yōu)化。深度估計可以用自監(jiān)督、多幀、雙目等多種方式提升點云檢測可以直接復(fù)用現(xiàn)有成果。但它的瓶頸也很明顯深度估計的誤差會直接傳遞到最終的3D檢測結(jié)果。如果深度圖在物體邊緣糊了反投影出來的點云就會在物體表面“拉絲”導(dǎo)致檢測框變形。提示偽激光雷達(dá)法對深度估計的質(zhì)量要求極高。如果你的深度網(wǎng)絡(luò)在遠(yuǎn)處物體的誤差超過10%那最終的3D檢測基本沒法用。建議在深度估計階段就引入激光雷達(dá)稀疏點云做監(jiān)督哪怕只有幾幀標(biāo)注數(shù)據(jù)也能顯著提升效果。3.4 三條路線的對比與選型建議路線精度上限推理速度對標(biāo)注的依賴適合場景直接回歸法中快中等實時檢測、嵌入式部署關(guān)鍵點幾何法高中高需關(guān)鍵點標(biāo)注高精度測量、工業(yè)檢測偽激光雷達(dá)法高慢高需深度標(biāo)注離線分析、自動駕駛感知選型的時候我一般會問三個問題第一你的場景對實時性要求多高第二你有沒有激光雷達(dá)或者雙目數(shù)據(jù)做監(jiān)督第三你的物體類別是否固定如果實時性優(yōu)先、類別固定直接回歸法加幾何后處理就夠了如果精度優(yōu)先、有激光雷達(dá)數(shù)據(jù)偽激光雷達(dá)法上限最高如果是工業(yè)測量這種對絕對精度要求極高的場景關(guān)鍵點法更可靠。4. 3D人臉識別當(dāng)深度線索遇上生物特征4.1 為什么2D人臉識別不夠用2D人臉識別在約束環(huán)境下已經(jīng)做得非常好了但一遇到姿態(tài)變化、光照變化、化妝或者口罩性能就斷崖式下跌。根本原因在于2D圖像丟失了面部的三維結(jié)構(gòu)信息。一個人的臉在正面和側(cè)面拍出來像素分布完全不同但本質(zhì)上還是同一張臉。2D算法很難把這種姿態(tài)變化和身份變化區(qū)分開。3D人臉識別的思路是直接重建或者感知面部的三維幾何結(jié)構(gòu)用深度信息來輔助身份判斷。這樣即使姿態(tài)變了三維結(jié)構(gòu)是不變的識別魯棒性就上來了。4.2 從單張圖重建3D人臉參數(shù)化模型是主流單目3D人臉重建目前最主流的方案是參數(shù)化模型比如3DMM3D Morphable Model。它的核心思想是任何一張人臉都可以表示為一個平均臉加上若干形狀和表情的線性組合。網(wǎng)絡(luò)只需要回歸出這些組合系數(shù)就能重建出對應(yīng)的3D人臉。具體來說3DMM把面部幾何表示為# 偽代碼示意 face_3d mean_face shape_basis shape_coeff expression_basis expr_coeff其中shape_basis和expression_basis是從大量3D掃描數(shù)據(jù)中通過PCA得到的基向量shape_coeff和expr_coeff就是網(wǎng)絡(luò)要預(yù)測的系數(shù)。通常形狀系數(shù)50到100維表情系數(shù)20到50維加起來不到200個參數(shù)就能表示出非常豐富的人臉變化。這個方法的優(yōu)點是參數(shù)少、可解釋性強(qiáng)、重建結(jié)果穩(wěn)定。缺點是基向量的表達(dá)能力有限遇到極端表情或者特殊臉型時重建結(jié)果會“平均化”丟失個性細(xì)節(jié)。我在做3D人臉識別相關(guān)項目時通常會在3DMM的基礎(chǔ)上再加一個細(xì)節(jié)補償網(wǎng)絡(luò)專門恢復(fù)皺紋、酒窩這些高頻信息。4.3 深度信息怎么融入識別流程重建出3D人臉之后識別就有兩種做法。一種是基于幾何的識別直接比較兩個人臉的三維關(guān)鍵點距離或者曲面曲率。這種方法對光照完全不敏感但對面部表情和遮擋比較敏感。另一種是基于紋理的識別把3D人臉投影回2D做姿態(tài)歸一化再用傳統(tǒng)的2D識別網(wǎng)絡(luò)提取特征。這種方法保留了紋理信息但歸一化過程會引入插值誤差。實際系統(tǒng)里我見過最多的是融合方案幾何特征和紋理特征各出一路最后拼接或者加權(quán)融合。融合權(quán)重可以根據(jù)場景動態(tài)調(diào)整——光照好的時候紋理權(quán)重大光照差的時候幾何權(quán)重大。這種自適應(yīng)融合在安防場景里特別實用因為安防攝像頭的光照條件往往不可控。注意3D人臉識別的防偽能力比2D強(qiáng)很多因為面具和照片很難同時偽造出正確的幾何結(jié)構(gòu)和紋理。但高精度的3D打印面具仍然是一個威脅所以活體檢測模塊不能省。5. 多模態(tài)融合單目不夠那就多找?guī)讉€“幫手”5.1 為什么單目3D視覺需要多模態(tài)單目圖像的深度線索再豐富也有物理上的天花板。一張圖就是一張圖它沒有視差、沒有飛行時間、沒有結(jié)構(gòu)光。當(dāng)場景紋理稀疏比如白墻、光照極端比如夜間、或者物體被嚴(yán)重遮擋時單目方法基本無解。多模態(tài)融合的思路是既然一種傳感器不夠那就把相機(jī)、激光雷達(dá)、毫米波雷達(dá)、IMU等傳感器的數(shù)據(jù)融合起來互相補位。相機(jī)提供稠密的紋理和語義激光雷達(dá)提供精確的深度和幾何毫米波雷達(dá)提供速度和穿透能力IMU提供運動先驗。融合之后系統(tǒng)的魯棒性和精度都會上一個臺階。5.2 融合的層次數(shù)據(jù)級、特征級、決策級多模態(tài)融合按融合發(fā)生的階段通常分為三個層次。數(shù)據(jù)級融合是最早期的融合直接把不同傳感器的原始數(shù)據(jù)對齊后拼接。比如把激光雷達(dá)的點云投影到圖像平面每個像素除了RGB之外還多一個深度值。這種融合信息量最大但對時間同步和空間標(biāo)定的要求極高。標(biāo)定誤差超過一個像素融合效果就會明顯下降。特征級融合是目前最主流的方式。每個模態(tài)先各自過一遍骨干網(wǎng)絡(luò)提取特征然后在中間層做融合。融合操作可以是簡單的拼接、相加也可以是注意力機(jī)制加權(quán)的自適應(yīng)融合。特征級融合的靈活性很高不同模態(tài)的網(wǎng)絡(luò)結(jié)構(gòu)可以不一樣融合位置也可以根據(jù)任務(wù)調(diào)整。決策級融合是最高層的融合每個模態(tài)獨立完成檢測或分類最后對結(jié)果做投票或者加權(quán)平均。這種融合對同步誤差不敏感實現(xiàn)簡單但丟失了模態(tài)之間的互補信息精度上限不如特征級。融合層次信息保留同步要求實現(xiàn)難度典型精度數(shù)據(jù)級最高極高高最高特征級高中中高決策級低低低中5.3 實際項目中的融合策略與踩坑記錄我做過一個園區(qū)低速無人車的感知項目用的是相機(jī)加16線激光雷達(dá)。一開始我們嘗試數(shù)據(jù)級融合把點云投影到圖像上做前景分割。結(jié)果發(fā)現(xiàn)兩個問題一是時間同步?jīng)]做好車輛運動時點云和圖像錯位嚴(yán)重二是標(biāo)定參數(shù)在車輛震動后會漂移需要頻繁重新標(biāo)定。后來改成特征級融合相機(jī)走ResNet提取圖像特征激光雷達(dá)走PointNet提取點云特征然后在BEV鳥瞰圖空間做融合。這個方案對同步誤差的容忍度高了很多而且BEV空間天然適合做3D檢測。最終在園區(qū)場景下3D檢測的mAP比純視覺方案提升了將近15個百分點。踩過的坑里最值得說的是標(biāo)定。很多人覺得標(biāo)定是一次性的工作標(biāo)完就不管了。實際上車輛行駛中的震動、溫度變化、甚至洗車都會導(dǎo)致標(biāo)定參數(shù)漂移。我們的做法是加了一個在線標(biāo)定模塊用路面和車道線作為自然參照物每隔一段時間自動修正外參。這個模塊上線后因為標(biāo)定問題導(dǎo)致的誤檢率下降了70%以上。另一個坑是傳感器失效處理。多模態(tài)融合系統(tǒng)最怕的就是某個傳感器突然掛了融合邏輯如果沒做好降級處理整個系統(tǒng)就會輸出垃圾結(jié)果。我們的方案是給每個模態(tài)加一個置信度評估當(dāng)某個模態(tài)的置信度低于閾值時自動切換到單模態(tài)模式同時上報故障。這個降級機(jī)制在雨雪天氣里救過好幾次場——激光雷達(dá)被雨滴干擾時純視覺模式雖然精度下降但至少能維持基本功能。6. 動手實踐用單張圖像做一次3D檢測的完整流程6.1 環(huán)境準(zhǔn)備與數(shù)據(jù)準(zhǔn)備如果你想自己跑一遍單目3D檢測我建議從KITTI數(shù)據(jù)集開始。它提供了7481張訓(xùn)練圖像和7518張測試圖像每張圖都有對應(yīng)的激光雷達(dá)點云和3D標(biāo)注框。雖然數(shù)據(jù)集有點老但標(biāo)注質(zhì)量高、評測標(biāo)準(zhǔn)統(tǒng)一非常適合入門。環(huán)境方面Python 3.8以上、PyTorch 1.10以上、CUDA 11.3以上基本就夠了。還需要安裝OpenCV、NumPy、以及一個點云可視化工具比如Open3D。如果你沒有GPU用CPU也能跑通推理只是速度會慢很多。# 創(chuàng)建環(huán)境 conda create -n mono3d python3.8 conda activate mono3d pip install torch torchvision opencv-python numpy open3d數(shù)據(jù)準(zhǔn)備階段最重要的是理解KITTI的標(biāo)注格式。每個3D框有15個參數(shù)類別、截斷程度、遮擋程度、觀測角、2D框坐標(biāo)、3D尺寸、3D中心坐標(biāo)、朝向角。其中3D中心坐標(biāo)的y值在KITTI里是相機(jī)坐標(biāo)系下的高度不是地面高度這個細(xì)節(jié)很容易搞混。6.2 深度估計網(wǎng)絡(luò)的訓(xùn)練與調(diào)優(yōu)單目3D檢測的第一步通常是深度估計。我推薦從自監(jiān)督深度估計開始因為不需要深度標(biāo)注。核心思路是用相鄰幀的圖像做光度一致性約束讓網(wǎng)絡(luò)學(xué)會預(yù)測深度。訓(xùn)練的時候有幾個關(guān)鍵點。第一圖像分辨率很重要。低分辨率下遠(yuǎn)處物體的深度幾乎無法估計建議至少用1024×320的輸入。第二損失函數(shù)要組合使用光度誤差、結(jié)構(gòu)相似性誤差、邊緣平滑誤差三者缺一不可。第三數(shù)據(jù)增強(qiáng)要小心。水平翻轉(zhuǎn)會改變場景的幾何結(jié)構(gòu)深度圖也要對應(yīng)翻轉(zhuǎn)但很多開源代碼在這塊處理得不干凈導(dǎo)致訓(xùn)練不穩(wěn)定。我自己的調(diào)優(yōu)經(jīng)驗是先用低分辨率快速迭代等損失降到一定程度再切高分辨率微調(diào)。學(xué)習(xí)率用余弦退火初始值1e-4最低降到1e-6。Batch size在顯存允許的情況下盡量大因為深度估計對batch內(nèi)的多樣性比較敏感。6.3 從深度圖到3D框后處理的關(guān)鍵步驟拿到深度圖之后反投影成點云然后在點云上做聚類和框擬合。這一步的精度直接決定了最終的3D檢測效果。反投影的公式很簡單# 像素坐標(biāo) (u, v) 和深度 d 轉(zhuǎn) 3D 點 (X, Y, Z) X (u - cx) * d / fx Y (v - cy) * d / fy Z d其中fx, fy, cx, cy是相機(jī)內(nèi)參。但實際做的時候深度圖在物體邊緣會有“飛點”反投影出來的點云在物體邊界處會拉出一堆噪聲點。我的處理方法是先對深度圖做邊緣保持濾波再用基于密度的聚類DBSCAN把點云分成一個個簇每個簇對應(yīng)一個物體最后用最小外接矩形擬合出3D框。后處理里還有一個容易被忽略的步驟地面平面估計。很多3D框的底部應(yīng)該落在地面上如果估計出的地面平面不準(zhǔn)框就會“懸空”或者“陷地”。我通常用RANSAC從點云里擬合地面平面然后把所有物體的底部約束到這個平面上。這個簡單的約束能顯著提升定位精度。6.4 實測效果與常見問題排查在KITTI的驗證集上我這套流程大概能做到轎車類別的3D檢測APIoU閾值0.7在15%左右行人類別在10%左右。這個數(shù)字不算高但作為入門級方案已經(jīng)能跑通全流程了。如果你用更先進(jìn)的偽激光雷達(dá)方案轎車AP可以做到25%以上。常見問題里排第一的是深度尺度模糊。單目深度估計只能得到相對深度絕對尺度是不知道的。解決辦法是用訓(xùn)練集里的物體平均尺寸做校準(zhǔn)或者用相機(jī)高度做參考。排第二的是朝向角估計不準(zhǔn)。單目圖像里物體的朝向角有兩個解正面和背面看起來可能很像需要結(jié)合上下文或者運動信息來消歧。排第三的是遠(yuǎn)處物體漏檢。遠(yuǎn)處物體像素少、深度誤差大很容易被網(wǎng)絡(luò)忽略。一個實用的技巧是在訓(xùn)練時對遠(yuǎn)處物體做重采樣增加它們在損失函數(shù)里的權(quán)重。7. 幾個容易踩的坑和我的應(yīng)對經(jīng)驗7.1 標(biāo)定參數(shù)錯了后面全白搭我見過太多項目模型結(jié)構(gòu)改來改去最后發(fā)現(xiàn)是相機(jī)內(nèi)參標(biāo)定錯了。內(nèi)參的焦距誤差1%深度誤差就是1%主點偏了10個像素反投影出來的點云整體就歪了。所以做任何3D視覺任務(wù)之前先把標(biāo)定做扎實。棋盤格標(biāo)定雖然老土但可靠。標(biāo)完之后用重投影誤差驗證誤差超過0.5個像素就重新標(biāo)。7.2 別迷信端到端幾何約束是朋友深度學(xué)習(xí)很強(qiáng)大但在3D視覺里純端到端的方法往往不如“網(wǎng)絡(luò)幾何”的混合方案。幾何約束是免費的午餐——它不需要訓(xùn)練數(shù)據(jù)不會過擬合而且有明確的物理意義。我在項目里通常會保留一個幾何后處理模塊哪怕網(wǎng)絡(luò)輸出已經(jīng)很好了幾何約束也能兜底。7.3 多模態(tài)融合不是簡單拼接多模態(tài)融合最忌諱的就是把不同模態(tài)的特征直接concat了事。不同模態(tài)的數(shù)據(jù)分布、噪聲特性、信息密度都不一樣直接拼接會讓網(wǎng)絡(luò)偏向信息量大的模態(tài)。正確的做法是先各自歸一化再用注意力機(jī)制做自適應(yīng)加權(quán)讓網(wǎng)絡(luò)自己決定每個模態(tài)在每個位置的重要性。7.4 評測指標(biāo)要看懂再優(yōu)化3D檢測的評測指標(biāo)比2D復(fù)雜得多。IoU閾值、朝向角誤差、深度誤差、BEV視角的AP每個指標(biāo)反映的問題都不一樣。如果你只盯著一個指標(biāo)優(yōu)化很容易過擬合。我的習(xí)慣是同時看三到四個指標(biāo)確保模型在各個維度上都沒有明顯短板。8. 這個方向接下來還能怎么玩單目3D視覺這幾年進(jìn)展很快但離“像人眼一樣理解三維世界”還有很大距離。我個人比較看好的幾個方向一是時序融合單幀信息不夠那就用多幀。視頻里的運動視差是天然的深度線索用好時序信息能大幅提升深度估計的穩(wěn)定性。二是神經(jīng)輻射場與3D視覺的結(jié)合NeRF這類方法能從多視角圖像里重建出非常精細(xì)的三維結(jié)構(gòu)雖然目前計算量還很大但思路很有啟發(fā)性。三是自監(jiān)督與弱監(jiān)督3D標(biāo)注太貴了如何用少量的標(biāo)注甚至零標(biāo)注訓(xùn)練出可用的3D感知模型是工業(yè)界最關(guān)心的問題。如果你正在做計算機(jī)視覺大作業(yè)或者準(zhǔn)備多模態(tài)融合論文我的建議是不要貪大求全選一個具體的子問題做深做透。比如“單目深度估計在透明物體上的誤差分析”就比“多模態(tài)3D檢測綜述”更容易做出有價值的成果。3D視覺這個領(lǐng)域細(xì)節(jié)里全是魔鬼把一個細(xì)節(jié)搞清楚比泛泛地了解十個方向都有用。