1. 坐標(biāo)轉(zhuǎn)換的整體設(shè)計像素坐標(biāo)為什么會變成三維坐標(biāo)做機(jī)器人抓取、三維重建或者AR應(yīng)用時幾乎都會碰到同一個問題相機(jī)圖像上某個點的像素坐標(biāo)是(u, v)它對應(yīng)的那個物體在真實空間里到底在哪個位置D435i深度相機(jī)給了一個很直接的答案——每個像素都帶深度值有了深度值像素坐標(biāo)就能換算成三維坐標(biāo)。但這個換算過程背后不是簡單乘個系數(shù)而是一條完整的幾何轉(zhuǎn)換鏈。1.1 四個坐標(biāo)系一條轉(zhuǎn)換鏈要從像素坐標(biāo)得到三維空間坐標(biāo)先要搞清楚圖像上的一個點經(jīng)歷了哪些“坐標(biāo)系變換”。整條鏈路涉及四個坐標(biāo)系像素坐標(biāo)系以圖像左上角為原點單位是像素就是我們平時說的(u, v)。圖像坐標(biāo)系以光軸與成像平面的交點為原點單位是毫米坐標(biāo)軸與像素坐標(biāo)系平行。相機(jī)坐標(biāo)系以相機(jī)光心為原點Z軸指向相機(jī)正前方X軸向右Y軸向下單位是毫米或米。三維空間坐標(biāo)就是在這個坐標(biāo)系下表示的。世界坐標(biāo)系你自己定義的一個基準(zhǔn)坐標(biāo)系機(jī)械臂場景里通常以機(jī)器人基座為原點。像素坐標(biāo)轉(zhuǎn)三維坐標(biāo)實際操作上就是把像素坐標(biāo)一步步還原到相機(jī)坐標(biāo)系里。先由像素坐標(biāo)(u, v)得到圖像坐標(biāo)再由圖像坐標(biāo)結(jié)合深度值得到相機(jī)坐標(biāo)系下的三維坐標(biāo)。如果還要放到機(jī)械臂或者導(dǎo)航地圖里就再加一步外參變換把相機(jī)坐標(biāo)轉(zhuǎn)到世界坐標(biāo)。這條鏈路里最關(guān)鍵的一個認(rèn)知是像素坐標(biāo)到三維坐標(biāo)不是“查表”而是“反投影”。相機(jī)成像過程是把三維物體投影到二維圖像平面上這個過程天然丟失了深度信息。深度相機(jī)的作用就是把丟失的深度信息補(bǔ)回來有了深度反投影就能完整還原出三維坐標(biāo)。1.2 內(nèi)外參相機(jī)的“視力”和“姿勢”整個轉(zhuǎn)換過程依賴兩組參數(shù)內(nèi)參和外參。內(nèi)參是相機(jī)本身的屬性包括焦距(fx, fy)、主點坐標(biāo)(cx, cy)和畸變系數(shù)。它描述的是“三維空間中的點是如何被投射到像素平面上的”。同一個相機(jī)內(nèi)參是固定的不受安裝位置影響。D435i出廠時已經(jīng)標(biāo)定好內(nèi)參存在相機(jī)固件里調(diào)用SDK可以直接讀出來。外參描述的是相機(jī)坐標(biāo)系相對于某個參考坐標(biāo)系的旋轉(zhuǎn)和平移也就是相機(jī)在空間中的“姿勢”。相機(jī)裝在機(jī)械臂末端外參就是相機(jī)坐標(biāo)系到機(jī)械臂末端坐標(biāo)系的變換矩陣相機(jī)固定在天花板上外參就是相機(jī)坐標(biāo)系到機(jī)器人基座坐標(biāo)系的變換矩陣。外參不是固定的每次重新安裝相機(jī)都要重新標(biāo)定。如果把內(nèi)參理解成“這雙眼睛近視多少度、有沒有散光”那外參就是“這雙眼睛長在腦袋的什么位置、腦袋朝向哪里”。兩者缺一不可。1.3 深度值在這個鏈條里的作用沒有深度值的普通RGB相機(jī)像素坐標(biāo)(u, v)只能給出一條射線物體可能出現(xiàn)在射線上的任意位置距離未知。D435i用主動立體視覺方案通過紅外投影儀投射不可見的紅外紋理再用左右兩個紅外相機(jī)拍攝通過視差計算每個像素的深度。輸出的深度圖里每個像素的值就是該點到相機(jī)平面的距離單位通常是毫米。這里有個容易誤解的點深度值代表的是“點到相機(jī)平面”的距離不是“點到相機(jī)光心”的直線距離。以D435i為例深度值z對應(yīng)的是相機(jī)坐標(biāo)系中該點的Z軸分量。所以計算三維坐標(biāo)時直接用z作為Z方向分量而不是把它當(dāng)作歐氏距離再分解。這一點在做坐標(biāo)轉(zhuǎn)換時特別容易踩坑后面代碼部分會專門演示。有了深度值z像素坐標(biāo)(u, v)就能通過內(nèi)參反投影公式還原成相機(jī)坐標(biāo)系下的三維坐標(biāo)(x, y, z)。這是整個轉(zhuǎn)換的核心公式下一節(jié)詳細(xì)拆解。2. 核心細(xì)節(jié)解析內(nèi)參、對齊與畸變2.1 內(nèi)參矩陣到底怎么讀D435i的內(nèi)參通常用3x3矩陣表示K [fx, 0, cx, 0, fy, cy, 0, 0, 1]其中fx和fy是焦距單位是像素。注意這里的焦距不是物理焦距毫米而是物理焦距除以像元尺寸后得到的“像素焦距”。cx和cy是主點坐標(biāo)理論上應(yīng)該位于圖像中心但由于制造裝配誤差實際位置會偏移幾個像素。讀取D435i內(nèi)參的代碼非常簡單import pyrealsense2 as rs pipeline rs.pipeline() config rs.config() config.enable_stream(rs.stream.color, 640, 480, rs.format.bgr8, 30) profile pipeline.start(config) color_profile profile.get_stream(rs.stream.color) intr color_profile.as_video_stream_profile().get_intrinsics() print(intr.fx, intr.fy, intr.ppx, intr.ppy)打印出來的fx、fy、ppx、ppy就是內(nèi)參矩陣?yán)锏膄x、fy和cx、cy。D435i的640x480彩色流典型值大概是fx≈615fy≈615cx≈320fy≈240但每一臺相機(jī)都有細(xì)微差別必須以實際讀取為準(zhǔn)。2.2 深度圖與彩色圖對齊先統(tǒng)一坐標(biāo)系D435i有兩個成像傳感器彩色攝像頭和紅外深度傳感器。它們的物理位置不同視野范圍也不同所以同一時刻彩色圖和深度圖里的像素并不一一對應(yīng)。如果直接拿彩色圖像上的像素坐標(biāo)去查深度圖得到的深度值可能是錯的偏差在邊緣區(qū)域尤其明顯。解決辦法是做“深度對齊”align把深度圖映射到彩色圖的坐標(biāo)系下讓彩色圖的每個像素都有一個對應(yīng)的深度值。實現(xiàn)方式align rs.align(rs.stream.color) frames pipeline.wait_for_frames() aligned_frames align.process(frames) aligned_depth_frame aligned_frames.get_depth_frame() color_frame aligned_frames.get_color_frame()對齊后彩色圖上的像素(u, v)對應(yīng)的深度值可以直接從aligned_depth_frame里取。這一步看似簡單但很多初學(xué)者會跳過結(jié)果做出來的三維坐標(biāo)誤差很大還以為是標(biāo)定問題。實際上一大半情況是對齊沒做對。2.3 畸變模型與去畸變?nèi)魏午R頭都存在畸變D435i的彩色鏡頭是廣角鏡頭邊緣畸變更明顯?；兎譃閺较蚧兒颓邢蚧儚较蚧僰1, k2, k3光線經(jīng)過透鏡時彎曲程度不一致導(dǎo)致直線變彎。桶形畸變是典型的徑向畸變。切向畸變p1, p2透鏡與成像平面不平行導(dǎo)致的偏移。D435i的出廠內(nèi)參里包含畸變系數(shù)SDK讀取內(nèi)參時會一并讀出。如果直接使用OpenCV的cv2.undistort做去畸變可以這樣import numpy as np import cv2 K np.array([[intr.fx, 0, intr.ppx], [0, intr.fy, intr.ppy], [0, 0, 1]]) dist np.array(intr.coeffs) undistorted cv2.undistort(color_image, K, dist)但要注意一點在D435i的SDK流程里深度對齊操作內(nèi)部已經(jīng)做了畸變校正。也就是說從aligned_frames拿到的彩色圖和深度圖已經(jīng)對應(yīng)到同一個畸變校正后的坐標(biāo)系不需要額外再調(diào)一次undistort。只有當(dāng)你直接取raw幀自己處理時才需要顯式去畸變。這里曾經(jīng)有朋友問為什么對齊后還要undistort結(jié)果兩重操作疊加圖像邊緣反而出現(xiàn)了重影問題就出在這個流程上。2.4 從像素到三維空間完整公式拆解這一節(jié)是整個博文的核心把公式一步步拆開講透。假設(shè)深度圖與彩色圖已對齊深度圖上某個像素坐標(biāo)是(u, v)對應(yīng)的深度值是depth單位毫米。相機(jī)內(nèi)參為fx, fy, cx, cy。那么該點在相機(jī)坐標(biāo)系下的三維坐標(biāo)計算如下z depth / 1000.0 # 轉(zhuǎn)成米 x (u - cx) * z / fx y (v - cy) * z / fy為什么要減cx和cy因為像素坐標(biāo)的原點在圖像左上角而相機(jī)坐標(biāo)系的原點在光軸與圖像平面的交點。減去主點坐標(biāo)就把像素坐標(biāo)轉(zhuǎn)換成了以光軸投影點為原點的圖像坐標(biāo)。除以fx相當(dāng)于把像素單位的橫向距離換算成歸一化平面坐標(biāo)再乘以深度z就得到了相機(jī)坐標(biāo)系下的真實橫向偏移。舉個實際例子。假設(shè)內(nèi)參fx615.0fy615.0cx320.0cy240.0。像素坐標(biāo)是(400, 300)深度值是1200mm。計算過程z 1.2 米 x (400 - 320) * 1.2 / 615 80 * 1.2 / 615 ≈ 0.1561 米 y (300 - 240) * 1.2 / 615 60 * 1.2 / 615 ≈ 0.1171 米所以該點在相機(jī)坐標(biāo)系下的坐標(biāo)是(0.1561, 0.1171, 1.2)。這個結(jié)果意味著該點位于相機(jī)右方約15.6厘米、下方約11.7厘米、正前方1.2米處。把物體放在這個位置用公式算一遍你會發(fā)現(xiàn)結(jié)果完全吻合這就是反投影的基本幾何原理。一個常見的疑問是為什么y方向是正的因為在相機(jī)坐標(biāo)系里Y軸指向下方所以物體在圖像中心下方時y坐標(biāo)為正。很多第一次接觸的人會習(xí)慣性地以為y應(yīng)該向上為正實際上相機(jī)坐標(biāo)系和常規(guī)的“右手系”在紙上畫出來方向不同但D435i遵循的就是“X向右、Y向下、Z向前”這個約定。這個約定在機(jī)械臂場景里尤其重要后面做坐標(biāo)變換時如果符號搞反抓取位置會偏得離譜。3. 實操實現(xiàn)用Python把像素坐標(biāo)變成三維坐標(biāo)3.1 環(huán)境準(zhǔn)備與依賴先交代環(huán)境。我用的Python版本是3.8操作系統(tǒng)是Ubuntu 20.04。需要安裝三個核心庫pip install pyrealsense2 opencv-python numpypyrealsense2是Intel官方SDK的Python封裝負(fù)責(zé)讀取相機(jī)數(shù)據(jù)。opencv-python用于圖像處理。numpy負(fù)責(zé)向量化計算。如果你用的是Windows安裝方式一樣SDK會自動匹配對應(yīng)平臺的驅(qū)動。3.2 單點像素坐標(biāo)轉(zhuǎn)三維坐標(biāo)需求場景用鼠標(biāo)在彩色圖像上點一個點實時顯示這個點的三維坐標(biāo)。這個功能在做目標(biāo)檢測后處理時很常用——檢測框中心點轉(zhuǎn)到三維坐標(biāo)供機(jī)械臂抓取。完整代碼如下import pyrealsense2 as rs import numpy as np import cv2 pipeline rs.pipeline() config rs.config() config.enable_stream(rs.stream.depth, 640, 480, rs.format.z16, 30) config.enable_stream(rs.stream.color, 640, 480, rs.format.bgr8, 30) align rs.align(rs.stream.color) pipeline.start(config) try: while True: frames pipeline.wait_for_frames() aligned_frames align.process(frames) aligned_depth aligned_frames.get_depth_frame() color_frame aligned_frames.get_color_frame() if not aligned_depth or not color_frame: continue depth_image np.asanyarray(aligned_depth.get_data()) color_image np.asanyarray(color_frame.get_data()) # 定義要轉(zhuǎn)換的像素坐標(biāo)這里以圖像中心點為例 u, v 320, 240 depth_value depth_image[v, u] # 注意索引順序是v在前行u在后列 if depth_value 0: print(該點無有效深度值) continue # 讀取內(nèi)參 intr color_frame.profile.as_video_stream_profile().get_intrinsics() fx, fy intr.fx, intr.fy cx, cy intr.ppx, intr.ppy # 反投影公式 z depth_value / 1000.0 x (u - cx) * z / fx y (v - cy) * z / fy print(f像素坐標(biāo): ({u}, {v}), 深度: {depth_value}mm) print(f三維坐標(biāo): ({x:.3f}, {y:.3f}, {z:.3f}) 米) cv2.circle(color_image, (u, v), 5, (0, 0, 255), -1) cv2.imshow(Color, color_image) if cv2.waitKey(1) 0xFF ord(q): break finally: pipeline.stop()這段代碼有幾個容易踩坑的地方我逐一說明。第一個是數(shù)組索引順序。depth_image是numpy數(shù)組形狀是(H, W)即(height, width)所以訪問第v行第u列的元素要寫depth_image[v, u]而不是depth_image[u, v]。寫反了也不會報錯但取到的深度值是另一個點的坐標(biāo)就全錯了。這個問題排查起來很隱蔽因為程序能正常跑只是數(shù)值不對。第二個是對齊的作用。加了rs.align(rs.stream.color)之后深度圖和彩色圖的坐標(biāo)系已經(jīng)對齊彩色圖上的(u, v)點才能直接去深度圖里查深度。沒有對齊直接查邊緣位置的深度值會偏差幾十毫米甚至更多。第三個是深度值為0的情況。深度0通常表示該點無法測量可能是因為物體太近、反光太強(qiáng)或者處于視野邊緣。做工程時一定要做這個判斷否則計算出的坐標(biāo)可能是一個巨大的異常值。3.3 整幅圖生成點云向量化計算單點轉(zhuǎn)換適用于目標(biāo)檢測場景。但如果要做三維重建或者點云處理需要一次性把整張深度圖轉(zhuǎn)換成三維坐標(biāo)。用for循環(huán)逐像素計算會非常慢正確做法是用numpy向量化。import pyrealsense2 as rs import numpy as np pipeline rs.pipeline() config rs.config() config.enable_stream(rs.stream.depth, 640, 480, rs.format.z16, 30) config.enable_stream(rs.stream.color, 640, 480, rs.format.bgr8, 30) pipeline.start(config) frames pipeline.wait_for_frames() depth_frame frames.get_depth_frame() depth_image np.asanyarray(depth_frame.get_data()) height, width depth_image.shape intr depth_frame.profile.as_video_stream_profile().get_intrinsics() fx, fy intr.fx, intr.fy cx, cy intr.ppx, intr.ppy # 生成像素坐標(biāo)網(wǎng)格 u_map, v_map np.meshgrid(np.arange(width), np.arange(height)) # 向量化反投影 z_map depth_image.astype(np.float32) / 1000.0 x_map (u_map - cx) * z_map / fx y_map (v_map - cy) * z_map / fy points np.stack((x_map, y_map, z_map), axis-1) # 形狀: (H, W, 3)numpy的meshgrid生成所有像素坐標(biāo)的網(wǎng)格然后直接用矩陣運(yùn)算得到每個像素對應(yīng)的三維坐標(biāo)。640x480的圖像有30萬個點向量化計算耗時在毫秒級而for循環(huán)可能需要幾十秒。這在實際項目中是必須做的優(yōu)化。生成的points數(shù)組可以直接喂給Open3D做可視化或者點云處理。如果你用rs.save_to_ply函數(shù)SDK也有內(nèi)置的點云導(dǎo)出能力但自己做的好處是能拿到原始三維坐標(biāo)數(shù)據(jù)方便后續(xù)跟機(jī)械臂、導(dǎo)航模塊對接。3.4 驗證轉(zhuǎn)換準(zhǔn)確性把三維坐標(biāo)投影回像素寫完了轉(zhuǎn)換怎么確認(rèn)算得對不對最直觀的驗證方法是做一次“往返測試”先把像素坐標(biāo)轉(zhuǎn)成三維坐標(biāo)再用相機(jī)投影公式把三維坐標(biāo)投影回像素坐標(biāo)看是否回到原點。x, y, z 0.1561, 0.1171, 1.2 # 上一節(jié)計算得到的三維坐標(biāo) u_reproj int(x * fx / z cx) v_reproj int(y * fy / z cy) print(u_reproj, v_reproj) # 應(yīng)該輸出接近(400, 300)的結(jié)果如果代碼邏輯正確投影回來的像素坐標(biāo)與原始像素坐標(biāo)誤差應(yīng)該在一個像素以內(nèi)。這個測試的好處是不需要任何外部設(shè)備一把尺子都不用純數(shù)學(xué)檢驗邏輯是否正確。更貼近實際場景的驗證方法是放一個已知尺寸的物體。比如一個邊長為10厘米的方塊放在相機(jī)正前方1米處檢測方塊邊緣的像素坐標(biāo)轉(zhuǎn)換成三維坐標(biāo)后測量邊長看是否接近10厘米。這個驗證能同時檢驗深度精度和內(nèi)參是否正確是對整個坐標(biāo)轉(zhuǎn)換鏈路的一次端到端測試。4. 進(jìn)階實戰(zhàn)把三維坐標(biāo)放進(jìn)機(jī)器人坐標(biāo)系4.1 手眼標(biāo)定eye-in-hand還是eye-to-hand像素坐標(biāo)到三維坐標(biāo)解決的是“物體在相機(jī)坐標(biāo)系下的位置”但機(jī)械臂需要的是“物體在機(jī)器人坐標(biāo)系下的位置”。從相機(jī)坐標(biāo)到機(jī)器人坐標(biāo)需要一次剛體變換由旋轉(zhuǎn)矩陣R和平移向量t組成。求解R和t的過程就是手眼標(biāo)定。根據(jù)相機(jī)安裝方式不同手眼標(biāo)定分為兩種eye-in-hand相機(jī)裝在機(jī)械臂末端跟著機(jī)械臂一起動。標(biāo)定目標(biāo)是求相機(jī)坐標(biāo)系到機(jī)械臂末端坐標(biāo)系的變換矩陣。eye-to-hand相機(jī)固定在外部支架上機(jī)械臂在相機(jī)視野內(nèi)運(yùn)動。標(biāo)定目標(biāo)是求相機(jī)坐標(biāo)系到機(jī)械臂基座坐標(biāo)系的變換矩陣。兩種方式的標(biāo)定原理相同都是通過機(jī)械臂帶著標(biāo)定板運(yùn)動記錄多個位置的機(jī)械臂位姿和標(biāo)定板在相機(jī)坐標(biāo)系下的位姿聯(lián)立方程組求解AXXB。OpenCV提供了cv2.calibrateHandEye函數(shù)輸入機(jī)械臂末端相對于基座的位姿序列和標(biāo)定板相對于相機(jī)的位姿序列輸出相機(jī)到末端的變換矩陣。4.2 從像素坐標(biāo)到機(jī)械臂抓取坐標(biāo)的完整鏈路假設(shè)完成了eye-in-hand標(biāo)定得到了相機(jī)坐標(biāo)系到機(jī)械臂末端坐標(biāo)系的變換矩陣T_cam_to_end再結(jié)合機(jī)械臂的正運(yùn)動學(xué)得到末端到基座的變換矩陣T_end_to_base那么相機(jī)坐標(biāo)系下的點P_cam轉(zhuǎn)換到基座坐標(biāo)系下的P_baseP_end T_cam_to_end * P_cam P_base T_end_to_base * P_end用齊次坐標(biāo)表示就是import numpy as np # T_cam_to_end: 4x4齊次變換矩陣來自手眼標(biāo)定 # T_end_to_base: 4x4齊次變換矩陣來自機(jī)械臂正運(yùn)動學(xué) def pixel_to_base(u, v, depth_value, intr, T_cam_to_end, T_end_to_base): z depth_value / 1000.0 x (u - intr.ppx) * z / intr.fx y (v - intr.ppy) * z / intr.fy P_cam np.array([x, y, z, 1.0]) P_end T_cam_to_end P_cam P_base T_end_to_base P_end return P_base[:3]這里有一個工程上的重要經(jīng)驗不要忽略齊次坐標(biāo)的w分量。很多人在做矩陣變換時只取前三個分量忘記把第四維設(shè)為1結(jié)果平移量完全算錯。原因是旋轉(zhuǎn)變換只影響方向平移變換依賴齊次坐標(biāo)的第四維才能正確疊加。這個錯誤非常隱蔽因為代碼跑起來不報錯但機(jī)械臂抓取位置永遠(yuǎn)偏一個常數(shù)。在機(jī)械臂實戰(zhàn)中我建議把整個坐標(biāo)轉(zhuǎn)換鏈路封裝成一個獨(dú)立的模塊輸入是像素坐標(biāo)和深度值輸出是基座坐標(biāo)系下的三維坐標(biāo)。這樣上層邏輯只需要關(guān)心目標(biāo)位置不需要關(guān)心傳感器細(xì)節(jié)。后續(xù)如果要換相機(jī)或者調(diào)整安裝位置只需要改模塊內(nèi)部的標(biāo)定參數(shù)上層代碼一行都不用動。5. 常見問題與排查技巧實錄5.1 典型問題速查表實際操作中會遇到不少問題下面這個表格是我自己踩過坑和幫朋友排查過的問題匯總按頻率從高到低排列。問題現(xiàn)象可能原因解決方法三維坐標(biāo)整體偏移比如目標(biāo)明明在相機(jī)正前方算出來x方向偏了10厘米忘記做深度對齊或者對齊后仍在使用未對齊的深度圖使用rs.align(rs.stream.color)并從aligned_depth_frame取深度值坐標(biāo)值跳變劇烈同一位置相鄰兩幀計算結(jié)果相差很大深度值本身有噪聲尤其是邊緣和反光區(qū)域?qū)ι疃戎底鰰r間濾波取5幀中位數(shù)或者對坐標(biāo)結(jié)果做低通濾波目標(biāo)物體在圖像上可見但深度值為0物體太近低于最小深度范圍約0.2米、表面反光強(qiáng)、或被遮擋調(diào)整相機(jī)角度避免強(qiáng)反光確認(rèn)物體在0.28米到3米范圍內(nèi)圖像中心點的三維坐標(biāo)不是(0, 0, z)而是有偏移主點坐標(biāo)cx, cy不是精確的圖像中心這是正常的不要手工假設(shè)主點在中心必須讀取內(nèi)參中的實際值深度圖邊緣有黑色空洞左右紅外相機(jī)在物體邊緣存在遮擋盲區(qū)如果目標(biāo)物體在邊緣區(qū)域移動相機(jī)讓目標(biāo)靠近視野中心使用OpenCV去畸變后圖像邊緣變形對齊流程已經(jīng)做了畸變校正重復(fù)去畸變導(dǎo)致二次失真在alignment流程下不要額外調(diào)用undistort5.2 幾個排查技巧第一個技巧打印內(nèi)參。拿到一臺新的D435i第一件事就是打印fx、fy、cx、cy和畸變系數(shù)。我遇到過一臺設(shè)備的cx比標(biāo)稱值偏了4個像素這種個體差異不影響SDK內(nèi)部轉(zhuǎn)換但如果你手工硬編碼內(nèi)參做轉(zhuǎn)換誤差就會直接體現(xiàn)到三維坐標(biāo)上。第二個技巧可視化深度誤差。寫一個腳本在深度圖上用偽彩色顯示深度值然后用一個已知距離的物體比如把標(biāo)定板放在1米處核對深度值是否準(zhǔn)確。D435i的深度誤差通常在1%以內(nèi)如果偏差超過3%需要檢查是否使用了錯誤的深度流或?qū)R方式。第三個技巧利用rs-enumerate-devices命令查看相機(jī)出廠標(biāo)定信息。在終端執(zhí)行rs-enumerate-devices可以看到相機(jī)的硬件信息、各條數(shù)據(jù)流的內(nèi)參以及固件版本。如果懷疑相機(jī)標(biāo)定數(shù)據(jù)異常先來這里核對。第四個技巧對深度值做中值濾波而不是均值濾波。深度圖里的噪點通常是離群的極值比如0值或非常大的值均值濾波會被這些極值拉偏而中值濾波能有效剔除離群點。實現(xiàn)上可以用OpenCV的cv2.medianBlur核大小選3或5就夠。核太大反而會抹掉物體邊緣細(xì)節(jié)影響坐標(biāo)精度。第五個技巧在開發(fā)階段把三維坐標(biāo)以點云形式可視化出來。用Open3D載入points數(shù)組如果你的轉(zhuǎn)換公式正確點云應(yīng)該呈現(xiàn)出清晰的物體輪廓地面是一個平坦的平面。如果點云看起來“扭曲”或者“整體傾斜”通常是內(nèi)參讀錯或者對齊沒做對這個視覺反饋比任何數(shù)值調(diào)試都直觀。寫在最后D435i的像素坐標(biāo)到三維坐標(biāo)轉(zhuǎn)換初學(xué)者覺得復(fù)雜是因為中間隔著內(nèi)參、對齊、畸變、外參好幾層概念真正啃下來之后你會發(fā)現(xiàn)本質(zhì)就是一條幾何變換鏈。我在實際項目中最大的體會是這類傳感器融合的問題80%的坑出在坐標(biāo)系約定上——誰的方向是正、誰的單位是毫米誰是米、哪個索引在前哪個在后。只要把這些約定搞清楚、寫進(jìn)代碼注釋里整個工程都會順暢很多。如果你接下來要做機(jī)械臂抓取建議先別急著上手抓把坐標(biāo)轉(zhuǎn)換模塊單獨(dú)寫好用標(biāo)定板在不同位置驗證幾組坐標(biāo)誤差控制在厘米級后再往下走。坐標(biāo)轉(zhuǎn)換是上層所有應(yīng)用的地基這一層穩(wěn)了后面的事都是時間問題。