185、無人機(jī)圖傳鏈路中的ISP低延遲設(shè)計——基于全志V853的RAW域直通與H.264編碼前處理優(yōu)化去年夏天在深圳某無人機(jī)方案商那里調(diào)一版雙目避障圖傳，客戶要求端到端延遲壓到80ms以內(nèi)，我們拿全志V853做主控，Sensor是OV5647，跑的是RAW10輸出。當(dāng)時第一版固件出來，延遲直接飆到180ms，飛手打桿明顯感覺畫面“粘手”。用示波器量PTP時間戳，發(fā)現(xiàn)光ISP到編碼器之間就吃了將近70ms，這還不算網(wǎng)絡(luò)傳輸和顯示刷新。后來把整條鏈路拆開逐級打點，才定位到問題不在編碼器，也不在Sensor驅(qū)動，而是ISP內(nèi)部那條默認(rèn)的“完整處理管線”在作祟。V853這顆芯片的ISP其實支持RAW域直通模式，但SDK默認(rèn)配置是走完去噪、壞點校正、鏡頭陰影補(bǔ)償、自動白平衡、色彩矩陣、Gamma、銳化、降噪這一整套，每一級都有行緩沖和幀延遲，疊加起來就是災(zāi)難。先說說RAW域直通是什么概念。Sensor出來的RAW數(shù)據(jù)，理論上可以直接繞過ISP的大部分模塊，只做必要的格式轉(zhuǎn)換和裁剪，然后直接喂給編碼器。但這里有個坑：H.264編碼器通常不接受RAW格式輸入，它要的是YUV420或者NV12。所以“直通”不是真的把RAW丟給編碼器，而是把ISP的處理鏈砍到最短——只保留RAW到Y(jié)UV的格式轉(zhuǎn)換，跳過所有需要統(tǒng)計和反饋的模塊。全志V853的ISP里有一個叫“Bypass Mode”的開關(guān)，在驅(qū)動里對應(yīng)isp_bypass_enable這個寄存器位。打開之后，ISP只做Bayer到RGB的插值，然后直接轉(zhuǎn)YUV，不做任何降噪、不做壞點補(bǔ)償、不做Gamma校正。代價是畫面噪點會明顯，暗部會有偏色，但延遲能砍掉一大半。我們當(dāng)時在V853的驅(qū)動里