做圖像調(diào)優(yōu)的人多半被問過這個(gè)問題ISP 前處理和后處理到底怎么分有人說是去馬賽克之前和之后有人說是 RAW 域和 YUV 域還有人干脆按“修數(shù)據(jù)”和“調(diào)味道”來切。這個(gè)問題看著像概念辨析實(shí)際上它直接決定了你調(diào)參的順序、降噪放在哪一級、噪聲模型怎么建甚至決定了硬件模塊該切給 Sensor 端的片上 ISP 還是主控側(cè)的后處理單元。我做過幾年畫質(zhì)調(diào)優(yōu)見過太多項(xiàng)目因?yàn)榍昂筇幚磉吔鐩]理清前處理的黑電平?jīng)]扣干凈后處理把銳化和飽和度拉到爆最后畫面又臟又假回頭一看是鏈路位置放錯(cuò)了。ISP 前處理指的是圖像信號從 Sensor 輸出之后、進(jìn)入顏色重建和顯示映射之前這一段的校正類處理核心任務(wù)是把模擬世界帶進(jìn)來的“臟數(shù)據(jù)”洗干凈、拉回線性可計(jì)算的物理量ISP 后處理則是圖像完成顏色重建之后面向人眼觀感和編碼需求的增強(qiáng)類處理核心任務(wù)是把“正確的圖”變成“好看的圖”。這篇文章會把這條鏈路從頭到尾拆一遍講清楚每個(gè)模塊為什么放在那個(gè)位置、放錯(cuò)了會出什么問題附上可以直接抄的參數(shù)和代碼片段。不管你是剛接觸畫質(zhì)調(diào)優(yōu)的新人還是已經(jīng)能獨(dú)立跑通一條 pipeline 的老手都能從里面找到能直接用的東西。1. ISP 流水線的整體認(rèn)知與前后處理邊界先把整條鏈路鋪開看。光線穿過鏡頭、濾光片打到 Sensor 的像素陣列上光子轉(zhuǎn)電子、電子轉(zhuǎn)電壓、電壓經(jīng)模擬增益和 ADC 變成數(shù)字碼值這時(shí)候出來的是 Bayer 格式的 RAW 數(shù)據(jù)每個(gè)像素只有 R、G、B 中的一個(gè)分量。這份 RAW 數(shù)據(jù)就是 ISP 的輸入原料后面所有事情都是在這份原料上做文章。從 RAW 到最終能給人看的 YUV 或 RGB中間要經(jīng)過十幾級處理這十幾級怎么切分成前段和后段就是本文要討論的核心。1.1 從光子到像素一條完整鏈路的真實(shí)模樣我習(xí)慣把整條鏈路畫成四段光學(xué)段、感光段、校正段、呈現(xiàn)段。光學(xué)段是鏡頭和紅外截止濾光片負(fù)責(zé)把場景成像到 Sensor 面上感光段是像素陣列、模擬增益、ADC負(fù)責(zé)把光強(qiáng)轉(zhuǎn)成數(shù)字碼值校正段就是狹義的前處理包含黑電平校正、壞點(diǎn)修復(fù)、鏡頭陰影校正、Bayer 域降噪、白平衡增益、顏色校正矩陣呈現(xiàn)段就是狹義的后處理包含去馬賽克之后的伽馬、色調(diào)映射、色彩增強(qiáng)、銳化、局部對比度、縮放裁剪。這里有個(gè)容易被忽略的點(diǎn)去馬賽克本身不算前處理也不算后處理它是分界線。去馬賽克之前數(shù)據(jù)是每個(gè)像素單色的 CFA 排列處理手段必須考慮通道交錯(cuò)的空間關(guān)系去馬賽克之后每個(gè)像素有了完整的 RGB 三元組處理手段就變成了常規(guī)的圖像處理。這條線一劃兩邊的算法工具箱完全不同所以很多團(tuán)隊(duì)干脆把去馬賽克叫“中處理”前后各管一攤。實(shí)際項(xiàng)目里鏈路順序大致是這樣的RAW 輸入 → 黑電平校正 → 靜態(tài)壞點(diǎn)校正 → 鏡頭陰影校正 → 動態(tài)壞點(diǎn)校正 → Bayer 域降噪 → 白平衡增益 → 去馬賽克 → 顏色校正矩陣 → 伽馬 → 色彩增強(qiáng) → 亮度銳化 → 色度降噪 → 縮放輸出。這個(gè)順序不是隨便排的每一步的位置都有物理依據(jù)后面幾節(jié)會逐個(gè)解釋。1.2 三種劃分口徑位置、數(shù)據(jù)域、職責(zé)我問過不少同行“你怎么分前后處理”答案基本落在三種口徑上每種都有道理但混著用就會吵架。第一種是按位置分Sensor 輸出到去馬賽克之前叫前處理去馬賽克之后到輸出叫后處理。這種分法最直觀工程上也好落地硬件模塊的邊界基本就是這么切的。第二種是按數(shù)據(jù)域分線性 RAW 域叫前處理非線性 RGB/YUV 域叫后處理。這種分法的依據(jù)是數(shù)學(xué)性質(zhì)線性域里疊加、縮放、矩陣乘法都成立非線性域里這些運(yùn)算的物理意義就變了。第三種是按職責(zé)分把數(shù)據(jù)修正確叫前處理把圖像調(diào)好看叫后處理。這種分法最貼近調(diào)優(yōu)的實(shí)際感受但邊界最模糊因?yàn)椤罢_”和“好看”之間有一大片灰色地帶比如飽和度增強(qiáng)到底算不算修正。劃分口徑分界線優(yōu)點(diǎn)容易踩的坑按位置去馬賽克硬件邊界清晰模塊歸屬明確忽略了數(shù)據(jù)域差異容易在線性域做非線性操作按數(shù)據(jù)域伽馬前后數(shù)學(xué)性質(zhì)一致算法選擇有依據(jù)伽馬位置各家有差異跨方案對比會錯(cuò)位按職責(zé)校正與增強(qiáng)貼近調(diào)優(yōu)直覺便于分工邊界模糊降噪、銳化這類模塊歸屬爭議大我個(gè)人的用法是對外溝通按位置說對內(nèi)調(diào)參按數(shù)據(jù)域想。跟硬件同事對齊模塊歸屬時(shí)用第一種自己坐下來調(diào)參數(shù)時(shí)用第二種。這樣既不吵架也不出錯(cuò)。1.3 為什么這條邊界值得較真邊界不清的代價(jià)是很具體的。最典型的是降噪把降噪放在去馬賽克之后你會看到畫面里那些彩色的斑點(diǎn)因?yàn)槿ヱR賽克把單通道噪聲插值成了三通道噪聲原本亮度上的隨機(jī)起伏變成了色度上的紅斑綠斑這時(shí)候再做降噪就得同時(shí)處理亮度噪聲和色度噪聲濾波器的設(shè)計(jì)難度翻倍還容易把細(xì)節(jié)一起抹掉。反過來在 Bayer 域做降噪噪聲還是單通道的隨機(jī)起伏用方向性濾波就能壓得很干凈代價(jià)是計(jì)算量集中在前段。第二個(gè)代價(jià)是噪聲模型失效。線性域里噪聲標(biāo)準(zhǔn)差和信號強(qiáng)度基本是線性關(guān)系你可以用一個(gè)簡單的斜率參數(shù)描述整個(gè)動態(tài)范圍的噪聲特性一旦過了伽馬信號被非線性拉伸暗部噪聲被顯著放大同一個(gè)噪聲模型在整個(gè)碼值范圍內(nèi)就不再適用。這時(shí)候降噪強(qiáng)度如果還按線性域的思路給暗部會糊成一片亮部又壓不住。第三個(gè)代價(jià)是調(diào)參順序混亂。我見過有人先調(diào)銳化再調(diào)黑電平結(jié)果黑電平一動整張圖的對比度基準(zhǔn)變了銳化的過沖閾值全部失效前面調(diào)的幾百個(gè)參數(shù)白干。正確的順序必須是前處理全部鎖定之后再動后處理因?yàn)楹筇幚淼妮斎敕植家蕾囉谇疤幚淼妮敵?。提示接手一個(gè)陌生項(xiàng)目第一件事是把鏈路順序打印出來貼在顯示器邊上每調(diào)一個(gè)模塊就在上面標(biāo)一下。鏈路順序錯(cuò)了后面所有努力都是負(fù)收益。2. 前處理把模擬世界的臟數(shù)據(jù)洗成可用素材前處理這一段的核心目標(biāo)只有一個(gè)把 Sensor 吐出來的數(shù)字碼值還原成和場景輻亮度成線性比例關(guān)系的物理量。聽起來簡單做起來要跟一堆非理想因素搏斗——暗電流、像素響應(yīng)不一致、鏡頭漸暈、顏色串?dāng)_、隨機(jī)噪聲每一個(gè)都得單獨(dú)對付。這一段做得好不好決定了后面所有處理的天花板。2.1 黑電平校正與壞點(diǎn)修復(fù)先擦干凈桌子黑電平是 Sensor 在完全無光條件下輸出的碼值來源是像素的暗電流和讀出電路的偏置。它的存在意味著“0”這個(gè)碼值并不對應(yīng)“0 光強(qiáng)”。如果不扣掉整張圖會蒙上一層灰暗部細(xì)節(jié)全被壓在這層灰里。更麻煩的是黑電平會隨模擬增益和溫度漂移高增益下可能從 64 LSB 漲到 200 LSB 以上?？酆陔娖奖仨毞旁跀?shù)字增益之前。原因很簡單數(shù)字增益是一個(gè)乘法操作黑電平是加性偏置先乘后減和先減后乘的結(jié)果差了一個(gè)增益倍數(shù)。假設(shè)黑電平 64數(shù)字增益 4 倍先乘再減會得到 (x·4 - 64)而正確結(jié)果應(yīng)該是 (x - 64)·4。前者在暗部會殘留 3 倍的黑電平殘余畫面發(fā)灰暗部細(xì)節(jié)全丟。實(shí)際工程里黑電平不是簡單減一個(gè)常數(shù)而是按增益檔位和溫度分檔查表。我通常用 OB光學(xué)黑區(qū)的平均值作為當(dāng)前幀的黑電平估計(jì)再和標(biāo)定表做融合防止 OB 區(qū)被污染時(shí)整幀偏色。import numpy as np def black_level_correction(raw, ob_pixels, bl_table, gain_idx, temp_idx): raw: 輸入 RAW 數(shù)據(jù)H x Wuint16 ob_pixels: OB 區(qū)像素用于實(shí)時(shí)估計(jì) bl_table: 標(biāo)定黑電平表 [gain_idx][temp_idx] - dict(r, gr, gb, b) bl_ref bl_table[gain_idx][temp_idx] # 用 OB 區(qū)實(shí)時(shí)估計(jì)與標(biāo)定值做加權(quán)融合OB 異常時(shí)依賴標(biāo)定 bl_est np.mean(ob_pixels) alpha 0.3 if abs(bl_est - bl_ref[gr]) 32 else 0.0 bl alpha * bl_est (1 - alpha) * bl_ref[gr] out raw.astype(np.int32) - int(round(bl)) return np.clip(out, 0, 65535).astype(np.uint16)壞點(diǎn)分靜態(tài)和動態(tài)兩類。靜態(tài)壞點(diǎn)出廠標(biāo)定存一張坐標(biāo)表上電時(shí)直接查表替換動態(tài)壞點(diǎn)靠鄰域判斷當(dāng)前像素和上下左右四個(gè)同色像素的差值超過閾值就判定為壞點(diǎn)。動態(tài)壞點(diǎn)的閾值不能給太死高 ISO 下噪聲本身就大閾值太嚴(yán)會把正常噪聲當(dāng)成壞點(diǎn)畫面會變得像塑料。注意動態(tài)壞點(diǎn)校正一定要放在降噪之前否則壞點(diǎn)會被降噪濾波器擴(kuò)散成一片越濾越臟。這個(gè)順序我見過不止一個(gè)項(xiàng)目搞反。2.2 鏡頭陰影校正不均勻的光照得先攤平鏡頭陰影的來源是鏡頭的余弦四次方衰減和像素的斜入射響應(yīng)表現(xiàn)是畫面四角發(fā)暗、邊緣色偏。校正方法是標(biāo)定一張?jiān)鲆婢W(wǎng)格每個(gè)網(wǎng)格點(diǎn)上存 R、Gr、Gb、B 四個(gè)通道的增益系數(shù)運(yùn)行時(shí)雙線性插值把邊緣乘回去。標(biāo)定的網(wǎng)格密度我一般用 16×13 或者 32×32。密度太低插值誤差會在網(wǎng)格交界處形成可見的塊狀邊界密度太高存儲和插值開銷上去了收益不明顯。16×13 對大多數(shù)定焦鏡頭夠用廣角鏡頭建議 32×32。這里有個(gè)必須說清楚的點(diǎn)LSC 是乘法增益會同時(shí)放大信號和噪聲。畫面中心增益 1.0四角可能到 2.0 甚至 2.5也就是說邊緣的噪聲被放大了 2 倍以上。這意味著邊緣的信噪比天然比中心差降噪強(qiáng)度必須做空間自適應(yīng)不能全圖一個(gè)參數(shù)。我調(diào)過的項(xiàng)目里邊緣彩色噪點(diǎn)壓不住八成是 LSC 增益給太猛加上降噪沒做空間加權(quán)。def lsc_apply(raw, mesh_gain, bayer_patternRGGB): mesh_gain: (h, w, 4) 的增益網(wǎng)格通道順序按 bayer_pattern 實(shí)際實(shí)現(xiàn)用雙線性插值這里給出最近鄰簡化版說明邏輯 H, W raw.shape gh, gw mesh_gain.shape[:2] out raw.astype(np.float32) for ch, (dy, dx) in enumerate([(0,0),(0,1),(1,0),(1,1)]): # 按通道切片僅處理對應(yīng)相位 sub out[dy::2, dx::2] gain mesh_gain[:, :, ch] # 網(wǎng)格坐標(biāo)映射到子圖坐標(biāo) ys np.linspace(0, gh - 1, sub.shape[0]) xs np.linspace(0, gw - 1, sub.shape[1]) gy, gx np.meshgrid(ys, xs, indexingij) y0, x0 np.floor(gy).astype(int), np.floor(gx).astype(int) y1, x1 np.minimum(y01, gh-1), np.minimum(x01, gw-1) fy, fx gy - y0, gx - x0 g (gain[y0,x0]*(1-fy)*(1-fx) gain[y0,x1]*(1-fy)*fx gain[y1,x0]*fy*(1-fx) gain[y1,x1]*fy*fx) out[dy::2, dx::2] sub * g return np.clip(out, 0, 65535).astype(np.uint16)LSC 還有一個(gè)隱蔽的坑增益網(wǎng)格和色溫綁定。不同色溫下鏡頭的透過率曲線不一樣同一張網(wǎng)格在暖光下可能把邊緣壓得剛好到了冷光下就過校正邊緣反而發(fā)亮發(fā)藍(lán)。正經(jīng)做法是按幾個(gè)色溫檔位分別標(biāo)定運(yùn)行時(shí)按 AWB 的估計(jì)結(jié)果插值選表。2.3 Bayer 域降噪為什么一定要在去馬賽克之前做這個(gè)問題我被問過很多次。答案在噪聲的統(tǒng)計(jì)特性里RAW 域的噪聲是單通道的每個(gè)像素只有一個(gè)觀測值噪聲表現(xiàn)為該像素相對真實(shí)值的隨機(jī)起伏空間上是各向同性的去馬賽克的過程本質(zhì)是插值它把相鄰?fù)袼氐挠^測值加權(quán)組合噪聲也被一起插值結(jié)果是原本獨(dú)立的單通道噪聲變成了三個(gè)通道間相關(guān)的噪聲視覺上就是彩色斑點(diǎn)。彩色斑點(diǎn)的處理難度遠(yuǎn)高于亮度噪聲因?yàn)槿搜蹖ι仍肼暤娜萑潭鹊偷冉翟胗痔貏e容易把顏色邊界糊掉導(dǎo)致高飽和區(qū)域出現(xiàn)顏色滲漏。所以工程上的標(biāo)準(zhǔn)做法是在 Bayer 域盡量把噪聲壓下去去馬賽克之后只做輕量的色度殘留清理。Bayer 域降噪的常用手段有三類。第一類是基于方向性的濾波先算水平和垂直方向的梯度沿梯度小的方向?yàn)V波避免跨越邊緣第二類是頻域方法小波變換后對高頻子帶做閾值收縮第三類是基于噪聲模型的自適應(yīng)濾波把噪聲標(biāo)準(zhǔn)差作為濾波強(qiáng)度的輸入暗部強(qiáng)、亮部弱。我實(shí)測下來方向性濾波加噪聲模型自適應(yīng)的組合性價(jià)比最高算力可控效果也穩(wěn)。def bayer_denoise(raw, noise_sigma, strength1.0): 簡化版基于同色鄰域的方向性加權(quán)平均 noise_sigma: 當(dāng)前 ISO 下的噪聲標(biāo)準(zhǔn)差估計(jì) kernel np.array([[0,1,0],[1,0,1],[0,1,0]], dtypenp.float32) # 同色鄰域均值Bayer 上同色像素間隔 2 neighbor_sum ( np.roll(raw, 2, axis0) np.roll(raw, -2, axis0) np.roll(raw, 2, axis1) np.roll(raw, -2, axis1) ).astype(np.float32) / 4.0 # 權(quán)重隨噪聲水平自適應(yīng)噪聲大時(shí)更相信鄰域 w np.clip(noise_sigma / 32.0, 0.0, 0.9) * strength out raw.astype(np.float32) * (1 - w) neighbor_sum * w return np.clip(out, 0, 65535).astype(np.uint16)注意Bayer 域降噪的強(qiáng)度必須跟 ISO 聯(lián)動。固定強(qiáng)度在高 ISO 下壓不住在低 ISO 下又會把皮膚紋理磨成塑料。這個(gè)聯(lián)動曲線是畫質(zhì)調(diào)優(yōu)里最需要手工打磨的部分之一。2.4 白平衡增益與顏色校正矩陣把顏色拉回真實(shí)白平衡增益是一個(gè)對角矩陣分別乘在 R、G、B 三個(gè)通道上把灰色物體在任意色溫光源下都拉成灰色。它在去馬賽克之前做因?yàn)?RAW 域的通道是分離的直接乘增益等價(jià)于在線性域縮放物理意義清晰。如果放到去馬賽克之后再做插值過程會引入通道間串?dāng)_增益就不再是純粹的對角操作了。顏色校正矩陣 CCM 是一個(gè) 3×3 矩陣作用是把 Sensor 的光譜響應(yīng)映射到目標(biāo)色彩空間。它必須放在去馬賽克之后、伽馬之前。放去馬賽克之前每個(gè)像素只有一個(gè)通道矩陣乘法無從談起放伽馬之后數(shù)據(jù)已經(jīng)非線性矩陣乘法會把中間調(diào)的色調(diào)拉歪出現(xiàn)明顯的偏色。CCM 有兩個(gè)硬性約束必須遵守。第一行列和歸一也就是每一行三個(gè)系數(shù)加起來等于 1保證灰色物體經(jīng)過矩陣變換后仍然是灰色否則整張圖會出現(xiàn)跟隨亮度的色偏。第二負(fù)系數(shù)要限幅矩陣?yán)锍霈F(xiàn)負(fù)值是正常的但過大的負(fù)系數(shù)會讓高飽和顏色出現(xiàn)異常工程上一般把單元素限制在 [-1, 2] 區(qū)間內(nèi)。def ccm_apply(rgb, ccm): rgb: H x W x 3, float32, 線性域 ccm: 3 x 3, 行和歸一 assert np.allclose(ccm.sum(axis1), 1.0, atol1e-3), CCM 行和必須歸一 out rgb ccm.T return np.clip(out, 0, 65535)CCM 會放大噪聲這是它的固有缺陷。矩陣元素越偏離單位陣噪聲放大倍數(shù)越高。工程上會計(jì)算 CCM 的噪聲放大系數(shù)作為后續(xù)降噪強(qiáng)度的輸入之一。我一般會在調(diào) CCM 的時(shí)候同時(shí)看兩個(gè)指標(biāo)色卡上的 ΔE 誤差和噪聲放大系數(shù)在兩者之間找平衡。追求極致色準(zhǔn)把 CCM 拉得很猛噪點(diǎn)會明顯劣化用戶第一眼看到的往往是噪點(diǎn)而不是色準(zhǔn)。2.5 前處理參數(shù)配置與實(shí)操心得前處理的參數(shù)多而雜我習(xí)慣把它們整理成一張表調(diào)參時(shí)按順序過一遍避免遺漏。模塊關(guān)鍵參數(shù)典型取值踩坑點(diǎn)黑電平校正分檔黑電平、OB 融合權(quán)重10bit 下 64~256 LSB放在數(shù)字增益之后做暗部發(fā)灰靜態(tài)壞點(diǎn)坐標(biāo)表、替換策略出廠標(biāo)定約 0.01% 像素表過期新批次 Sensor 漏檢鏡頭陰影網(wǎng)格密度、分色溫表16×13 或 32×32增益過大導(dǎo)致邊緣噪點(diǎn)爆炸Bayer 降噪噪聲模型斜率、強(qiáng)度曲線隨 ISO 分段強(qiáng)度固定不聯(lián)動高低 ISO 都不對白平衡R/B 增益、色溫插值增益范圍 0.5~4.0低色溫下增益飽和畫面偏黃CCM3×3 矩陣、行和歸一單元素 [-1, 2]行和不為 1灰階出現(xiàn)色偏我個(gè)人的調(diào)參順序是黑電平 → 靜態(tài)壞點(diǎn) → LSC → 白平衡 → CCM → Bayer 降噪。降噪放最后是因?yàn)樗脑肼暷Ｐ鸵蕾嚽懊嫠心K的輸出統(tǒng)計(jì)特性前面一變降噪?yún)?shù)就得重調(diào)。這個(gè)順序反過來做你會反復(fù)推翻自己的結(jié)論。3. 后處理從“正確”到“好看”的最后一公里前處理做完圖像在物理上是“正確”的灰是灰紅是紅暗部沒有偏置四角亮度均勻。但這張圖拿給人看多半會被評價(jià)“平淡”“發(fā)灰”“不夠銳”。原因在于人眼的感知特性和物理量的線性關(guān)系并不一致后處理要做的就是把線性數(shù)據(jù)映射到符合人眼預(yù)期的非線性空間再補(bǔ)上觀感層面的增強(qiáng)。3.1 伽馬與色調(diào)映射把線性數(shù)據(jù)裝進(jìn) 8bit 的盒子里人眼對亮度的感知接近冪律關(guān)系大致是亮度的 2.2 次方根。而顯示設(shè)備和存儲格式普遍只有 8bit線性映射到 8bit 會讓暗部層次全部擠在少數(shù)幾個(gè)碼值里看上去就是一片死黑。伽馬校正把線性數(shù)據(jù)做一次冪運(yùn)算把暗部的碼值拉開亮部壓縮讓 256 個(gè)碼值在人眼感知上均勻分布。伽馬的位置很關(guān)鍵。它標(biāo)志著數(shù)據(jù)從線性域進(jìn)入非線性域也就標(biāo)志著一大堆線性運(yùn)算不能再做了。矩陣乘法、疊加、縮放這些操作放在伽馬之后物理意義全部失效結(jié)果的色調(diào)會隨亮度漂移。所以我把伽馬叫做后處理的“門檻”跨過去之后工具箱就換了一套。實(shí)際實(shí)現(xiàn)上很少用純冪函數(shù)常用的是分段函數(shù)暗部用線性段保證黑位不糊中間調(diào)用冪函數(shù)亮部做軟截?cái)啾苊飧吖馑腊?。這種分段做法在數(shù)學(xué)上稍微復(fù)雜但在暗部細(xì)節(jié)和噪聲控制上的收益很明顯。def gamma_encode(linear, gamma2.2, linear_seg0.0031308): 線性 RGB [0,1] 轉(zhuǎn)非線性帶線性段 out np.where( linear linear_seg, linear * 12.92, 1.055 * np.power(np.clip(linear, 1e-6, 1.0), 1/2.2) - 0.055 ) return np.clip(out, 0.0, 1.0)HDR 場景下還會疊加局部色調(diào)映射把高動態(tài)范圍壓縮到顯示設(shè)備能呈現(xiàn)的范圍內(nèi)。這一步的調(diào)參極其主觀壓得太狠畫面發(fā)灰失去層次壓得太松高光直接過曝。我一般用直方圖分布來判斷壓縮后中間調(diào)的直方圖應(yīng)該是平緩的單峰如果出現(xiàn)明顯的雙峰或者長尾說明映射曲線有問題。3.2 銳化與邊緣增強(qiáng)在正確的域里做正確的事銳化的本質(zhì)是提升高頻分量讓邊緣過渡變陡觀感上更清晰。經(jīng)典做法是 USM非銳化掩模先用低通濾波得到模糊圖原圖減模糊圖得到高頻細(xì)節(jié)再按系數(shù)加回原圖。銳化必須放在伽馬之后而且是只在亮度通道上做。放伽馬之前暗部的高頻被放大后經(jīng)過伽馬拉伸暗部會出現(xiàn)夸張的白邊在三通道上同時(shí)銳化色度邊緣會被強(qiáng)化出現(xiàn)彩色描邊。只在 Y 通道銳化色度保持平滑觀感最自然。def unsharp_mask(y, amount0.8, radius1.0, threshold2, clip_limit24): y: 亮度通道 [0,255] uint8 對過沖做限幅防止白邊黑邊 from scipy.ndimage import gaussian_filter yf y.astype(np.float32) blur gaussian_filter(yf, sigmaradius) detail yf - blur # 低于閾值的細(xì)節(jié)視為噪聲不銳化 detail np.where(np.abs(detail) threshold, 0, detail) out yf amount * detail # 過沖限幅相對原圖的偏差不超過 clip_limit out np.clip(out, yf - clip_limit, yf clip_limit) return np.clip(out, 0, 255).astype(np.uint8)過沖限幅這一步絕對不能省。沒有限幅的 USM 會在強(qiáng)邊緣兩側(cè)制造亮暗光暈畫面看起來像刻上去的放大看尤其明顯。限幅范圍我一般給 ±16 到 ±24 LSB具體看輸出分辨率小圖可以放寬一點(diǎn)大圖必須收緊。3.3 色彩增強(qiáng)與局部對比度調(diào)的是記憶色不是真實(shí)色色彩增強(qiáng)分兩部分飽和度提升和膚色保護(hù)。全局飽和度提升會等比放大所有顏色的飽和度高飽和區(qū)域容易溢出人眼最敏感的是膚色一旦膚色過飽和就會顯得油膩、發(fā)紅。做法是在飽和度曲線上做分區(qū)低飽和區(qū)域輕度提升高飽和區(qū)域抑制同時(shí)對膚色色相范圍做單獨(dú)的保護(hù)帶。膚色的保護(hù)范圍用 HSV 空間里的橢圓區(qū)域描述比較方便中心在色相約 25 度、飽和度 0.4 附近長短軸根據(jù)實(shí)際膚色標(biāo)定。落在這個(gè)區(qū)域內(nèi)的像素飽和度增益強(qiáng)制壓到 1.0 以下。局部對比度提升是另一個(gè)大類本質(zhì)是提升中頻分量讓畫面更有立體感。常用的方法是大尺度低通濾波得到基礎(chǔ)層原圖減基礎(chǔ)層得到細(xì)節(jié)層細(xì)節(jié)層乘系數(shù)后加回去。系數(shù)給大了畫面會出現(xiàn)明顯的halo尤其在天空和建筑的邊界處看起來像貼紙。這里有個(gè)心得局部對比度的強(qiáng)度要跟場景內(nèi)容聯(lián)動。人像場景要壓風(fēng)景場景可以放文字場景要幾乎關(guān)掉。全局一個(gè)參數(shù)在多種場景下必然翻車。3.4 3A 與后處理的耦合關(guān)系3AAE、AWB、AF雖然是獨(dú)立模塊但和前后處理深度耦合。AE 決定了曝光時(shí)間和增益直接影響噪聲水平而噪聲水平是降噪強(qiáng)度和銳化強(qiáng)度的輸入AWB 決定了白平衡增益間接影響 CCM 的選擇和色彩增強(qiáng)的基準(zhǔn)AF 的結(jié)果影響局部區(qū)域的清晰度評估銳化強(qiáng)度有時(shí)會依賴對焦區(qū)域的統(tǒng)計(jì)。我遇到過最典型的耦合問題是AE 在暗光下拉高增益噪聲暴增但降噪強(qiáng)度曲線是固定的結(jié)果畫面噪點(diǎn)明顯同時(shí)銳化強(qiáng)度也是固定的銳化把噪聲當(dāng)細(xì)節(jié)放大畫面又臟又硬。解決辦法是讓降噪和銳化都讀取當(dāng)前的 ISO 和曝光時(shí)間做動態(tài)曲線。這個(gè)聯(lián)動邏輯必須寫進(jìn)調(diào)參規(guī)范里不能靠調(diào)參工程師憑感覺給。3.5 后處理順序的坑與量化誤差后處理的順序錯(cuò)了問題比前處理更隱蔽因?yàn)閳D像看起來“還行”只是不夠好。常見的錯(cuò)誤順序是先銳化再降噪降噪會把銳化出來的細(xì)節(jié)一起磨掉銳化白做了先色彩增強(qiáng)再伽馬顏色會隨亮度漂移先縮放再銳化縮放把細(xì)節(jié)插值掉了銳化放大的是插值偽影。量化誤差是另一個(gè)隱蔽問題。8bit 輸出的碼值間隔是 1/255弱細(xì)節(jié)在量化時(shí)會被截?cái)嘤绕涫窃谄教箙^(qū)域會出現(xiàn)明顯的色階斷層banding。工程上的解法是在后處理內(nèi)部保持 10bit 或 12bit只在線路末端做 dithering 后降到 8bit。提示如果你看到畫面大面積平坦區(qū)域出現(xiàn)一圈一圈的色帶先別懷疑算法先檢查位寬在哪一級被降到了 8bit。4. 前后處理的分工原則與工程取舍知道了每個(gè)模塊該干什么接下來是更實(shí)際的問題這些模塊該切成什么樣交給誰做。同一個(gè)功能放在 Sensor 端的片上 ISP 里做和放在主控側(cè)的軟件后處理里做成本、延遲、畫質(zhì)上限完全不同。這一節(jié)講取舍邏輯。4.1 線性域做事非線性域做感覺這是我總結(jié)的一條最簡原則。凡是涉及物理量運(yùn)算的操作都放在線性域黑電平、增益、陰影校正、白平衡、顏色矩陣、降噪。凡是涉及人眼感知的操作都放在非線性域伽馬、銳化、飽和度、局部對比度。為什么要這么分因?yàn)榫€性域的運(yùn)算滿足疊加原理你可以把多個(gè)模塊的傳遞函數(shù)合并成一個(gè)矩陣調(diào)試時(shí)可以單獨(dú)驗(yàn)證每個(gè)模塊的增益出了問題容易定位。非線性域不滿足疊加原理模塊順序變了結(jié)果就變但人眼的感知恰恰是非線性的增強(qiáng)類操作只有放在非線性域才符合觀感預(yù)期。違反這條原則的典型例子是在線性域做銳化。線性域里暗部的絕對值很小同樣的高頻增量在暗部占比極大銳化后暗部會出現(xiàn)夸張的噪點(diǎn)和光暈亮部反而看不出效果。反過來在非線性域做增益暗部被伽馬拉伸后增益的放大倍數(shù)不一致整張圖的亮度關(guān)系會亂。4.2 位寬與精度預(yù)算每一步都在丟信息整條鏈路的位寬預(yù)算是必須提前規(guī)劃的。Sensor 輸出 10bit 或 12bit前處理內(nèi)部通常要擴(kuò)到 14bit 或 16bit因?yàn)?LSC 增益和 CCM 都會放大數(shù)值范圍不給余量會溢出截?cái)?。后處理在伽馬之前保持 12bit 以上伽馬之后可以降到 10bit最終輸出再降到 8bit。環(huán)節(jié)建議位寬理由Sensor 輸出10 / 12 bit硬件原生前處理內(nèi)部14 / 16 bit留出增益與矩陣放大的余量伽馬輸入12 bit 以上暗部拉伸后需要精度支撐伽馬輸出10 bit人眼分辨極限再高收益有限輸出 YUV8 bit dithering編碼與顯示標(biāo)準(zhǔn)位寬不夠的后果是截?cái)嗪土炕肼?。LSC 四角增益 2.5 倍時(shí)12bit 輸入乘以 2.5 需要至少 14bit 才不溢出CCM 的負(fù)系數(shù)會讓某些通道的中間結(jié)果超出輸入范圍同樣需要余量。我一般按“最大增益 × 輸入位寬 2bit 余量”來估算內(nèi)部位寬。4.3 硬件資源與延遲約束下的方案選擇片上 ISP 的優(yōu)勢是延遲低、功耗低、帶寬省缺點(diǎn)是算法固化、調(diào)參空間小、迭代周期長。軟件后處理的優(yōu)勢是靈活、可迭代、算法上限高缺點(diǎn)是延遲高、功耗大、占用主控算力。選擇依據(jù)主要是產(chǎn)品形態(tài)。對延遲敏感的場景比如車載倒車影像、工業(yè)檢測必須把關(guān)鍵處理放在片上 ISP保證端到端延遲在幾十毫秒以內(nèi)對畫質(zhì)上限要求高、迭代頻繁的場景比如內(nèi)容創(chuàng)作設(shè)備可以把增強(qiáng)類后處理放到軟件側(cè)隨時(shí)更新算法。4.4 不同產(chǎn)品形態(tài)的分工方案對比產(chǎn)品形態(tài)前處理歸屬后處理歸屬關(guān)鍵約束移動終端片上 ISP片上 ISP 部分軟件增強(qiáng)功耗與發(fā)熱車載視覺片上 ISP 為主極簡保證實(shí)時(shí)延遲與可靠性安防監(jiān)控片上 ISP編碼前輕量增強(qiáng)低照度與帶寬機(jī)器視覺片上 ISP 做基礎(chǔ)校正主機(jī)側(cè)做測量相關(guān)處理精度與可復(fù)現(xiàn)性內(nèi)容創(chuàng)作設(shè)備片上 ISP 輸出 RAW主機(jī)側(cè)完整后處理畫質(zhì)上限與靈活性機(jī)器視覺這一類特別值得說。它的目標(biāo)和消費(fèi)影像完全相反不需要“好看”需要“可測量”。所以它的后處理往往跳過伽馬、銳化、色彩增強(qiáng)這些觀感類模塊直接輸出線性數(shù)據(jù)做測量算法前處理的精度和可復(fù)現(xiàn)性反而要求極高。5. 實(shí)操搭一條最小可用的處理鏈路光講原理不夠我把一條能跑起來的最小鏈路寫出來你可以直接拿一份 RAW 數(shù)據(jù)跑通觀察每個(gè)模塊的效果。代碼用 Python 和 NumPy重點(diǎn)在流程和參數(shù)不在性能優(yōu)化。5.1 數(shù)據(jù)約定與輸入準(zhǔn)備輸入假定是 12bit 打包的 Bayer RAW排列為 RGGB尺寸 1920×1080。讀取后先解包成 16bit 的二維數(shù)組再按 2×2 相位切出四個(gè)通道。import numpy as np def unpack_mipi_raw12(buf, width, height): 12bit 緊湊打包解包每 3 字節(jié)存 2 個(gè)像素 b np.frombuffer(buf, dtypenp.uint8) b b.reshape(-1, 3).astype(np.uint16) p0 (b[:, 0] 4) | (b[:, 1] 4) p1 ((b[:, 1] 0x0F) 8) | b[:, 2] inter np.empty(p0.size p1.size, dtypenp.uint16) inter[0::2] p0 inter[1::2] p1 return inter.reshape(height, width)數(shù)據(jù)準(zhǔn)備好之后先做一次統(tǒng)計(jì)看全圖的最小值、最大值、均值以及 OB 區(qū)的均值。這一步能快速判斷黑電平是否異常、是否有過曝區(qū)域比直接跑算法有效得多。5.2 前處理鏈路的串接前處理按前面講的順序串起來黑電平 → 靜態(tài)壞點(diǎn) → LSC → 白平衡 → Bayer 降噪 → 去馬賽克 → CCM。每一步的輸出都存一份中間結(jié)果方便對比。def preprocess_pipeline(raw, cfg): x black_level_correction(raw, cfg[ob], cfg[bl_table], cfg[gain_idx], cfg[temp_idx]) x static_dpc(x, cfg[dpc_map]) x lsc_apply(x, cfg[lsc_mesh]) x white_balance(x, cfg[wb_gain]) x bayer_denoise(x, cfg[noise_sigma], cfg[dn_strength]) rgb demosaic(x, patternRGGB) rgb ccm_apply(rgb, cfg[ccm]) return rgb去馬賽克這里我用的是邊緣自適應(yīng)插值核心思路是對 G 通道先做方向判斷沿梯度小的方向插值R/B 通道再用 G 的結(jié)果做色差插值。這個(gè)實(shí)現(xiàn)比雙線性復(fù)雜一些但在高頻紋理區(qū)域的偽彩明顯更少值得多寫幾十行。中間結(jié)果一定要存圖看。我習(xí)慣把每個(gè)模塊的輸出都存成 PNG用同一塊區(qū)域做對比尤其是暗部區(qū)域和高頻紋理區(qū)域。數(shù)字指標(biāo)只能告訴你“變了多少”看不出“變好還是變壞”。5.3 后處理鏈路的串接后處理從線性 RGB 開始伽馬 → 色彩增強(qiáng) → 銳化 → 輸出。注意伽馬是分界線伽馬之前的數(shù)據(jù)還在線性域之后的數(shù)據(jù)是非線性域。def postprocess_pipeline(rgb_linear, cfg): rgb rgb_linear / cfg[white_level] rgb gamma_encode(rgb, gammacfg[gamma]) yuv rgb_to_yuv(rgb) yuv[..., 1:] chroma_denoise(yuv[..., 1:], cfg[chroma_dn]) yuv[..., 0] unsharp_mask(yuv[..., 0] * 255, amountcfg[sharp_amount], thresholdcfg[sharp_thr], clip_limitcfg[sharp_clip]) / 255 yuv[..., 1:] color_enhance(yuv[..., 1:], cfg[sat_curve], cfg[skin_protect]) return yuv_to_rgb(yuv)后處理的參數(shù)我建議分場景存幾套人像、風(fēng)景、低照度、文檔切換時(shí)整組加載而不是單參數(shù)微調(diào)。單一場景下調(diào)得再好換場景必然出問題。5.4 調(diào)參順序與驗(yàn)證方法調(diào)參順序必須嚴(yán)格從前到后黑電平 → 壞點(diǎn) → LSC → 白平衡 → CCM → 降噪 → 伽馬 → 色彩 → 銳化。每次只動一個(gè)模塊改完立刻看中間結(jié)果確認(rèn)無誤再進(jìn)下一個(gè)。跳步調(diào)參是最常見的時(shí)間黑洞。驗(yàn)證用標(biāo)準(zhǔn)圖卡最省事?；铱?yàn)證黑電平、白平衡和 CCM 的行和歸一色卡驗(yàn)證色彩還原看 ΔE 的分布重點(diǎn)看膚色的幾個(gè)色塊噪聲圖卡驗(yàn)證降噪強(qiáng)度用平坦區(qū)域的噪聲標(biāo)準(zhǔn)差量化分辨率卡驗(yàn)證銳化和去馬賽克的細(xì)節(jié)保留看高頻區(qū)域的 MTF 響應(yīng)。def evaluate(yuv_out, yuv_ref): 基礎(chǔ)指標(biāo)噪聲標(biāo)準(zhǔn)差、亮度均值、色彩誤差 noise np.std(yuv_out[100:200, 100:200, 0]) # 平坦區(qū) luma np.mean(yuv_out[..., 0]) de np.mean(np.abs(yuv_out[..., 1:] - yuv_ref[..., 1:])) return {noise_std: float(noise), luma_mean: float(luma), delta_e: float(de)}我一般會盯住三個(gè)數(shù)字平坦區(qū)噪聲標(biāo)準(zhǔn)差、中間調(diào)亮度均值、色卡平均 ΔE。這三個(gè)數(shù)穩(wěn)住畫面基本不會有大問題剩下的就是主觀微調(diào)。6. 常見問題與排查實(shí)錄這一節(jié)是我這些年踩過的坑整理出來的速查表遇到問題先對著表掃一遍能省掉大量瞎猜的時(shí)間。6.1 典型現(xiàn)象速查現(xiàn)象可能原因排查路徑處理方向整圖發(fā)灰發(fā)白黑電平未扣或扣在增益之后查 OB 區(qū)均值與標(biāo)定表差異把 BLC 移到數(shù)字增益前四角明顯發(fā)暗LSC 未生效或網(wǎng)格與色溫不匹配查網(wǎng)格增益是否為 1.0按色溫重新標(biāo)定邊緣彩色噪點(diǎn)多LSC 增益過大 降噪無空間加權(quán)對比中心與邊緣噪聲標(biāo)準(zhǔn)差降 LSC 增益降噪做空間自適應(yīng)灰階出現(xiàn)色偏CCM 行和不為 1計(jì)算矩陣行和歸一化后重新驗(yàn)證強(qiáng)邊緣白邊黑邊銳化過沖無限幅查 USM 算子有無 clip加 ±16~24 LSB 限幅平坦區(qū)出現(xiàn)色帶位寬中途降到 8bit逐級打印位寬伽馬前保 12bit末端加 dithering暗部噪點(diǎn)隨亮度跳變降噪強(qiáng)度未與 ISO 聯(lián)動查 ISO 與強(qiáng)度曲線重做聯(lián)動曲線膚色發(fā)黃發(fā)紅缺膚色保護(hù)或 CCM 高飽和失準(zhǔn)看膚色色相是否偏移加膚色保護(hù)帶高頻紋理出現(xiàn)偽彩去馬賽克插值策略過于簡單對比插值前后色度差換邊緣自適應(yīng)插值高光區(qū)域死白伽馬高光段無軟截?cái)嗖楦吖獯a值分布加高光 roll-off6.2 幾個(gè)不容易查出來的隱蔽問題第一個(gè)是OB 區(qū)污染。有些 Sensor 的 OB 區(qū)位置比較靠邊容易被漏光或者暗電流不均勻影響導(dǎo)致黑電平估計(jì)偏高或偏低整幀出現(xiàn)亮度漂移。排查方法是對比 OB 區(qū)均值和標(biāo)定表偏差超過 32 LSB 就要警惕這時(shí)候應(yīng)該降權(quán)實(shí)時(shí)估計(jì)、提高標(biāo)定表權(quán)重。第二個(gè)是LSC 網(wǎng)格的坐標(biāo)對齊。網(wǎng)格是按標(biāo)定圖的分辨率生成的如果運(yùn)行時(shí)改了裁剪窗口或者縮放比例網(wǎng)格坐標(biāo)就會錯(cuò)位表現(xiàn)是畫面出現(xiàn)斜向的明暗條紋。這個(gè)問題在切換分辨率時(shí)特別容易出現(xiàn)我一般會在分辨率切換的流程里強(qiáng)制重新加載網(wǎng)格。第三個(gè)是CCM 與 AWB 的時(shí)序錯(cuò)配。AWB 收斂需要幾幀時(shí)間如果 CCM 立刻跟著 AWB 結(jié)果切換中間幾幀會出現(xiàn)明顯的色偏閃爍。工程上的做法是給 CCM 加切換遲滯色溫變化超過閾值才切換并且切換時(shí)做幾幀的線性插值過渡。第四個(gè)是銳化與縮放的順序。先縮放后銳化銳化放大的是插值偽影畫面會出現(xiàn)細(xì)密的振鈴先銳化后縮放銳化出來的高頻被縮放濾波抹掉銳化白做。正確順序是先縮放再銳化且銳化強(qiáng)度要按縮放比例調(diào)整縮小越多強(qiáng)度越小。注意這四類問題的共同點(diǎn)是“看指標(biāo)正常、看畫面別扭”。所以永遠(yuǎn)不要只看 PSNR 和 SSIM一定要肉眼過一遍尤其是暗部、膚色、高頻紋理、平坦?jié)u變這四個(gè)區(qū)域。6.3 幾條不太出現(xiàn)在文檔里的經(jīng)驗(yàn)關(guān)于降噪我從來不相信“一個(gè)參數(shù)打天下”。降噪強(qiáng)度必須是 ISO、場景亮度、局部方差三個(gè)量的函數(shù)做成一維或二維查找表最省事。查表的時(shí)候注意邊界要做插值否則檔位切換會看到畫面噪點(diǎn)“跳變”。關(guān)于銳化銳化前的降噪比銳化本身重要。噪聲沒壓住就去銳化等于把噪點(diǎn)當(dāng)細(xì)節(jié)放大效果適得其反。我調(diào)試的順序永遠(yuǎn)是先把降噪調(diào)到“微微偏軟”再上銳化補(bǔ)回來這樣出來的畫面干凈且銳利。關(guān)于色卡驗(yàn)證色卡上的 ΔE 平均值好看不代表沒問題一定要看分布。如果只有膚色的幾個(gè)色塊 ΔE 偏高說明 CCM 在膚色區(qū)域擬合不足需要單獨(dú)加權(quán)優(yōu)化。全局平均會掩蓋這種局部誤差。關(guān)于中間結(jié)果養(yǎng)成存中間圖的習(xí)慣每個(gè)模塊輸出都存一份命名帶上參數(shù)。出了問題回溯時(shí)能直接定位到是哪一版參數(shù)引起的。這個(gè)習(xí)慣救過我很多次尤其是在參數(shù)改了幾十輪之后。關(guān)于鏈路順序接手新項(xiàng)目先花半天把鏈路順序完整走一遍用一份標(biāo)準(zhǔn) RAW 從頭跑到尾中間每一步都存圖。這半天看起來是浪費(fèi)實(shí)際上能幫你省掉后面幾周的定位時(shí)間。我見過太多人上來就調(diào)參數(shù)調(diào)了兩周才發(fā)現(xiàn)黑電平位置不對。7. 寫在最后的個(gè)人體會前后處理的邊界說到底不是一個(gè)學(xué)術(shù)問題是一個(gè)工程協(xié)作問題。它的價(jià)值不在于定義多精確而在于能不能讓硬件、算法、調(diào)優(yōu)三撥人對同一件事有共同語言。我現(xiàn)在的做法很簡單鏈路圖上把去馬賽克畫成一條粗線左邊標(biāo)“校正”右邊標(biāo)“呈現(xiàn)”任何模塊要跨線移動都必須拿出噪聲模型或者主觀評測的數(shù)據(jù)來說服大家。這條規(guī)矩立起來之后項(xiàng)目里關(guān)于“這個(gè)模塊該誰做”的扯皮少了八成。另外一個(gè)體會是別把前處理當(dāng)成“必須做完才能開始調(diào)后處理”的前置任務(wù)。實(shí)際項(xiàng)目里前后處理是反復(fù)迭代的后處理調(diào)出來發(fā)現(xiàn)暗部噪點(diǎn)壓不住回頭要改前處理的降噪強(qiáng)度前處理改了降噪后處理的銳化參數(shù)又得重調(diào)。真正高效的做法是把鏈路搭通先用一套保守參數(shù)跑通全流程再從前到后一輪一輪收緊每輪只動一到兩個(gè)模塊。這種滾雪球式的調(diào)法比“一次調(diào)好一個(gè)模塊再進(jìn)下一個(gè)”更貼合真實(shí)項(xiàng)目的節(jié)奏因?yàn)楫嬞|(zhì)的各個(gè)維度本來就是互相牽制的。最后一個(gè)實(shí)用建議給你的鏈路寫一份參數(shù)說明文檔每個(gè)參數(shù)寫清楚物理含義、取值范圍、和哪些其他參數(shù)耦合。這份文檔在你自己隔了三個(gè)月再回頭看的時(shí)候價(jià)值會遠(yuǎn)超你的預(yù)期。我吃過這個(gè)虧一套參數(shù)調(diào)完沒記錄兩個(gè)月后回來完全看不懂當(dāng)時(shí)為什么這么給只能重調(diào)一遍。