節(jié)實戰(zhàn)：從色彩轉(zhuǎn)換到高效像素操作)
最近在做一個工業(yè)圖像標注工具需要在WPF界面上給操作員提供亮度、飽和度、色相的實時調(diào)節(jié)功能。起初想偷懶打算用OpenCV的Python版封個服務(wù)但現(xiàn)場設(shè)備沒有Python環(huán)境而且上位機本來就是C#寫的引入Python反而增加部署成本。后來索性直接用C#/WPF把HSL調(diào)節(jié)完整做了一遍順手把C語言實現(xiàn)方案也對比過。這篇文章就是想把這件事的完整思路、算法細節(jié)、性能優(yōu)化和踩坑記錄整理出來給同樣在C#/WPF里做圖像處理的朋友一個參考。別的不敢說至少能讓你少走幾個彎路。如果你只是想在WinForm或者WPF里快速調(diào)節(jié)圖片亮度、飽和度網(wǎng)上很多教程會讓你用Bitmap.GetPixel一行行讀像素再調(diào)用Color轉(zhuǎn)換結(jié)果拖動滑塊卡成PPT。正確的做法是用WriteableBitmap直接操作內(nèi)存區(qū)域配合HSL轉(zhuǎn)換算法然后批量改寫像素。這里涉及的不只是API調(diào)用還有色彩空間的理解、像素格式的坑、邊界情況處理以及C#和C語言在不同環(huán)節(jié)的取舍。下面我會從算法講到WPF實操再講性能優(yōu)化和真實項目中遇到的坑。1. 為什么自己寫HSL調(diào)節(jié)而不是直接調(diào)庫1.1 這會用在什么場景有這種需求的場景很多最常見的還是上位機界面和圖像標注工具。比如工業(yè)相機拍回來的圖片亮度不均勻操作員希望不重新采集就微調(diào)亮度和飽和度再保存再比如批量修圖軟件需要在一批圖上對色相做統(tǒng)一偏移。這一類需求的特點是不能太重不能依賴龐大的運行時最好能用項目現(xiàn)有技術(shù)棧直接實現(xiàn)。在C#環(huán)境里如果你只針對單張圖片確實可以用System.Drawing.Common里的ImageAttributes調(diào)整顏色矩陣但那個只能做全局線性變換色相偏移、飽和度縮放不是簡單的矩陣乘法能精確表達的而且使用起來并不直觀。還有人說用OpenCvSharp我也用過處理效果確實強但為了一個滑塊功能引入一個庫還要解決不同OpenCV版本在中文路徑下的問題有點犯不上。自己實現(xiàn)HSL轉(zhuǎn)換算法就幾十行性能還很穩(wěn)定E其適合嵌入到WPF/MVVM框架里。1.2 為什么選HSL而不是HSV很多人容易把HSL和HSV混為一談。其實兩者都是把RGB從硬件色彩空間轉(zhuǎn)換到“顏色深淺”的描述方式但明亮度Lightness和明度Value的計算差別很大。HSV中V取的是RGB通道的最大值所以純紅色和純藍色的V都是1哪怕藍色肉眼看起來明顯更暗而HSL的L是最大值和最小值的平均值對人眼感知的“亮暗”更友好。做圖像亮度調(diào)節(jié)時如果用HSV調(diào)V會讓顏色整體“褪色”或“發(fā)粉”因為沒有保留亮度中黑色成分的占比。HSL里調(diào)L會對像素的暗部和高光做更自然的拉伸這也是修圖軟件普遍把亮度滑塊映射到HSL中L的原因。另一個細節(jié)是飽和度的定義。在HSL中飽和度S0時顏色就是灰度L決定灰度亮暗在HSV中S0時顏色只剩下V分量。因此當你希望用戶調(diào)暗圖像時HSV下的S保持不變但HSL下L降低整體視覺飽和感也會變化這樣更像人眼感受的真實變化。如果產(chǎn)品沒有特殊要求優(yōu)先選擇HSL作為調(diào)色空間。2. 顏色轉(zhuǎn)換算法每一步都要算清楚2.1 RGB轉(zhuǎn)HSL的計算細節(jié)網(wǎng)上有很多HSL轉(zhuǎn)換公式但不少細節(jié)有省略直接抄容易出問題。我建議按下面這套來已經(jīng)換算經(jīng)過大量像素測試。先把R、G、B歸一化到0~1浮點數(shù)然后找出max和min亮度L可以直接得到max Math.Max(r, Math.Max(g, b)); min Math.Min(r, Math.Min(g, b)); l (max min) / 2.0;飽和度計算分兩種情況。如果max等于min說明是灰色飽和度S0色相H沒有意義可以直接設(shè)置為0。但如果max不等于min不能用單一公式要看L處于亮半?yún)^(qū)還是暗半?yún)^(qū)delta max - min; if (l 0.5) { s delta / (2.0 - max - min); } else { s delta / (max min); }這個公式對應(yīng)的是HSL色輪中圓錐模型L0.5時飽和度最大允許值會變小所以要除以(2-max-min)L0.5時除以(maxmin)。網(wǎng)上有些版本把分母直接寫成(1 - Math.Abs(2*l - 1))本質(zhì)是一樣的但用max/min寫更容易理解。色相計算要按RGB最大值分支if (max r) { h 60.0 * (((g - b) / delta) % 6); } else if (max g) { h 60.0 * ((b - r) / delta 2); } else { h 60.0 * ((r - g) / delta 4); } if (h 0) h 360.0;注意%運算在C#中對于浮點數(shù)可能返回負值所以最后需要加上判斷。當maxr時(g-b)/delta可能為負比如青色的g和b都很高此時h會在0附近擺動不處理會出現(xiàn)負色相所以要加360保證范圍在0~359.99。2.2 HSL轉(zhuǎn)RGB的回寫邏輯調(diào)節(jié)完H、S、L之后還得把HSL轉(zhuǎn)回RGB才能顯示。這一步同樣需要標準公式。先把色相信標準化然后用C、X、m三個中間變量double c (1 - Math.Abs(2 * l - 1)) * s; double x c * (1 - Math.Abs((h / 60.0) % 2 - 1)); double m l - c / 2.0;接下來根據(jù)H所在60度區(qū)間確定rgb段的對應(yīng)關(guān)系。可以用一個通用方法避免寫六個分支先轉(zhuǎn)換到0~5的段號然后查表。我用C#寫過一段比較工整的代碼double r 0, g 0, b 0; double hp h / 60.0; int i (int)Math.Floor(hp) % 6; double f hp - Math.Floor(hp); switch (i) { case 0: r c; g x; b 0; break; case 1: r x; g c; b 0; break; case 2: r 0; g c; b x; break; case 3: r 0; g x; b c; break; case 4: r x; g 0; b c; break; case 5: r c; g 0; b x; break; } r (r m) * 255; g (g m) * 255; b (b m) * 255;這段代碼看著簡單但容易忽略的是m的作用。m是把顏色先整體壓暗再偏移很多人會寫成rc*m結(jié)果顏色對不上。必須先把C和X計算好再加m再乘以255。2.3 用C語言實現(xiàn)同樣的轉(zhuǎn)換要考慮什么如果你要在C語言里做同樣的事思路是一樣的但數(shù)據(jù)結(jié)構(gòu)和內(nèi)存管理得自己操心。通常我們會定義結(jié)構(gòu)體typedef struct { unsigned char r, g, b; } RGB; typedef struct { double h, s, l; // h:0-360, s,l:0-1 } HSL; typedef struct { unsigned char b, g, r; // BMP內(nèi)通常BGR排列 } BGR;一個完整的BMP文件解析包括文件頭、信息頭、調(diào)色板、像素數(shù)據(jù)至少幾十行代碼。更麻煩的是BMP的行對齊規(guī)則每一行像素數(shù)據(jù)的字節(jié)數(shù)必須是4的倍數(shù)如果不是要在行尾補零。如果忽略這個訪問像素會漸行漸偏圖像出現(xiàn)斜向條紋。C語言性能確實能打但如果只是做工具開發(fā)成本高很多。不過嵌入式設(shè)備上跑C語言算法是剛需很多圖像采集板卡就是用C/DSP代碼做圖像處理的。那時候需要把HSL調(diào)節(jié)寫成純函數(shù)輸入?yún)?shù)為RGB數(shù)組、寬度、高度輸出修改后的數(shù)組。函數(shù)內(nèi)部用指針訪問連續(xù)內(nèi)存核心循環(huán)可以配合SIMD指令優(yōu)化成一次處理多個像素效率極高。3. WPF里怎么高效操作圖像像素3.1 輸入圖像轉(zhuǎn)換為Bgra32WPF的BitmapSource有很多像素格式有些是索引色有些是灰度如果直接CopyPixels再按BGRA解析會出亂碼。為了統(tǒng)一我每次在加載圖像后立刻調(diào)用FormatConvertedBitmap轉(zhuǎn)成Bgra32。這是WPF自帶的功能不需要額外庫性能損失也很低。BitmapImage bmp new BitmapImage(); bmp.BeginInit(); bmp.UriSource new Uri(filePath); bmp.CacheOption BitmapCacheOption.OnLoad; bmp.EndInit(); FormatConvertedBitmap converted new FormatConvertedBitmap(); converted.BeginInit(); converted.Source bmp; converted.DestinationFormat PixelFormats.Bgra32; converted.EndInit();Bgra32代表每個像素4字節(jié)按藍、綠、紅、Alpha排列。在整個圖像調(diào)節(jié)過程中Alpha通道要保留原值否則會出現(xiàn)透明圖像變黑的問題。有很多教程直接構(gòu)造PixelFormats.Pbgra32或者不轉(zhuǎn)格式結(jié)果Alpha被預(yù)乘導(dǎo)致調(diào)色后邊緣出現(xiàn)黑邊這個區(qū)別我后面會提。3.2 使用WriteableBitmap和unsafe指針操作拿到Bgra32的BitmapSource后可以直接創(chuàng)建WriteableBitmap。然后有兩種方式修改像素一種是CopyPixels到byte數(shù)組修改后再WritePixels寫回另一種是通過Lock和BackBuffer拿到指針用unsafe代碼直接寫。我推薦再需要實時調(diào)節(jié)的場合用第二種因為少了兩次數(shù)組拷貝。WriteableBitmap wb new WriteableBitmap(converted); int stride wb.PixelWidth * 4; int bufferSize stride * wb.PixelHeight; byte[] pixelBuffer new byte[bufferSize]; wb.CopyPixels(pixelBuffer, stride, 0); // 修改 pixelBuffer... wb.WritePixels(new Int32Rect(0, 0, wb.PixelWidth, wb.PixelHeight), pixelBuffer, stride, 0);用unsafe指針操作時記得在工程屬性里勾選“允許不安全代碼”。核心循環(huán)大致是這樣wb.Lock(); unsafe { byte* ptr (byte*)wb.BackBuffer; // stride 可能比 width*4 多幾個字節(jié)格式對齊不能直接用 width*4 當每行長度 for (int y 0; y height; y) { byte* row ptr y * wb.BackBufferStride; for (int x 0; x width; x) { int idx x * 4; double b row[idx] / 255.0; double g row[idx 1] / 255.0; double r row[idx 2] / 255.0; // 轉(zhuǎn)HSL再轉(zhuǎn)回RGB row[idx] ...; row[idx 1] ...; row[idx 2] ...; } } } wb.AddDirtyRect(new Int32Rect(0, 0, width, height)); wb.Unlock();注意這里用的BackBufferStride不是固定等于PixelWidth4因為WPF在內(nèi)存里分配位圖時可能會做對齊。如果你在代碼里寫死stridePixelWidth4大圖會出現(xiàn)周期性色塊錯位。3.3 用MVVM組織滑塊和預(yù)覽邏輯WPF的項目如果不上MVVM后面維護會很痛苦。我操作時的結(jié)構(gòu)是這樣的MainViewModel里有一個Hue、Saturation、Lightness三個double屬性分別綁定Slider和TextBlock。三個屬性變化時調(diào)用同一方法ProcessImage把當前WriteableBitmap的像素重新處理一次。public double Hue { get _hue; set { _hue value; OnPropertyChanged(); UpdateImage(); } }UpdateImage里讀一個源圖緩存像素數(shù)組然后根據(jù)當前Hue/S/L算出新的像素數(shù)組再寫入顯示用的WriteableBitmap。關(guān)鍵點是“源圖緩存”和“顯示圖”分離不要每次都在原WriteableBitmap基礎(chǔ)上再處理否則連續(xù)拖動滑塊會產(chǎn)生累積誤差和噪聲。正確做法是有一份原始圖像的byte[]每次處理都從這個原始數(shù)組出發(fā)得到新結(jié)果。使用MVVM時Slider的ValueChanged事件可以通過Binding自動觸發(fā)屬性setter不需要在CodeBehind里寫事件。不過要注意每改一個值就會觸發(fā)UpdateImage如果不想在拖動Hue時頻繁重算可以給Slider設(shè)置Delay 50ms或者用RX的Throttle節(jié)流。工業(yè)場景里操作員可能快速拖動滑塊如果你不做節(jié)流UI線程會被連續(xù)刷新占滿其他控件會失去響應(yīng)。4. 性能還能怎么壓并行計算與內(nèi)存復(fù)用4.1 C#圖像處理不一定比C語言慢很多從單片機轉(zhuǎn)過來的人潛意識里覺得“C#有垃圾回收不適合圖像處理”。這個觀點在.NET Core/5時代已經(jīng)站不太住了。首先當你的算法進入unsafe指針操作階段JIT會把很多邊界檢查優(yōu)化掉實際執(zhí)行的就是一段接近C/C的內(nèi)存讀寫循環(huán)。其次C#的Parallel.For在多核CPU上擴展性很好比手寫C語言線程池省心得多。我實際測過一張1920x1080的Bgra32圖單線程跑一次完整的RGB→HSL→RGB轉(zhuǎn)換大約需要15-20毫秒改成Parallel.For后可以壓到4-6毫秒已經(jīng)能滿足每秒30幀以上預(yù)覽。不要忽略內(nèi)存分配的問題。如果在循環(huán)里面每次new一個byte數(shù)組GC會被頻繁觸發(fā)性能抖動很嚴重。正確做法是預(yù)分配好兩個數(shù)組一個保存原始像素一個作為處理結(jié)果。處理完一次后把結(jié)果數(shù)組復(fù)制到WriteableBitmap或者直接在BackBuffer里操作然后交換數(shù)組索引。4.2 實戰(zhàn)Parallel.For讓調(diào)節(jié)更流暢像素級別的處理天然適合并行。因為每個像素的顏色轉(zhuǎn)換只依賴當前像素本身不涉及鄰域計算。使用Parallel.For時要注意每個迭代里的變量不能共享尤其是中間變量要局部聲明避免訪問沖突Parallel.For(0, height, y { int stride wb.BackBufferStride; byte* row (byte*)wb.BackBuffer y * stride; for (int x 0; x width; x) { int idx x * 4; byte b row[idx]; byte g row[idx 1]; byte r row[idx 2]; // ...轉(zhuǎn)換為HSL、調(diào)整、轉(zhuǎn)回RGB } });這里有一個隱藏坑Parallel.For雖然會使用線程池但WPF的BackBuffer是托管給GPU顯存映射的多個線程同時寫同一塊內(nèi)存不一定安全。我實際測試發(fā)現(xiàn)如果直接操作wb.BackBuffer指針Parallel.For下偶爾會出現(xiàn)顏色錯亂。穩(wěn)妥做法是并行處理byte[]數(shù)組處理完再一次性WritePixels或使用System.Runtime.InteropServices.Marshal.Copy寫入BackBuffer而不是多個線程同時寫B(tài)ackBuffer。讓我把緩沖區(qū)方式的代碼貼出來。先準備好sourceBytes和targetBytesint stride width * 4; byte[] source ...; // 原始Bgra32 byte[] target new byte[source.Length]; Parallel.For(0, height, y { int rowOffset y * stride; for (int x 0; x width; x) { int idx rowOffset x * 4; // 從 source 讀取處理后寫入 target } }); // 一次寫回 wb.WritePixels(new Int32Rect(0, 0, width, height), target, stride, 0);這樣并行就沒有共享內(nèi)存問題因為每個線程只寫自己的target行源數(shù)據(jù)只讀。性能上相比BackBuffer直接寫也就多這一次全圖拷貝但對并行安全來說很值得。4.3 C語言方案與C#/WPF方案的取舍既然標題里帶了c語言我就多說幾句C語言方案的取舍。C語言處理圖像的核心優(yōu)勢是“裸”和“快”沒有垃圾回收沒有托管邊界可以直接用SIMD指令集或者把OpenMP的編譯開關(guān)打開對像素循環(huán)做并行加速。但代價也很明顯你得自己做內(nèi)存生命周期管理處理BMP、JPEG、PNG等不同格式還需要鏈接第三方庫。做完算法后你還要面對界面層用GTK或Qt寫一個帶滑塊的窗口又得花不少時間。C#/WPF的取舍則剛好反過來。開發(fā)界面的效率極高數(shù)據(jù)綁定、控件樣式、事件處理都是現(xiàn)成的配合.NET的硬件加速和JIT優(yōu)化普通調(diào)色功能性能完全夠用。瓶頸不會在語言層面而是在像素操作是否高效。所以我的建議是如果你的目標是做一個Windows桌面工具優(yōu)先選C#/WPF如果要在嵌入式板子或DSP上跑那當然用C語言但也不必為了“更底層”在Windows上自討苦吃。5. 調(diào)節(jié)HSL時遇到的坑按排查順序記錄5.1 顏色整體發(fā)灰問題出在公式還是格式第一次調(diào)完我把滑塊往左右拖發(fā)現(xiàn)圖像就像被蒙了一層灰飽和度似乎沒起作用。排查后發(fā)現(xiàn)問題不在公式而在像素格式。我的原圖來自一個工業(yè)相機本來是Bgr24或索引格式我直接CopyPixels后按Bgra32解析字節(jié)順序錯位藍和紅互換導(dǎo)致HSL計算出來的顏色恒等于灰色。解決方法是先轉(zhuǎn)成FormatConvertedBitmap同時用Bgra32而不是Pbgra32。Pbgra32是預(yù)乘Alpha格式顏色值在轉(zhuǎn)換過程中會被Alpha乘一遍如果你的Alpha不是255調(diào)色后就會出現(xiàn)灰蒙蒙的效果。另外一個隱藏點在于HSL計算過程中R、G、B必須轉(zhuǎn)為0~1浮點而不是直接用0~255整數(shù)。因為飽和度公式里有除法整數(shù)除法的截斷會讓S偏差很大特別在暗部區(qū)域會直接變成0。5.2 亮度滑塊拉滿后過曝Clamp時機不對調(diào)節(jié)亮度L時如果用戶把L從0.5拖到0.9轉(zhuǎn)回RGB后很容易產(chǎn)生大于255的值。有人會在最后輸出時Clamp到0~255這沒錯但Clamp的時機會影響視覺。我的建議是RGB→HSL轉(zhuǎn)換時不要Clamp因為中間值可能超出范圍但最后設(shè)置byte時要Clamp否則C#會把double轉(zhuǎn)byte時進行強制類型轉(zhuǎn)換高位溢出導(dǎo)致顏色跳變。一個更好的做法是只限制HSL的輸入范圍H在0~360S和L在0~1之間。轉(zhuǎn)回RGB時公式本身就保證了C在0~1之間m也在0~1之間所以(rm)*255理論上不會超過255除非你的H出現(xiàn)了負數(shù)或超過360。因此我在UI層的Slider上就對值做了限制不給算法傳非法參數(shù)。5.3 卡頓、白屏和報錯的幾個典型原因白屏通常是WriteableBitmap還沒有Lock就調(diào)用WritePixels或者Lock后忘了AddDirtyRect。AddDirtyRect的作用是告訴WPF圖像哪些區(qū)域發(fā)生了變化如果不調(diào)用界面不會刷新。還有一個原因是在UI線程上處理超大圖比如5000萬像素一次調(diào)用就占用了數(shù)百毫秒。解決方式是顯示時先做縮放預(yù)覽或者把處理放到Task.Run里完成后回到UI線程更新。注意WriteableBitmap不能在后臺線程直接WritePixels需要在UI線程操作所以后臺任務(wù)計算像素數(shù)組UI線程只需寫入一次這樣就能避免跨線程問題。另一個讓我頭疼的是內(nèi)存不足。大圖處理時原圖BitmapImage、FormatConvertedBitmap、WriteableBitmap、源數(shù)組、目標數(shù)組全在內(nèi)存里兩張4000萬像素的圖就可能超過1GB。后來我在加載源圖時把DecodePixelWidth設(shè)成顯示區(qū)域的寬度這樣源圖只在加載階段解碼為縮略圖處理時也用同樣分辨率內(nèi)存占用大幅下降。5.4 如果非要調(diào)用C語言DLL記住這一點有些團隊已經(jīng)有現(xiàn)成的C語言調(diào)色庫想在C#里直接調(diào)用。用DllImport確實可行但要注意兩點。第一圖像數(shù)據(jù)在C#側(cè)最好是byte[]或IntPtr不要用二維數(shù)組。P/Invoke默認會做數(shù)組拷貝每幀拷貝一次全圖像素性能反而比純C#還慢。第二C語言側(cè)如果修改的是傳入的指針需要確保C#側(cè)分配非托管內(nèi)存或者用GCHandle固定byte[]的地址防止GC移動內(nèi)存。否則偶爾會出現(xiàn)只有某些幀圖案錯亂的神秘Bug。其實大多數(shù)時候C語言DLL在Windows桌面場景只是歷史包袱。如果你是從零開始C#直接用unsafe寫完整個算法維護成本更低。我見過不少人繞了一圈最后把C代碼重新用C#翻譯一遍因為調(diào)試C語言DLL實在太麻煩。最后分享一個我實際工作里的小技巧在做HSL調(diào)節(jié)時不要把原始像素數(shù)組作為唯一依賴最好再保存一份縮略圖。操作員拖動滑塊時主顯示區(qū)域用全分辨率處理但滑塊響應(yīng)可以用縮略圖快速預(yù)覽等鼠標松開后再做一次全分辨率成圖。這樣既保證了手感又不會讓CPU在拖動瞬間滿負荷運轉(zhuǎn)。再有務(wù)必記住“源數(shù)據(jù)永遠不變每次從源數(shù)據(jù)重新計算”的原則否則一次次疊加調(diào)節(jié)會把圖像搞得一團糟。如果你照著這篇文章的思路搭好基礎(chǔ)版本后面再加一個“重置”按鈕、加一個對比視圖都很順手。這就是我在圖像工具里做HSL調(diào)節(jié)的完整經(jīng)歷了希望能幫到正在折騰的人。 C#/WPF圖像HSL調(diào)節(jié)實戰(zhàn)：從色彩轉(zhuǎn)換到高效像素操作
最近在做一個工業(yè)圖像標注工具需要在WPF界面上給操作員提供亮度、飽和度、色相的實時調(diào)節(jié)功能。起初想偷懶打算用OpenCV的Python版封個服務(wù)但現(xiàn)場設(shè)備沒有Python環(huán)境而且上位機本來就是C#寫的引入Python反而增加部署成本。后來索性直接用C#/WPF把HSL調(diào)節(jié)完整做了一遍順手把C語言實現(xiàn)方案也對比過。這篇文章就是想把這件事的完整思路、算法細節(jié)、性能優(yōu)化和踩坑記錄整理出來給同樣在C#/WPF里做圖像處理的朋友一個參考。別的不敢說至少能讓你少走幾個彎路。如果你只是想在WinForm或者WPF里快速調(diào)節(jié)圖片亮度、飽和度網(wǎng)上很多教程會讓你用Bitmap.GetPixel一行行讀像素再調(diào)用Color轉(zhuǎn)換結(jié)果拖動滑塊卡成PPT。正確的做法是用WriteableBitmap直接操作內(nèi)存區(qū)域配合HSL轉(zhuǎn)換算法然后批量改寫像素。這里涉及的不只是API調(diào)用還有色彩空間的理解、像素格式的坑、邊界情況處理以及C#和C語言在不同環(huán)節(jié)的取舍。下面我會從算法講到WPF實操再講性能優(yōu)化和真實項目中遇到的坑。1. 為什么自己寫HSL調(diào)節(jié)而不是直接調(diào)庫1.1 這會用在什么場景有這種需求的場景很多最常見的還是上位機界面和圖像標注工具。比如工業(yè)相機拍回來的圖片亮度不均勻操作員希望不重新采集就微調(diào)亮度和飽和度再保存再比如批量修圖軟件需要在一批圖上對色相做統(tǒng)一偏移。這一類需求的特點是不能太重不能依賴龐大的運行時最好能用項目現(xiàn)有技術(shù)棧直接實現(xiàn)。在C#環(huán)境里如果你只針對單張圖片確實可以用System.Drawing.Common里的ImageAttributes調(diào)整顏色矩陣但那個只能做全局線性變換色相偏移、飽和度縮放不是簡單的矩陣乘法能精確表達的而且使用起來并不直觀。還有人說用OpenCvSharp我也用過處理效果確實強但為了一個滑塊功能引入一個庫還要解決不同OpenCV版本在中文路徑下的問題有點犯不上。自己實現(xiàn)HSL轉(zhuǎn)換算法就幾十行性能還很穩(wěn)定E其適合嵌入到WPF/MVVM框架里。1.2 為什么選HSL而不是HSV很多人容易把HSL和HSV混為一談。其實兩者都是把RGB從硬件色彩空間轉(zhuǎn)換到“顏色深淺”的描述方式但明亮度Lightness和明度Value的計算差別很大。HSV中V取的是RGB通道的最大值所以純紅色和純藍色的V都是1哪怕藍色肉眼看起來明顯更暗而HSL的L是最大值和最小值的平均值對人眼感知的“亮暗”更友好。做圖像亮度調(diào)節(jié)時如果用HSV調(diào)V會讓顏色整體“褪色”或“發(fā)粉”因為沒有保留亮度中黑色成分的占比。HSL里調(diào)L會對像素的暗部和高光做更自然的拉伸這也是修圖軟件普遍把亮度滑塊映射到HSL中L的原因。另一個細節(jié)是飽和度的定義。在HSL中飽和度S0時顏色就是灰度L決定灰度亮暗在HSV中S0時顏色只剩下V分量。因此當你希望用戶調(diào)暗圖像時HSV下的S保持不變但HSL下L降低整體視覺飽和感也會變化這樣更像人眼感受的真實變化。如果產(chǎn)品沒有特殊要求優(yōu)先選擇HSL作為調(diào)色空間。2. 顏色轉(zhuǎn)換算法每一步都要算清楚2.1 RGB轉(zhuǎn)HSL的計算細節(jié)網(wǎng)上有很多HSL轉(zhuǎn)換公式但不少細節(jié)有省略直接抄容易出問題。我建議按下面這套來已經(jīng)換算經(jīng)過大量像素測試。先把R、G、B歸一化到0~1浮點數(shù)然后找出max和min亮度L可以直接得到max Math.Max(r, Math.Max(g, b)); min Math.Min(r, Math.Min(g, b)); l (max min) / 2.0;飽和度計算分兩種情況。如果max等于min說明是灰色飽和度S0色相H沒有意義可以直接設(shè)置為0。但如果max不等于min不能用單一公式要看L處于亮半?yún)^(qū)還是暗半?yún)^(qū)delta max - min; if (l 0.5) { s delta / (2.0 - max - min); } else { s delta / (max min); }這個公式對應(yīng)的是HSL色輪中圓錐模型L0.5時飽和度最大允許值會變小所以要除以(2-max-min)L0.5時除以(maxmin)。網(wǎng)上有些版本把分母直接寫成(1 - Math.Abs(2*l - 1))本質(zhì)是一樣的但用max/min寫更容易理解。色相計算要按RGB最大值分支if (max r) { h 60.0 * (((g - b) / delta) % 6); } else if (max g) { h 60.0 * ((b - r) / delta 2); } else { h 60.0 * ((r - g) / delta 4); } if (h 0) h 360.0;注意%運算在C#中對于浮點數(shù)可能返回負值所以最后需要加上判斷。當maxr時(g-b)/delta可能為負比如青色的g和b都很高此時h會在0附近擺動不處理會出現(xiàn)負色相所以要加360保證范圍在0~359.99。2.2 HSL轉(zhuǎn)RGB的回寫邏輯調(diào)節(jié)完H、S、L之后還得把HSL轉(zhuǎn)回RGB才能顯示。這一步同樣需要標準公式。先把色相信標準化然后用C、X、m三個中間變量double c (1 - Math.Abs(2 * l - 1)) * s; double x c * (1 - Math.Abs((h / 60.0) % 2 - 1)); double m l - c / 2.0;接下來根據(jù)H所在60度區(qū)間確定rgb段的對應(yīng)關(guān)系。可以用一個通用方法避免寫六個分支先轉(zhuǎn)換到0~5的段號然后查表。我用C#寫過一段比較工整的代碼double r 0, g 0, b 0; double hp h / 60.0; int i (int)Math.Floor(hp) % 6; double f hp - Math.Floor(hp); switch (i) { case 0: r c; g x; b 0; break; case 1: r x; g c; b 0; break; case 2: r 0; g c; b x; break; case 3: r 0; g x; b c; break; case 4: r x; g 0; b c; break; case 5: r c; g 0; b x; break; } r (r m) * 255; g (g m) * 255; b (b m) * 255;這段代碼看著簡單但容易忽略的是m的作用。m是把顏色先整體壓暗再偏移很多人會寫成rc*m結(jié)果顏色對不上。必須先把C和X計算好再加m再乘以255。2.3 用C語言實現(xiàn)同樣的轉(zhuǎn)換要考慮什么如果你要在C語言里做同樣的事思路是一樣的但數(shù)據(jù)結(jié)構(gòu)和內(nèi)存管理得自己操心。通常我們會定義結(jié)構(gòu)體typedef struct { unsigned char r, g, b; } RGB; typedef struct { double h, s, l; // h:0-360, s,l:0-1 } HSL; typedef struct { unsigned char b, g, r; // BMP內(nèi)通常BGR排列 } BGR;一個完整的BMP文件解析包括文件頭、信息頭、調(diào)色板、像素數(shù)據(jù)至少幾十行代碼。更麻煩的是BMP的行對齊規(guī)則每一行像素數(shù)據(jù)的字節(jié)數(shù)必須是4的倍數(shù)如果不是要在行尾補零。如果忽略這個訪問像素會漸行漸偏圖像出現(xiàn)斜向條紋。C語言性能確實能打但如果只是做工具開發(fā)成本高很多。不過嵌入式設(shè)備上跑C語言算法是剛需很多圖像采集板卡就是用C/DSP代碼做圖像處理的。那時候需要把HSL調(diào)節(jié)寫成純函數(shù)輸入?yún)?shù)為RGB數(shù)組、寬度、高度輸出修改后的數(shù)組。函數(shù)內(nèi)部用指針訪問連續(xù)內(nèi)存核心循環(huán)可以配合SIMD指令優(yōu)化成一次處理多個像素效率極高。3. WPF里怎么高效操作圖像像素3.1 輸入圖像轉(zhuǎn)換為Bgra32WPF的BitmapSource有很多像素格式有些是索引色有些是灰度如果直接CopyPixels再按BGRA解析會出亂碼。為了統(tǒng)一我每次在加載圖像后立刻調(diào)用FormatConvertedBitmap轉(zhuǎn)成Bgra32。這是WPF自帶的功能不需要額外庫性能損失也很低。BitmapImage bmp new BitmapImage(); bmp.BeginInit(); bmp.UriSource new Uri(filePath); bmp.CacheOption BitmapCacheOption.OnLoad; bmp.EndInit(); FormatConvertedBitmap converted new FormatConvertedBitmap(); converted.BeginInit(); converted.Source bmp; converted.DestinationFormat PixelFormats.Bgra32; converted.EndInit();Bgra32代表每個像素4字節(jié)按藍、綠、紅、Alpha排列。在整個圖像調(diào)節(jié)過程中Alpha通道要保留原值否則會出現(xiàn)透明圖像變黑的問題。有很多教程直接構(gòu)造PixelFormats.Pbgra32或者不轉(zhuǎn)格式結(jié)果Alpha被預(yù)乘導(dǎo)致調(diào)色后邊緣出現(xiàn)黑邊這個區(qū)別我后面會提。3.2 使用WriteableBitmap和unsafe指針操作拿到Bgra32的BitmapSource后可以直接創(chuàng)建WriteableBitmap。然后有兩種方式修改像素一種是CopyPixels到byte數(shù)組修改后再WritePixels寫回另一種是通過Lock和BackBuffer拿到指針用unsafe代碼直接寫。我推薦再需要實時調(diào)節(jié)的場合用第二種因為少了兩次數(shù)組拷貝。WriteableBitmap wb new WriteableBitmap(converted); int stride wb.PixelWidth * 4; int bufferSize stride * wb.PixelHeight; byte[] pixelBuffer new byte[bufferSize]; wb.CopyPixels(pixelBuffer, stride, 0); // 修改 pixelBuffer... wb.WritePixels(new Int32Rect(0, 0, wb.PixelWidth, wb.PixelHeight), pixelBuffer, stride, 0);用unsafe指針操作時記得在工程屬性里勾選“允許不安全代碼”。核心循環(huán)大致是這樣wb.Lock(); unsafe { byte* ptr (byte*)wb.BackBuffer; // stride 可能比 width*4 多幾個字節(jié)格式對齊不能直接用 width*4 當每行長度 for (int y 0; y height; y) { byte* row ptr y * wb.BackBufferStride; for (int x 0; x width; x) { int idx x * 4; double b row[idx] / 255.0; double g row[idx 1] / 255.0; double r row[idx 2] / 255.0; // 轉(zhuǎn)HSL再轉(zhuǎn)回RGB row[idx] ...; row[idx 1] ...; row[idx 2] ...; } } } wb.AddDirtyRect(new Int32Rect(0, 0, width, height)); wb.Unlock();注意這里用的BackBufferStride不是固定等于PixelWidth4因為WPF在內(nèi)存里分配位圖時可能會做對齊。如果你在代碼里寫死stridePixelWidth4大圖會出現(xiàn)周期性色塊錯位。3.3 用MVVM組織滑塊和預(yù)覽邏輯WPF的項目如果不上MVVM后面維護會很痛苦。我操作時的結(jié)構(gòu)是這樣的MainViewModel里有一個Hue、Saturation、Lightness三個double屬性分別綁定Slider和TextBlock。三個屬性變化時調(diào)用同一方法ProcessImage把當前WriteableBitmap的像素重新處理一次。public double Hue { get _hue; set { _hue value; OnPropertyChanged(); UpdateImage(); } }UpdateImage里讀一個源圖緩存像素數(shù)組然后根據(jù)當前Hue/S/L算出新的像素數(shù)組再寫入顯示用的WriteableBitmap。關(guān)鍵點是“源圖緩存”和“顯示圖”分離不要每次都在原WriteableBitmap基礎(chǔ)上再處理否則連續(xù)拖動滑塊會產(chǎn)生累積誤差和噪聲。正確做法是有一份原始圖像的byte[]每次處理都從這個原始數(shù)組出發(fā)得到新結(jié)果。使用MVVM時Slider的ValueChanged事件可以通過Binding自動觸發(fā)屬性setter不需要在CodeBehind里寫事件。不過要注意每改一個值就會觸發(fā)UpdateImage如果不想在拖動Hue時頻繁重算可以給Slider設(shè)置Delay 50ms或者用RX的Throttle節(jié)流。工業(yè)場景里操作員可能快速拖動滑塊如果你不做節(jié)流UI線程會被連續(xù)刷新占滿其他控件會失去響應(yīng)。4. 性能還能怎么壓并行計算與內(nèi)存復(fù)用4.1 C#圖像處理不一定比C語言慢很多從單片機轉(zhuǎn)過來的人潛意識里覺得“C#有垃圾回收不適合圖像處理”。這個觀點在.NET Core/5時代已經(jīng)站不太住了。首先當你的算法進入unsafe指針操作階段JIT會把很多邊界檢查優(yōu)化掉實際執(zhí)行的就是一段接近C/C的內(nèi)存讀寫循環(huán)。其次C#的Parallel.For在多核CPU上擴展性很好比手寫C語言線程池省心得多。我實際測過一張1920x1080的Bgra32圖單線程跑一次完整的RGB→HSL→RGB轉(zhuǎn)換大約需要15-20毫秒改成Parallel.For后可以壓到4-6毫秒已經(jīng)能滿足每秒30幀以上預(yù)覽。不要忽略內(nèi)存分配的問題。如果在循環(huán)里面每次new一個byte數(shù)組GC會被頻繁觸發(fā)性能抖動很嚴重。正確做法是預(yù)分配好兩個數(shù)組一個保存原始像素一個作為處理結(jié)果。處理完一次后把結(jié)果數(shù)組復(fù)制到WriteableBitmap或者直接在BackBuffer里操作然后交換數(shù)組索引。4.2 實戰(zhàn)Parallel.For讓調(diào)節(jié)更流暢像素級別的處理天然適合并行。因為每個像素的顏色轉(zhuǎn)換只依賴當前像素本身不涉及鄰域計算。使用Parallel.For時要注意每個迭代里的變量不能共享尤其是中間變量要局部聲明避免訪問沖突Parallel.For(0, height, y { int stride wb.BackBufferStride; byte* row (byte*)wb.BackBuffer y * stride; for (int x 0; x width; x) { int idx x * 4; byte b row[idx]; byte g row[idx 1]; byte r row[idx 2]; // ...轉(zhuǎn)換為HSL、調(diào)整、轉(zhuǎn)回RGB } });這里有一個隱藏坑Parallel.For雖然會使用線程池但WPF的BackBuffer是托管給GPU顯存映射的多個線程同時寫同一塊內(nèi)存不一定安全。我實際測試發(fā)現(xiàn)如果直接操作wb.BackBuffer指針Parallel.For下偶爾會出現(xiàn)顏色錯亂。穩(wěn)妥做法是并行處理byte[]數(shù)組處理完再一次性WritePixels或使用System.Runtime.InteropServices.Marshal.Copy寫入BackBuffer而不是多個線程同時寫B(tài)ackBuffer。讓我把緩沖區(qū)方式的代碼貼出來。先準備好sourceBytes和targetBytesint stride width * 4; byte[] source ...; // 原始Bgra32 byte[] target new byte[source.Length]; Parallel.For(0, height, y { int rowOffset y * stride; for (int x 0; x width; x) { int idx rowOffset x * 4; // 從 source 讀取處理后寫入 target } }); // 一次寫回 wb.WritePixels(new Int32Rect(0, 0, width, height), target, stride, 0);這樣并行就沒有共享內(nèi)存問題因為每個線程只寫自己的target行源數(shù)據(jù)只讀。性能上相比BackBuffer直接寫也就多這一次全圖拷貝但對并行安全來說很值得。4.3 C語言方案與C#/WPF方案的取舍既然標題里帶了c語言我就多說幾句C語言方案的取舍。C語言處理圖像的核心優(yōu)勢是“裸”和“快”沒有垃圾回收沒有托管邊界可以直接用SIMD指令集或者把OpenMP的編譯開關(guān)打開對像素循環(huán)做并行加速。但代價也很明顯你得自己做內(nèi)存生命周期管理處理BMP、JPEG、PNG等不同格式還需要鏈接第三方庫。做完算法后你還要面對界面層用GTK或Qt寫一個帶滑塊的窗口又得花不少時間。C#/WPF的取舍則剛好反過來。開發(fā)界面的效率極高數(shù)據(jù)綁定、控件樣式、事件處理都是現(xiàn)成的配合.NET的硬件加速和JIT優(yōu)化普通調(diào)色功能性能完全夠用。瓶頸不會在語言層面而是在像素操作是否高效。所以我的建議是如果你的目標是做一個Windows桌面工具優(yōu)先選C#/WPF如果要在嵌入式板子或DSP上跑那當然用C語言但也不必為了“更底層”在Windows上自討苦吃。5. 調(diào)節(jié)HSL時遇到的坑按排查順序記錄5.1 顏色整體發(fā)灰問題出在公式還是格式第一次調(diào)完我把滑塊往左右拖發(fā)現(xiàn)圖像就像被蒙了一層灰飽和度似乎沒起作用。排查后發(fā)現(xiàn)問題不在公式而在像素格式。我的原圖來自一個工業(yè)相機本來是Bgr24或索引格式我直接CopyPixels后按Bgra32解析字節(jié)順序錯位藍和紅互換導(dǎo)致HSL計算出來的顏色恒等于灰色。解決方法是先轉(zhuǎn)成FormatConvertedBitmap同時用Bgra32而不是Pbgra32。Pbgra32是預(yù)乘Alpha格式顏色值在轉(zhuǎn)換過程中會被Alpha乘一遍如果你的Alpha不是255調(diào)色后就會出現(xiàn)灰蒙蒙的效果。另外一個隱藏點在于HSL計算過程中R、G、B必須轉(zhuǎn)為0~1浮點而不是直接用0~255整數(shù)。因為飽和度公式里有除法整數(shù)除法的截斷會讓S偏差很大特別在暗部區(qū)域會直接變成0。5.2 亮度滑塊拉滿后過曝Clamp時機不對調(diào)節(jié)亮度L時如果用戶把L從0.5拖到0.9轉(zhuǎn)回RGB后很容易產(chǎn)生大于255的值。有人會在最后輸出時Clamp到0~255這沒錯但Clamp的時機會影響視覺。我的建議是RGB→HSL轉(zhuǎn)換時不要Clamp因為中間值可能超出范圍但最后設(shè)置byte時要Clamp否則C#會把double轉(zhuǎn)byte時進行強制類型轉(zhuǎn)換高位溢出導(dǎo)致顏色跳變。一個更好的做法是只限制HSL的輸入范圍H在0~360S和L在0~1之間。轉(zhuǎn)回RGB時公式本身就保證了C在0~1之間m也在0~1之間所以(rm)*255理論上不會超過255除非你的H出現(xiàn)了負數(shù)或超過360。因此我在UI層的Slider上就對值做了限制不給算法傳非法參數(shù)。5.3 卡頓、白屏和報錯的幾個典型原因白屏通常是WriteableBitmap還沒有Lock就調(diào)用WritePixels或者Lock后忘了AddDirtyRect。AddDirtyRect的作用是告訴WPF圖像哪些區(qū)域發(fā)生了變化如果不調(diào)用界面不會刷新。還有一個原因是在UI線程上處理超大圖比如5000萬像素一次調(diào)用就占用了數(shù)百毫秒。解決方式是顯示時先做縮放預(yù)覽或者把處理放到Task.Run里完成后回到UI線程更新。注意WriteableBitmap不能在后臺線程直接WritePixels需要在UI線程操作所以后臺任務(wù)計算像素數(shù)組UI線程只需寫入一次這樣就能避免跨線程問題。另一個讓我頭疼的是內(nèi)存不足。大圖處理時原圖BitmapImage、FormatConvertedBitmap、WriteableBitmap、源數(shù)組、目標數(shù)組全在內(nèi)存里兩張4000萬像素的圖就可能超過1GB。后來我在加載源圖時把DecodePixelWidth設(shè)成顯示區(qū)域的寬度這樣源圖只在加載階段解碼為縮略圖處理時也用同樣分辨率內(nèi)存占用大幅下降。5.4 如果非要調(diào)用C語言DLL記住這一點有些團隊已經(jīng)有現(xiàn)成的C語言調(diào)色庫想在C#里直接調(diào)用。用DllImport確實可行但要注意兩點。第一圖像數(shù)據(jù)在C#側(cè)最好是byte[]或IntPtr不要用二維數(shù)組。P/Invoke默認會做數(shù)組拷貝每幀拷貝一次全圖像素性能反而比純C#還慢。第二C語言側(cè)如果修改的是傳入的指針需要確保C#側(cè)分配非托管內(nèi)存或者用GCHandle固定byte[]的地址防止GC移動內(nèi)存。否則偶爾會出現(xiàn)只有某些幀圖案錯亂的神秘Bug。其實大多數(shù)時候C語言DLL在Windows桌面場景只是歷史包袱。如果你是從零開始C#直接用unsafe寫完整個算法維護成本更低。我見過不少人繞了一圈最后把C代碼重新用C#翻譯一遍因為調(diào)試C語言DLL實在太麻煩。最后分享一個我實際工作里的小技巧在做HSL調(diào)節(jié)時不要把原始像素數(shù)組作為唯一依賴最好再保存一份縮略圖。操作員拖動滑塊時主顯示區(qū)域用全分辨率處理但滑塊響應(yīng)可以用縮略圖快速預(yù)覽等鼠標松開后再做一次全分辨率成圖。這樣既保證了手感又不會讓CPU在拖動瞬間滿負荷運轉(zhuǎn)。再有務(wù)必記住“源數(shù)據(jù)永遠不變每次從源數(shù)據(jù)重新計算”的原則否則一次次疊加調(diào)節(jié)會把圖像搞得一團糟。如果你照著這篇文章的思路搭好基礎(chǔ)版本后面再加一個“重置”按鈕、加一個對比視圖都很順手。這就是我在圖像工具里做HSL調(diào)節(jié)的完整經(jīng)歷了希望能幫到正在折騰的人。