實(shí)測(cè)跑過幾輪對(duì)照實(shí)驗(yàn)之后我才發(fā)現(xiàn)很多人問支持向量機(jī)SVM和支持向量回歸機(jī)SVR的區(qū)別本質(zhì)上是在問一個(gè)更基礎(chǔ)的問題同一個(gè)優(yōu)化框架把損失函數(shù)換掉之后模型的行為到底會(huì)變成什么樣。這兩個(gè)算法名字只差一個(gè)字母在 sklearn 里也是同一個(gè)模塊下的兄弟類但它們的輸出空間、損失函數(shù)、支持向量的物理含義、超參數(shù)的調(diào)法幾乎全都不一樣。更麻煩的是網(wǎng)上大量教程把它們混著講導(dǎo)致不少人拿著 SVC 的調(diào)參經(jīng)驗(yàn)去調(diào) SVR最后得到一條幾乎貼著均值的直線還以為是自己數(shù)據(jù)的問題。這篇內(nèi)容我打算把兩者的分岔點(diǎn)、數(shù)學(xué)骨架、超參數(shù)語(yǔ)義和實(shí)操鏈路全部拆開講一遍代碼全部用 sklearn 可直接復(fù)現(xiàn)適合已經(jīng)會(huì)用 sklearn 但一直沒搞清這兩個(gè)模型邊界的人也適合需要選型決策的工程同學(xué)。1. 同一個(gè)優(yōu)化框架兩個(gè)完全不同的輸出先把SVM和SVR的分岔點(diǎn)說清楚1.1 從找一條最寬的路到造一條最合適的帶SVM 的經(jīng)典圖景非常直觀在一堆兩類樣本中間畫一條分界線并且要求這條線盡可能遠(yuǎn)離最近的樣本點(diǎn)。這個(gè)遠(yuǎn)離的距離就是間隔marginSVM 的目標(biāo)是讓間隔最大化。貼在間隔邊界上的那幾個(gè)點(diǎn)就是支持向量——整個(gè)決策面只由這幾個(gè)點(diǎn)決定你把其他樣本刪掉分界線可能紋絲不動(dòng)這也是支持向量這個(gè)名字的由來。SVR 的圖景則完全不同它不畫分界線而是造一條有寬度的管狀帶tube管子以回歸曲線為中心總寬度是 2ε。凡是落在管子里的樣本一律認(rèn)為預(yù)測(cè)得已經(jīng)足夠準(zhǔn)了不計(jì)入任何損失只有掉在管子外面的點(diǎn)才會(huì)產(chǎn)生懲罰。所以 SVR 的支持向量是那些壓在管子邊界上或者掉在管子外面的樣本管子內(nèi)部的點(diǎn)全部被忽略。這個(gè)差別帶來一個(gè)非常關(guān)鍵的直覺分類任務(wù)關(guān)心的是邊界回歸任務(wù)關(guān)心的是帶寬。前者的核心問題是分界線該往哪邊偏一點(diǎn)后者的核心問題是這條帶子該多寬、往哪彎。理解了這個(gè)畫面后面所有的公式推導(dǎo)、對(duì)偶形式、參數(shù)語(yǔ)義你都能自己推出來七八成不用死記。1.2 輸出空間決定了損失函數(shù)必須整個(gè)換掉分類的輸出是離散標(biāo)簽Hinge 損失天然貼合這個(gè)場(chǎng)景只要樣本被正確分類并且離邊界足夠遠(yuǎn)損失就是零一旦被分錯(cuò)或者離邊界太近就線性地懲罰。這個(gè)零損失區(qū)域的存在讓 SVM 對(duì)噪聲有一定的容忍度。但回歸的輸出是連續(xù)數(shù)值如果你繼續(xù)用這種對(duì)錯(cuò)二元的懲罰方式問題就大了——預(yù)測(cè)值和真實(shí)值差 0.001 和差 1000會(huì)被同等對(duì)待這顯然不合理。所以 SVR 換成了 ε 不敏感損失形式是 max(0, |y - f(x)| - ε)。這個(gè)損失有兩個(gè)我很看重的特性第一ε 范圍內(nèi)損失為零意味著模型對(duì)小幅噪聲完全不敏感傳感器采集時(shí)那點(diǎn)抖動(dòng)根本影響不到擬合結(jié)果第二超過 ε 之后懲罰只是線性增長(zhǎng)而不是像最小二乘那樣平方增長(zhǎng)所以單個(gè)極端離群點(diǎn)沒辦法把整條曲線拽偏。我在含噪的傳感器時(shí)序數(shù)據(jù)上做過對(duì)照最小二乘回歸被一個(gè)尖峰帶偏了很遠(yuǎn)而 SVR 基本穩(wěn)在原地。這也是為什么在噪聲大、離群點(diǎn)多的小樣本回歸任務(wù)里SVR 常常比線性回歸更好用的直接原因。1.3 一張表看清兩者的對(duì)照關(guān)系先把最容易混淆的維度列成表后面每一行我都會(huì)展開。對(duì)比維度SVM分類SVR回歸任務(wù)輸出離散類別標(biāo)簽連續(xù)數(shù)值幾何直覺最大化間隔的分界超平面寬度為 2ε 的容錯(cuò)管道損失函數(shù)Hinge 損失ε 不敏感損失支持向量位置間隔邊界上或越界管道邊界上或管道外獨(dú)有超參數(shù)class_weight類別權(quán)重epsilon管道半寬常用評(píng)估指標(biāo)準(zhǔn)確率、F1、AUCMAE、RMSE、R2典型副作用概率輸出需要額外校準(zhǔn)預(yù)測(cè)值向均值收縮大樣本替代方案LinearSVC / SGDClassifierLinearSVR / SGDRegressor這張表里最值得盯住的是支持向量位置和典型副作用兩行。前者決定了你用n_support_觀察模型復(fù)雜度時(shí)兩個(gè)模型的解讀方式完全不同后者是新手最容易踩的雷我后面會(huì)用專門一節(jié)講。2. 把兩類問題的數(shù)學(xué)骨架拆到能看懂的程度2.1 硬間隔、軟間隔與松弛變量SVM 的分類骨架硬間隔 SVM 的原始問題寫出來是這樣的最小化 (1/2)||w||2約束條件是每個(gè)樣本都滿足 y_i(w·x_i b) ≥ 1。這個(gè)約束的物理含義就是所有樣本都在間隔之外。問題在于現(xiàn)實(shí)數(shù)據(jù)幾乎不可能線性完全可分硬間隔會(huì)直接無(wú)解。于是引入松弛變量 ξ_i把約束放寬成 y_i(w·x_i b) ≥ 1 - ξ_i同時(shí)目標(biāo)函數(shù)變成最小化 (1/2)||w||2 C·Σξ_i。這個(gè)式子里的 C 就是懲罰系數(shù)C 越大對(duì)違反間隔的容忍度越低模型越傾向于把所有訓(xùn)練樣本都分對(duì)泛化風(fēng)險(xiǎn)隨之升高C 越小允許更多樣本落在間隔內(nèi)甚至分錯(cuò)模型更寬容。注意這里有個(gè)容易被忽略的點(diǎn)目標(biāo)函數(shù)是間隔寬度和違規(guī)總量的一個(gè)加權(quán)和它本質(zhì)上是一個(gè)結(jié)構(gòu)風(fēng)險(xiǎn)最小化的實(shí)現(xiàn)——前半部分控制模型復(fù)雜度后半部分控制訓(xùn)練誤差。理解了這一點(diǎn)你就明白為什么 C 的兩端分別對(duì)應(yīng)欠擬合和過擬合而不是越大越好或者越小越好。2.2 ε 不敏感管道是怎么寫進(jìn)目標(biāo)函數(shù)的SVR 的原始問題形式上和 SVM 很像但多了一組變量最小化 (1/2)||w||2 C·Σ(ξ_i ξ_i*)約束是y_i - (w·x_i b) ≤ ε ξ_i(w·x_i b) - y_i ≤ ε ξ_i*ξ_i, ξ_i* ≥ 0前面兩條約束分別管預(yù)測(cè)偏低和預(yù)測(cè)偏高兩個(gè)方向所以需要兩組松弛變量。把兩條約束合起來看就是|y_i - (w·x_i b)| ≤ ε ξ_i也就是說殘差在 ε 以內(nèi)時(shí) ξ 取零完全沒有懲罰超出 ε 的部分才由 ξ 承接并且被 C 線性懲罰。這里的 ε 是 SVM 里根本不存在的東西。它不是正則項(xiàng)也不是容錯(cuò)上限而是多準(zhǔn)才算準(zhǔn)的定義。你在心里設(shè)定一個(gè)可接受的誤差范圍SVR 就只對(duì)這個(gè)范圍之外的偏差負(fù)責(zé)。這個(gè)設(shè)計(jì)對(duì)業(yè)務(wù)場(chǎng)景其實(shí)非常友好——預(yù)測(cè)銷量差幾十件無(wú)所謂那我直接把 ε 設(shè)成幾十模型就不會(huì)為了擬合這些無(wú)關(guān)緊要的偏差而扭曲整體形狀。2.3 對(duì)偶形式里的支持向量到底是誰(shuí)SVM 的對(duì)偶問題是通過拉格朗日乘子 α_i 得到的最后預(yù)測(cè)函數(shù)寫成 f(x) Σ α_i y_i K(x_i, x) b其中 K 是核函數(shù)。KKT 條件給出了 α_i 的三種狀態(tài)α_i 0 的樣本對(duì)決策面毫無(wú)影響0 α_i C 的樣本恰好壓在間隔邊界上α_i C 的樣本則是越過了邊界的那批。后兩類就是支持向量這也是為什么刪掉 α_i 0 的點(diǎn)模型不變。SVR 的對(duì)偶形式更繞一點(diǎn)因?yàn)槊總€(gè)樣本有兩個(gè)乘子 α_i 和 α_i*它們的差 α_i - α_i* 才是這個(gè)樣本的系數(shù)。預(yù)測(cè)函數(shù)變成 f(x) Σ (α_i - α_i*) K(x_i, x) b而且只有當(dāng) |α_i - α_i*| 0 時(shí)才有貢獻(xiàn)。這個(gè)條件對(duì)應(yīng)的正是樣本落在管道外或壓在管道邊界上。換句話說管子里的樣本 α_i α_i* 0系數(shù)直接歸零被徹底忽略。這就解釋了一個(gè)很多人疑惑的現(xiàn)象為什么 SVR 的支持向量數(shù)量有時(shí)候會(huì)明顯少于樣本數(shù)因?yàn)槿绻愕?ε 設(shè)得比較寬大部分樣本都乖乖待在管子里了。反過來支持向量占比很高比如超過 80%通常意味著 ε 太小或者 C 太大模型在過度較真每一個(gè)點(diǎn)這是我會(huì)立刻回去調(diào)參的信號(hào)。3. C、gamma、epsilon 在兩類任務(wù)里的角色完全不同3.1 C 的兩副面孔同樣是 C在 SVM 和 SVR 里的作用機(jī)制其實(shí)有細(xì)微但重要的差別。SVM 里 C 直接決定了間隔違規(guī)的懲罰力度它的對(duì)偶約束是 0 ≤ α_i ≤ CC 是 α 的上界也就是單個(gè)樣本最多能有多大話語(yǔ)權(quán)。C 越大單個(gè)越界樣本的影響力越大決策面越容易被少數(shù)難分樣本帶著走。SVR 里 C 同樣是 α 的上界但它的對(duì)偶約束變成了 0 ≤ α_i, α_i* ≤ C也就是單個(gè)樣本在管道外的偏差最多被計(jì)入 C 的權(quán)重。由于 SVR 的系數(shù)是 α_i - α_i*當(dāng) C 很小時(shí)兩個(gè)乘子都被壓得很低模型的預(yù)測(cè)幾乎不動(dòng)輸出會(huì)趨向于一個(gè)接近常數(shù)的曲線當(dāng) C 很大時(shí)模型拼命去擬合每一個(gè)超出 ε 的點(diǎn)容易在噪聲上過擬合。我自己的經(jīng)驗(yàn)值是這樣小樣本幾千條以內(nèi)、特征經(jīng)過標(biāo)準(zhǔn)化之后SVM 的 C 從 1 開始試SVR 的 C 從 10 開始試通常更省時(shí)間。原因是 SVR 的目標(biāo)值量綱會(huì)放大殘差需要更大的 C 才能讓模型動(dòng)起來。當(dāng)然這只是起點(diǎn)真正靠譜的做法還是網(wǎng)格搜索只是它能把搜索范圍縮窄。3.2 gamma 與核函數(shù)RBF 核下的影響半徑RBF 核的形式是 K(x, x) exp(-gamma · ||x - x||2)其中 gamma 和傳統(tǒng)的 σ 是倒數(shù)關(guān)系gamma 1/(2σ2)。物理含義是gamma 越大單個(gè)樣本的影響半徑越小模型的決策面/擬合曲線越能貼合局部細(xì)節(jié)gamma 越小影響半徑越大模型越平滑。這個(gè)規(guī)律在兩個(gè)任務(wù)里方向一致但后果不太一樣。分類任務(wù)里 gamma 過大會(huì)出現(xiàn)一個(gè)個(gè)孤立的小島式?jīng)Q策區(qū)域訓(xùn)練集準(zhǔn)確率飆到 99% 但測(cè)試集一塌糊涂回歸任務(wù)里 gamma 過大曲線會(huì)變成鋸齒狀的折線把每個(gè)噪聲點(diǎn)都串起來看起來擬合得很好實(shí)際預(yù)測(cè)能力極差。sklearn 里 gamma 的默認(rèn)值是scale等于 1/(n_features × X.var())這個(gè)默認(rèn)值在特征標(biāo)準(zhǔn)化之后通常是個(gè)不錯(cuò)的起點(diǎn)。我一般只在這個(gè)基礎(chǔ)上試三檔scale、它的 0.1 倍、它的 10 倍。相比很多人習(xí)慣的 0.01/0.1/1/10 固定網(wǎng)格按數(shù)據(jù)方差縮放的做法在兩個(gè)任務(wù)之間遷移性更好不容易出現(xiàn)某一檔完全無(wú)效的浪費(fèi)。3.3 epsilon 是 SVR 獨(dú)有的旋鈕也是最容易被忽略的如果只讓我強(qiáng)調(diào)一個(gè) SVM 與 SVR 調(diào)參上的核心差異那就是SVR 多了一個(gè)決定模型松緊的 epsilon而且它比 C 更能改變模型形態(tài)。epsilon 的語(yǔ)義是可接受的誤差帶半寬。設(shè)得太小幾乎所有樣本都掉到管道外模型退化成試圖擬合每個(gè)點(diǎn)接近最小二乘還丟掉了魯棒性優(yōu)勢(shì)設(shè)得太大管道寬到什么都裝得下模型直接輸出一條接近常數(shù)的直線也就是常見的預(yù)測(cè)全等于均值。怎么定 epsilon 有個(gè)很實(shí)用的辦法先看目標(biāo)變量的量綱和業(yè)務(wù)可接受的誤差。比如預(yù)測(cè)房?jī)r(jià)業(yè)務(wù)上差 5 萬(wàn)以內(nèi)都算可接受那 ε 就按 5 萬(wàn)來設(shè)注意目標(biāo)變量需要標(biāo)準(zhǔn)化的話要換算過去。想要更數(shù)據(jù)驅(qū)動(dòng)一點(diǎn)可以先用一個(gè)快速的基線模型比如隨機(jī)森林回歸或線性回歸算一遍殘差的標(biāo)準(zhǔn)差取它的 0.1 到 0.2 倍作為 epsilon 的搜索中心再在 [0.5倍, 2倍] 區(qū)間里網(wǎng)格搜索。這套流程比盲搜 0.01/0.1/0.5 要靠譜得多我實(shí)測(cè)至少能省一半以上的調(diào)參時(shí)間。補(bǔ)充一個(gè)很多人不知道的變體NuSVR用參數(shù) nu ∈ (0, 1] 同時(shí)接管 C 和 epsilon 的部分職責(zé)nu 可以粗略理解為允許掉在管道外的樣本比例上限。當(dāng)你對(duì)異常點(diǎn)比例有業(yè)務(wù)先驗(yàn)時(shí)比如已知數(shù)據(jù)里有 5% 的壞點(diǎn)用 NuSVR 直接設(shè) nu0.05 比調(diào) C 和 epsilon 兩個(gè)參數(shù)要直觀得多。分類側(cè)也有一一對(duì)應(yīng)的NuSVC。4. 從 sklearn 跑通分類與回歸的對(duì)照實(shí)驗(yàn)4.1 數(shù)據(jù)生成與標(biāo)準(zhǔn)化這一步?jīng)Q定了模型能不能用這兩個(gè)模型都是基于距離的核方法特征尺度不統(tǒng)一會(huì)直接毀掉結(jié)果。一個(gè)取值范圍 0 到 1 的特征和一個(gè)取值范圍 0 到 10000 的特征放在一起RBF 核算出來的距離幾乎完全由后者主導(dǎo)。所以標(biāo)準(zhǔn)化不是最好做一下而是必須做。更重要的是StandardScaler必須只在訓(xùn)練集上 fit然后 transform 測(cè)試集。這個(gè)細(xì)節(jié)看起來像廢話但我在代碼審查里見過太多次先對(duì)全量數(shù)據(jù) fit_transform 的寫法——這等于把測(cè)試集的均值和方差信息泄漏進(jìn)了訓(xùn)練過程評(píng)估出來的分?jǐn)?shù)會(huì)虛高上線之后直接掉。import numpy as np from sklearn.datasets import make_classification, make_regression from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler # 分類數(shù)據(jù) Xc, yc make_classification(n_samples2000, n_features20, n_informative8, n_redundant4, class_sep1.2, flip_y0.05, random_state42) Xc_tr, Xc_te, yc_tr, yc_te train_test_split(Xc, yc, test_size0.3, stratifyyc, random_state42) scaler_c StandardScaler().fit(Xc_tr) Xc_tr, Xc_te scaler_c.transform(Xc_tr), scaler_c.transform(Xc_te) # 回歸數(shù)據(jù)故意加一點(diǎn)離群點(diǎn)用來看魯棒性 Xr, yr make_regression(n_samples2000, n_features20, n_informative8, noise20.0, random_state42) rng np.random.default_rng(0) outlier_idx rng.choice(len(yr), size30, replaceFalse) yr[outlier_idx] 300 # 人工污染 Xr_tr, Xr_te, yr_tr, yr_te train_test_split(Xr, yr, test_size0.3, random_state42) scaler_r StandardScaler().fit(Xr_tr) Xr_tr, Xr_te scaler_r.transform(Xr_tr), scaler_r.transform(Xr_te)注意回歸側(cè)我做了兩件事一是給目標(biāo)值加了離群點(diǎn)用來觀察 SVR 和線性回歸的差異二是 X 的標(biāo)準(zhǔn)化器和 y 分開處理。y 要不要標(biāo)準(zhǔn)化取決于你怎么設(shè) epsilon——如果 y 的量綱是幾萬(wàn)epsilon 也得跟著是幾百幾千網(wǎng)格搜索的尺度會(huì)很難看。我通常會(huì)把 y 也標(biāo)準(zhǔn)化讓 epsilon 回到 0.1 這個(gè)量級(jí)最后預(yù)測(cè)時(shí)再逆變換回去。4.2 SVM 分類的完整鏈路分類側(cè)直接用SVCRBF 核起步同時(shí)打開probabilityTrue以便畫 ROC 曲線。from sklearn.svm import SVC from sklearn.metrics import (classification_report, confusion_matrix, roc_auc_score, f1_score) import time t0 time.time() clf SVC(kernelrbf, C1.0, gammascale, probabilityTrue, class_weightbalanced, random_state42) clf.fit(Xc_tr, yc_tr) print(f訓(xùn)練耗時(shí): {time.time()-t0:.2f}s) pred clf.predict(Xc_te) proba clf.predict_proba(Xc_te)[:, 1] print(confusion_matrix(yc_te, pred)) print(classification_report(yc_te, pred, digits4)) print(AUC , round(roc_auc_score(yc_te, proba), 4)) print(支持向量數(shù):, clf.n_support_, 總計(jì):, clf.n_support_.sum())這里有兩個(gè)細(xì)節(jié)值得說。第一class_weightbalanced在處理不平衡數(shù)據(jù)時(shí)比盲目加大 C 有效得多它按類別頻率自動(dòng)給少數(shù)類更高的樣本權(quán)重是在損失層面做的修正而加大 C 只是把所有樣本的懲罰一起拉高往往會(huì)讓少數(shù)類被更多噪聲點(diǎn)淹沒。第二probabilityTrue打開之后 sklearn 會(huì)額外跑一次 Platt 標(biāo)定或者說內(nèi)部交叉驗(yàn)證訓(xùn)練時(shí)間通常會(huì)翻倍甚至更多所以只有在你確實(shí)需要概率輸出時(shí)才打開只做類別判定的話關(guān)掉能省大量時(shí)間。另一個(gè)觀察指標(biāo)是n_support_。如果支持向量占訓(xùn)練樣本的比例超過 70%基本可以判斷模型在硬扛噪聲該降 C 或者升 gamma。這個(gè)比值是我判斷模型緊不緊最快的體檢指標(biāo)比看訓(xùn)練準(zhǔn)確率直觀得多。4.3 SVR 回歸的完整鏈路與目標(biāo)變換回歸這邊我把 y 標(biāo)準(zhǔn)化后再喂給 SVRepsilon 按標(biāo)準(zhǔn)化尺度設(shè)。from sklearn.svm import SVR, LinearSVR from sklearn.linear_model import LinearRegression from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score scaler_y StandardScaler().fit(yr_tr.reshape(-1, 1)) yr_tr_s scaler_y.transform(yr_tr.reshape(-1, 1)).ravel() yr_te_s scaler_y.transform(yr_te.reshape(-1, 1)).ravel() def evaluate(name, model, Xtr, ytr, Xte, yte, scaler_yNone): model.fit(Xtr, ytr) p model.predict(Xte) if scaler_y is not None: p scaler_y.inverse_transform(p.reshape(-1, 1)).ravel() mae mean_absolute_error(yte, p) rmse mean_squared_error(yte, p) ** 0.5 print(f{name:14s} MAE{mae:8.2f} RMSE{rmse:8.2f} R2{r2_score(yte, p):.4f}) return p p_lr evaluate(LinearRegression, LinearRegression(), Xr_tr, yr_tr, Xr_te, yr_te) p_svr evaluate(SVR(rbf,eps0.1), SVR(kernelrbf, C10.0, gammascale, epsilon0.1), Xr_tr, yr_tr_s, Xr_te, yr_te_s, scaler_y) p_lsv evaluate(LinearSVR, LinearSVR(C1.0, epsilon0.1, max_iter20000, random_state42), Xr_tr, yr_tr_s, Xr_te, yr_te_s, scaler_y)在我構(gòu)造的這份帶污染數(shù)據(jù)上線性回歸的 RMSE 會(huì)被那 30 個(gè)離群點(diǎn)明顯拉高而 SVR 因?yàn)橹痪€性懲罰、且超出部分被 C 截?cái)啾憩F(xiàn)會(huì)穩(wěn)定得多。這就是前面講的魯棒性優(yōu)勢(shì)落到數(shù)字上的樣子。但我要特別提醒一句SVR 的魯棒性是有代價(jià)的。它對(duì)管道內(nèi)的樣本完全不敏感意味著如果數(shù)據(jù)里有一段區(qū)域的樣本全部落在管道內(nèi)模型在那里就沒有任何約束力曲線的形狀完全靠核函數(shù)和正則項(xiàng)決定?；貧w任務(wù)如果你需要精確擬合每個(gè)區(qū)間SVR 未必是最優(yōu)選擇。4.4 網(wǎng)格搜索該搜哪些參數(shù)兩個(gè)模型的搜索空間不一樣不要共用一套參數(shù)網(wǎng)格。SVM 的搜索空間C和gamma評(píng)價(jià)指標(biāo)用f1不平衡數(shù)據(jù)或roc_auc不要用 accuracy因?yàn)闇?zhǔn)確率在不平衡數(shù)據(jù)上有很強(qiáng)的欺騙性。SVR 的搜索空間C、gamma、epsilon三個(gè)比分類多一維計(jì)算量自然更大。評(píng)價(jià)指標(biāo)用neg_mean_absolute_error或neg_root_mean_squared_error。用 RMSE 做指標(biāo)時(shí)更看重?cái)M合精度用 MAE 更看重整體偏差的中位數(shù)表現(xiàn)選哪個(gè)取決于你的業(yè)務(wù)是怕偶爾的大偏差還是怕整體系統(tǒng)性偏差。from sklearn.model_selection import GridSearchCV, KFold # 分類兩個(gè)參數(shù) cv_cls GridSearchCV( SVC(kernelrbf, probabilityFalse, class_weightbalanced), {C: [0.1, 1, 10, 100], gamma: [scale, 0.01, 0.05, 0.2]}, scoringf1, cvKFold(5, shuffleTrue, random_state42), n_jobs-1) # 回歸三個(gè)參數(shù)網(wǎng)格要收窄否則組合爆炸 cv_reg GridSearchCV( SVR(kernelrbf), {C: [1, 10, 100], gamma: [scale, 0.01, 0.05], epsilon: [0.05, 0.1, 0.3]}, scoringneg_mean_absolute_error, cvKFold(5, shuffleTrue, random_state42), n_jobs-1) cv_cls.fit(Xc_tr, yc_tr) cv_reg.fit(Xr_tr, yr_tr_s) print(分類最優(yōu):, cv_cls.best_params_, cv_cls.best_score_) print(回歸最優(yōu):, cv_reg.best_params_, cv_reg.best_score_)回歸側(cè) 3×3×3 27 組每組 5 折就是 135 次訓(xùn)練。樣本量上萬(wàn)時(shí)這會(huì)很慢所以我的習(xí)慣是先用粗網(wǎng)格定位大致區(qū)域再在最優(yōu)值附近做一輪細(xì)網(wǎng)格。這比一次性鋪大網(wǎng)格的效率高很多。5. 踩過的坑真實(shí)數(shù)據(jù)上的典型翻車現(xiàn)場(chǎng)5.1 SVR 的向均值收縮一條幾乎是直線的預(yù)測(cè)這是我見過最頻繁的 SVR 翻車現(xiàn)場(chǎng)訓(xùn)練完看 R2居然只有 0.1 甚至負(fù)數(shù)畫圖一看預(yù)測(cè)值幾乎是一條水平線緊貼著 y 的均值。新手第一反應(yīng)是數(shù)據(jù)沒規(guī)律實(shí)際上十有八九是三個(gè)原因之一。第一個(gè)原因是 epsilon 設(shè)得太大。如果你忘了標(biāo)準(zhǔn)化 y而 y 的量綱是幾萬(wàn)你隨手寫的 epsilon0.1 反而沒問題但如果 y 已經(jīng)標(biāo)準(zhǔn)化到均值 0 方差 1而 epsilon 還是設(shè)成 1.0那等于允許誤差達(dá)到一個(gè)標(biāo)準(zhǔn)差模型自然什么都不用做就能把損失壓到零。第二個(gè)原因是 C 太小模型沒有動(dòng)力去擬合管道外的點(diǎn)。第三個(gè)原因是 gamma 太小RBF 核的寬度太大整個(gè)空間被平滑成一個(gè)常數(shù)。排查順序我建議固定成先確認(rèn) y 的尺度與 epsilon 是否匹配再檢查 best_params_ 里 C 是不是撞到了搜索區(qū)間的下界。如果 C 恰好是網(wǎng)格里的最小值說明搜索區(qū)間設(shè)錯(cuò)了應(yīng)該往下再擴(kuò)一檔。這個(gè)檢查動(dòng)作只需要一行代碼但能省掉半天瞎調(diào)參。5.2 類別不平衡時(shí)暴力調(diào) C 的無(wú)效循環(huán)分類側(cè)有個(gè)經(jīng)典誤區(qū)少數(shù)類召回率低就不斷加大 C。結(jié)果往往是整體準(zhǔn)確率上去了少數(shù)類的 F1 反而更差因?yàn)?C 變大讓模型更傾向于把邊界附近的樣本都判給多數(shù)類以減少總體的違規(guī)數(shù)。真正的解法有兩步先用class_weightbalanced在損失層面修正再用 F1 或 AUC 而不是準(zhǔn)確率來做模型選擇。如果數(shù)據(jù)極度不平衡比如 1:100SVM 的整體收益會(huì)明顯下降這時(shí)候換成樹模型會(huì)更省心。還有一個(gè)容易被忽略的點(diǎn)SVC 默認(rèn)用的是 one-vs-one 多分類策略類別多的時(shí)候需要訓(xùn)練 n(n-1)/2 個(gè)二分類器。10 個(gè)類別就是 45 個(gè)模型訓(xùn)練時(shí)間和內(nèi)存都會(huì)明顯膨脹。類別數(shù)超過 10 的情況下我一般直接換LinearSVC或者別的模型而不是硬扛。5.3 數(shù)據(jù)量一大訓(xùn)練時(shí)間就不是線性的SVC 和 SVR 底層都是 libsvm 那套實(shí)現(xiàn)訓(xùn)練復(fù)雜度大致在 O(n2) 到 O(n3) 之間n 是樣本數(shù)。這個(gè)增長(zhǎng)曲線在小樣本時(shí)看不出來一旦跨過某個(gè)臨界點(diǎn)就突然變得無(wú)法忍受。我自己的體感經(jīng)驗(yàn)是n 在幾千以內(nèi)隨便調(diào)網(wǎng)格都很快n 到兩三萬(wàn)一次訓(xùn)練就要幾十秒五折網(wǎng)格搜索直接變成整個(gè)下午n 到十萬(wàn)以上基本就不用考慮核方法了。替代方案是明確的分類換LinearSVC或SGDClassifier回歸換LinearSVR或SGDRegressor它們用的是線性核和坐標(biāo)下降或隨機(jī)梯度復(fù)雜度接近線性。代價(jià)是丟掉 RBF 核的非線性表達(dá)能力但如果你的特征是稠密的高維數(shù)據(jù)比如文本的 TF-IDF線性核往往本來就夠用甚至效果更好。另外LinearSVR的 epsilon 語(yǔ)義和 SVR 一致但它的默認(rèn)max_iter比較小數(shù)據(jù)稍大就會(huì)報(bào)收斂警告。我在上面的代碼里顯式設(shè)成了 20000這是從多次報(bào)錯(cuò)里總結(jié)出來的一個(gè)比較通用的值。收到收斂警告時(shí)不要直接忽略先看系數(shù)有沒有收斂否則結(jié)果可能完全不可信。5.4 概率輸出和預(yù)測(cè)區(qū)間被誤用最后一個(gè)坑更隱蔽把 SVC 的predict_proba當(dāng)成真實(shí)概率用。SVM 本身輸出的是到超平面的距離不是概率sklearn 里的概率是通過 Platt 縮放或者內(nèi)部交叉驗(yàn)證擬合出來的在小樣本上偏差可能很大。如果你的業(yè)務(wù)需要可靠的概率比如風(fēng)控打分要么做后續(xù)的校準(zhǔn)要么換用天然輸出概率的模型。SVR 這邊對(duì)應(yīng)的坑是把預(yù)測(cè)值當(dāng)成有置信區(qū)間的估計(jì)。SVR 只給你一個(gè)點(diǎn)預(yù)測(cè)它不提供預(yù)測(cè)方差。想要區(qū)間得用分位數(shù)回歸、集成模型的方差估計(jì)或者干脆訓(xùn)練多個(gè)模型看輸出的離散程度。我見過有人拿 SVR 的輸出直接乘以 0.9 和 1.1 當(dāng)上下界這在業(yè)務(wù)上是非常危險(xiǎn)的。6. 選型清單什么時(shí)候用 SVM什么時(shí)候用 SVR什么時(shí)候都別用6.1 按數(shù)據(jù)規(guī)模和特征維度分?jǐn)?shù)據(jù)規(guī)模是第一道篩子。樣本量在一萬(wàn)以內(nèi)、特征維度幾十到幾千這兩個(gè)模型都在舒適區(qū)樣本量超過五萬(wàn)優(yōu)先考慮線性變體超過十萬(wàn)直接換梯度提升樹或線性模型。特征維度方面SVM 和 SVR 在樣本數(shù)少于特征數(shù)的場(chǎng)景下有天然優(yōu)勢(shì)因?yàn)樗鼈兊氖峭ㄟ^支持向量而非全部樣本定義決策面泛化能力不容易被維度拖垮。文本分類就是典型例子TF-IDF 特征動(dòng)輒幾萬(wàn)維樣本只有幾千條線性 SVM 在這個(gè)場(chǎng)景里長(zhǎng)期是強(qiáng)基線。但要注意高維稀疏特征下 RBF 核通常不如線性核。原因很實(shí)際稀疏向量之間的歐氏距離區(qū)分度很差RBF 核算出來的相似度都擠在一起模型學(xué)不到東西。所以文本場(chǎng)景我基本不試 RBF直接用 LinearSVC。6.2 按業(yè)務(wù)需求的容錯(cuò)性分如果你的業(yè)務(wù)能明確說出誤差多少以內(nèi)無(wú)所謂那 SVR 值得優(yōu)先嘗試因?yàn)?epsilon 就是這個(gè)容忍度的直接映射模型會(huì)主動(dòng)忽略這個(gè)范圍內(nèi)的偏差把注意力放在大的偏差上。這類場(chǎng)景包括需求預(yù)測(cè)、庫(kù)存預(yù)估、能耗預(yù)測(cè)——這些領(lǐng)域里預(yù)測(cè)偏幾十件、幾度電本來就不影響決策。反過來如果業(yè)務(wù)要求每個(gè)樣本都盡量擬合準(zhǔn)比如做物理仿真替代模型、做精密標(biāo)定那 SVR 的容錯(cuò)帶反而變成缺點(diǎn)最小二乘或者高斯過程回歸更合適。分類側(cè)類似如果類別邊界模糊、噪聲大SVM 的最大間隔特性會(huì)帶來不錯(cuò)的泛化如果類別界限清晰且數(shù)據(jù)量很大用 SVM 就是殺雞用牛刀還會(huì)拖慢整個(gè)流水線。6.3 我自己的取舍習(xí)慣總結(jié)成我實(shí)際工作中的幾條判斷習(xí)慣不一定對(duì)所有人適用但至少可復(fù)現(xiàn)小樣本、非線性、噪聲大、且我關(guān)心的是排序或分類邊界先上 SVM用 RBF 核加class_weightbalanced。小樣本、連續(xù)目標(biāo)、有明確誤差容忍區(qū)間先上 SVRy 做標(biāo)準(zhǔn)化epsilon 按容忍度折算。樣本量過萬(wàn)先把線性變體跑一遍當(dāng)基線確認(rèn)核方法帶來的提升值不值得那份訓(xùn)練時(shí)間。只要開始出現(xiàn)預(yù)測(cè)值貼著均值或者支持向量占比超過 70%立刻回頭檢查 epsilon、C、gamma 三者的量綱和尺度不要在評(píng)估指標(biāo)上糾結(jié)。網(wǎng)格搜索的評(píng)價(jià)指標(biāo)永遠(yuǎn)和業(yè)務(wù)對(duì)齊分類用 F1 或 AUC回歸用 MAE 或 RMSE不用默認(rèn)的 accuracy 和 R2。最后分享一個(gè)我在調(diào) SVR 時(shí)常用的低成本技巧先固定 gammascale只對(duì) C 和 epsilon 做二維網(wǎng)格找到大致區(qū)域之后再放開 gamma 做一輪細(xì)化。因?yàn)?gamma 主要影響曲線的彎曲能力而 C 和 epsilon 影響的是緊不緊這兩類問題的可分離性比三個(gè)參數(shù)一起搜要好得多實(shí)測(cè)能少走很多彎路。