簡(jiǎn)介這份文檔面向機(jī)器學(xué)習(xí)初學(xué)者與需要鞏固回歸算法基礎(chǔ)的開發(fā)者聚焦嶺回歸這一經(jīng)典線性回歸改進(jìn)方法幫助解決特征多重共線性與模型過擬合問題。內(nèi)容從基本概念、與普通最小二乘法的區(qū)別講起逐步深入到損失函數(shù)定義、解析解推導(dǎo)并給出完整的Python實(shí)現(xiàn)路徑。文檔涵蓋數(shù)據(jù)清洗、特征縮放、數(shù)據(jù)集分割、模型訓(xùn)練與MSE、R2評(píng)估等環(huán)節(jié)配合numpy、pandas、sklearn與matplotlib的示例代碼讀者可據(jù)此搭建可復(fù)現(xiàn)的嶺回歸實(shí)驗(yàn)流程理解正則化參數(shù)λ對(duì)權(quán)重與泛化能力的影響。資源包共1個(gè)docx文件約27KB結(jié)構(gòu)緊湊適合作為算法學(xué)習(xí)筆記或課堂講義參考。目前已有117人學(xué)習(xí)便于快速上手并對(duì)照代碼實(shí)踐。1. 嶺回歸到底解決什么問題從一次過擬合翻車說起很多人第一次跑線性回歸都會(huì)遇到同一個(gè)場(chǎng)景訓(xùn)練集上 R2 高得離譜換到測(cè)試集直接崩盤系數(shù)大得嚇人有的甚至正負(fù)幾十萬。這不是數(shù)據(jù)臟也不是模型選錯(cuò)了而是普通最小二乘OLS在特征之間存在共線性時(shí)解會(huì)變得極不穩(wěn)定。嶺回歸Ridge Regression就是沖著這個(gè)病來的——它在損失函數(shù)里加了一個(gè) L2 正則項(xiàng)把系數(shù)往零的方向拉用一點(diǎn)點(diǎn)偏差換取方差的大幅下降。這篇內(nèi)容面向的是已經(jīng)會(huì)用 Python 做機(jī)器學(xué)習(xí)、但被多重共線性或過擬合卡住的人。你會(huì)看到嶺回歸的數(shù)學(xué)直覺、alpha 參數(shù)怎么調(diào)、用 scikit-learn 從零跑通一套完整流程以及我在實(shí)際項(xiàng)目里踩過的坑。嶺回歸不是萬能藥但在特征多、樣本少、變量高度相關(guān)的場(chǎng)景下它往往是最先該試的那一個(gè)。2. 嶺回歸的數(shù)學(xué)直覺與 alpha 參數(shù)為什么加個(gè)平方項(xiàng)就能穩(wěn)住系數(shù)2.1 從 OLS 到嶺回歸損失函數(shù)里多了什么普通線性回歸的損失函數(shù)是殘差平方和Loss_OLS ||y - Xw||2當(dāng) X 的列之間存在近似線性關(guān)系時(shí)X?X 接近奇異求逆會(huì)放大數(shù)值誤差導(dǎo)致系數(shù)估計(jì)的方差爆炸。嶺回歸在損失函數(shù)后面加了一項(xiàng) λ||w||2Loss_Ridge ||y - Xw||2 α·||w||2這一項(xiàng)對(duì)系數(shù)的平方和施加懲罰等價(jià)于在 X?X 的對(duì)角線上加上 αw_ridge (X?X αI)?1 X?y加了 αI 之后矩陣一定可逆數(shù)值穩(wěn)定性直接上來。α 越大系數(shù)被壓縮得越狠模型偏差增大、方差減小α 趨近 0 時(shí)退化為 OLS。這就是嶺回歸的核心權(quán)衡。注意嶺回歸不會(huì)把系數(shù)壓到恰好為零它只是讓系數(shù)變小。如果你需要稀疏解自動(dòng)做特征選擇該用 Lasso 而不是 Ridge。2.2 alpha 怎么選交叉驗(yàn)證是唯一靠譜的辦法α 是嶺回歸唯一需要認(rèn)真調(diào)的超參數(shù)。我一般不會(huì)憑感覺設(shè)直接用RidgeCV做留一法或 K 折交叉驗(yàn)證from sklearn.linear_model import RidgeCV from sklearn.preprocessing import StandardScaler from sklearn.pipeline import Pipeline import numpy as np # 候選 alpha 列表按對(duì)數(shù)刻度鋪開 alphas np.logspace(-3, 3, 50) # 標(biāo)準(zhǔn)化 嶺回歸的管道 ridge_cv Pipeline([ (scaler, StandardScaler()), # 嶺回歸對(duì)特征尺度敏感必須先標(biāo)準(zhǔn)化 (ridge, RidgeCV(alphasalphas, cv5, scoringneg_mean_squared_error)) ]) ridge_cv.fit(X_train, y_train) print(最優(yōu) alpha:, ridge_cv.named_steps[ridge].alpha_)這段代碼做了三件事先把特征標(biāo)準(zhǔn)化嶺回歸的懲罰項(xiàng)對(duì)尺度敏感不標(biāo)準(zhǔn)化的話量綱大的特征會(huì)被過度懲罰然后在 50 個(gè)對(duì)數(shù)分布的 α 值上做 5 折交叉驗(yàn)證最后選出均方誤差最小的那個(gè)。np.logspace(-3, 3, 50)覆蓋了從 0.001 到 1000 的范圍絕大多數(shù)場(chǎng)景夠用。參數(shù)說明cv5是折數(shù)樣本量小于 200 時(shí)可以用cvNone走留一法scoring選neg_mean_squared_error是因?yàn)?sklearn 的交叉驗(yàn)證默認(rèn)最大化分?jǐn)?shù)所以用負(fù) MSE。如果你更關(guān)心解釋性而非預(yù)測(cè)精度可以把 scoring 換成r2。2.3 標(biāo)準(zhǔn)化為什么不能省一個(gè)真實(shí)的反例我見過有人直接拿原始數(shù)據(jù)跑 Ridge結(jié)果 α 調(diào)到 1000 模型還是過擬合。原因很簡(jiǎn)單某個(gè)特征量綱是萬級(jí)另一個(gè)是小數(shù)級(jí)懲罰項(xiàng)對(duì)前者幾乎沒影響對(duì)后者直接壓死。標(biāo)準(zhǔn)化之后所有特征在同一尺度上α 的懲罰才是公平的。from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_train_scaled scaler.fit_transform(X_train) X_test_scaled scaler.transform(X_test) # 注意測(cè)試集用訓(xùn)練集的均值和方差這里有個(gè)容易翻車的地方fit_transform只能用在訓(xùn)練集上測(cè)試集必須用transform否則數(shù)據(jù)泄露交叉驗(yàn)證的分?jǐn)?shù)會(huì)虛高。這個(gè)坑我在早期項(xiàng)目里踩過不止一次。3. 用 Python 跑通嶺回歸完整流程從數(shù)據(jù)加載到模型評(píng)估3.1 數(shù)據(jù)準(zhǔn)備與共線性診斷在決定用嶺回歸之前先確認(rèn)數(shù)據(jù)確實(shí)存在共線性。最簡(jiǎn)單的方法是看特征間的相關(guān)系數(shù)矩陣或者算 VIF方差膨脹因子import pandas as pd import numpy as np from statsmodels.stats.outliers_influence import variance_inflation_factor # 假設(shè) df 是特征數(shù)據(jù)框target 是目標(biāo)列 X df.drop(columns[target]) y df[target] # 計(jì)算 VIF vif_data pd.DataFrame() vif_data[feature] X.columns vif_data[VIF] [variance_inflation_factor(X.values, i) for i in range(X.shape[1])] print(vif_data.sort_values(VIF, ascendingFalse))VIF 大于 10 通常認(rèn)為存在嚴(yán)重共線性大于 5 就值得警惕。如果所有特征的 VIF 都低于 5普通線性回歸可能就夠了嶺回歸帶來的收益有限。這一步不是必須的但它能幫你判斷嶺回歸值不值得上。3.2 訓(xùn)練、預(yù)測(cè)與系數(shù)對(duì)比下面是一段可以直接復(fù)制的完整流程用 sklearn 自帶的波士頓房?jī)r(jià)替代數(shù)據(jù)集注意波士頓數(shù)據(jù)集在新版 sklearn 中已移除這里用fetch_california_housing替代from sklearn.datasets import fetch_california_housing from sklearn.model_selection import train_test_split from sklearn.linear_model import Ridge, LinearRegression from sklearn.preprocessing import StandardScaler from sklearn.metrics import mean_squared_error, r2_score import numpy as np # 1. 加載數(shù)據(jù) data fetch_california_housing() X, y data.data, data.target # 2. 劃分訓(xùn)練集和測(cè)試集 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) # 3. 標(biāo)準(zhǔn)化 scaler StandardScaler() X_train_s scaler.fit_transform(X_train) X_test_s scaler.transform(X_test) # 4. 訓(xùn)練 OLS 和 Ridge 做對(duì)比 ols LinearRegression().fit(X_train_s, y_train) ridge Ridge(alpha1.0).fit(X_train_s, y_train) # 5. 評(píng)估 for name, model in [(OLS, ols), (Ridge, ridge)]: y_pred model.predict(X_test_s) print(f{name} MSE: {mean_squared_error(y_test, y_pred):.4f} fR2: {r2_score(y_test, y_pred):.4f}) # 6. 系數(shù)對(duì)比 coef_df pd.DataFrame({ feature: data.feature_names, OLS: ols.coef_, Ridge: ridge.coef_ }) print(coef_df)這段代碼的關(guān)鍵在于第 4 步和第 6 步同時(shí)訓(xùn)練 OLS 和 Ridge然后對(duì)比系數(shù)。你會(huì)看到 Ridge 的系數(shù)普遍比 OLS 小尤其是那些共線性強(qiáng)的特征系數(shù)被壓縮得更明顯。MSE 和 R2 的對(duì)比則告訴你這點(diǎn)偏差換來的方差下降到底值不值。參數(shù)說明alpha1.0只是初始值實(shí)際項(xiàng)目中應(yīng)該用RidgeCV選出來的最優(yōu)值。random_state42保證劃分可復(fù)現(xiàn)。如果你用的是自己的數(shù)據(jù)記得檢查是否有缺失值Ridge 不接受 NaN。3.3 學(xué)習(xí)曲線判斷 alpha 是否選對(duì)了選完 alpha 之后我習(xí)慣畫一條學(xué)習(xí)曲線看模型在不同訓(xùn)練集大小下的表現(xiàn)from sklearn.model_selection import learning_curve import matplotlib.pyplot as plt train_sizes, train_scores, test_scores learning_curve( Ridge(alpha1.0), X_train_s, y_train, train_sizesnp.linspace(0.1, 1.0, 10), cv5, scoringneg_mean_squared_error ) train_mean -train_scores.mean(axis1) test_mean -test_scores.mean(axis1) plt.plot(train_sizes, train_mean, label訓(xùn)練集 MSE) plt.plot(train_sizes, test_mean, label驗(yàn)證集 MSE) plt.xlabel(訓(xùn)練樣本數(shù)) plt.ylabel(MSE) plt.legend() plt.title(嶺回歸學(xué)習(xí)曲線) plt.show()如果兩條曲線隨著樣本增加逐漸靠攏說明模型沒有嚴(yán)重過擬合alpha 選得合理。如果訓(xùn)練集 MSE 遠(yuǎn)低于驗(yàn)證集說明 alpha 偏小如果兩條曲線都很高且平行說明 alpha 偏大模型欠擬合。這張圖比單看一個(gè) R2 數(shù)字有用得多。4. 嶺回歸避坑指南5 個(gè)我踩過的坑和排查方法4.1 坑一忘了標(biāo)準(zhǔn)化alpha 怎么調(diào)都沒用現(xiàn)象RidgeCV 選出來的 alpha 極大比如 10000但測(cè)試集 R2 依然很低系數(shù)壓縮得不均勻。原因特征量綱差異大懲罰項(xiàng)對(duì)不同特征的壓縮力度不一致。量綱大的特征幾乎不受懲罰量綱小的特征被過度壓縮。解決把StandardScaler放進(jìn) Pipeline確保訓(xùn)練和預(yù)測(cè)時(shí)用的是同一套均值和方差。如果特征里有類別變量先做獨(dú)熱編碼再標(biāo)準(zhǔn)化。4.2 坑二在測(cè)試集上 fit_transform交叉驗(yàn)證分?jǐn)?shù)虛高現(xiàn)象交叉驗(yàn)證 R2 有 0.95換到真實(shí)測(cè)試集只有 0.6。原因fit_transform在測(cè)試集上重新計(jì)算了均值和方差相當(dāng)于測(cè)試集的信息泄露到了訓(xùn)練過程。解決訓(xùn)練集用fit_transform測(cè)試集只用transform。用 Pipeline 可以自動(dòng)避免這個(gè)問題因?yàn)?Pipeline 的fit只在訓(xùn)練數(shù)據(jù)上調(diào)用。4.3 坑三特征里有 NaN 或無窮值模型直接報(bào)錯(cuò)現(xiàn)象ValueError: Input contains NaN, infinity or a value too large。原因Ridge 的底層是 numpy 矩陣運(yùn)算不接受缺失值。解決訓(xùn)練前用SimpleImputer填充缺失值中位數(shù)填充比均值填充更穩(wěn)健。無窮值可以用np.isfinite檢查后替換或刪除。4.4 坑四把 Ridge 當(dāng)特征選擇工具用現(xiàn)象期待 Ridge 能把不重要的特征系數(shù)壓到零結(jié)果所有系數(shù)都是小非零值模型解釋性沒提升。原因L2 正則化只會(huì)壓縮系數(shù)不會(huì)產(chǎn)生稀疏解。解決需要稀疏解就用 Lasso 或 ElasticNet。如果既想要稀疏又想要穩(wěn)定性ElasticNet 是折中方案。Ridge 的定位是穩(wěn)定系數(shù)、提升泛化不是做特征篩選。4.5 坑五alpha 搜索范圍太窄錯(cuò)過最優(yōu)值現(xiàn)象RidgeCV 選出來的 alpha 剛好在候選列表的邊界上。原因np.logspace(-3, 3, 50)的范圍不夠?qū)捇蛘哒鎸?shí)最優(yōu)值在范圍之外。解決如果最優(yōu) alpha 落在邊界把范圍擴(kuò)大一個(gè)數(shù)量級(jí)重新搜。我一般先用np.logspace(-4, 4, 100)粗搜再在最優(yōu)值附近用更細(xì)的網(wǎng)格精搜。5. 嶺回歸的進(jìn)階技巧用廣義交叉驗(yàn)證和系數(shù)路徑圖把 alpha 看透5.1 廣義交叉驗(yàn)證比 K 折更快的 alpha 選擇方法sklearn 的RidgeCV默認(rèn)用的是廣義交叉驗(yàn)證GCV它有一個(gè)解析解不需要真的訓(xùn)練 K 次模型計(jì)算速度比 K 折快很多。當(dāng)你數(shù)據(jù)量大、候選 alpha 多的時(shí)候這個(gè)優(yōu)勢(shì)非常明顯from sklearn.linear_model import RidgeCV # 使用 GCV默認(rèn)就是 GCV不需要顯式指定 ridge_gcv RidgeCV(alphasnp.logspace(-4, 4, 100), cvNone) ridge_gcv.fit(X_train_s, y_train) print(GCV 最優(yōu) alpha:, ridge_gcv.alpha_)cvNone時(shí)RidgeCV使用 GCVcv5時(shí)使用 5 折交叉驗(yàn)證。GCV 的估計(jì)在小樣本下可能略有偏差但速度優(yōu)勢(shì)在特征維度高時(shí)非常劃算。我的習(xí)慣是先用 GCV 快速定位 alpha 的大致范圍再用 K 折在附近精搜確認(rèn)。5.2 系數(shù)路徑圖直觀看到 alpha 對(duì)每個(gè)特征的影響系數(shù)路徑圖是理解嶺回歸行為的最好工具。它把不同 alpha 下每個(gè)特征的系數(shù)畫成一條曲線讓你一眼看出哪些特征對(duì) alpha 敏感、哪些穩(wěn)定import matplotlib.pyplot as plt from sklearn.linear_model import Ridge alphas np.logspace(-3, 4, 200) coefs [] for a in alphas: ridge Ridge(alphaa) ridge.fit(X_train_s, y_train) coefs.append(ridge.coef_) coefs np.array(coefs) plt.figure(figsize(10, 6)) for i in range(coefs.shape[1]): plt.plot(np.log10(alphas), coefs[:, i], labeldata.feature_names[i]) plt.xlabel(log10(alpha)) plt.ylabel(系數(shù)值) plt.title(嶺回歸系數(shù)路徑圖) plt.legend(locupper right, fontsize8) plt.axvline(np.log10(ridge_gcv.alpha_), colork, linestyle--, label最優(yōu) alpha) plt.show()這張圖里每條曲線代表一個(gè)特征。alpha 很小時(shí)系數(shù)接近 OLS 的解波動(dòng)大alpha 增大所有系數(shù)平滑地趨向零。那些在很大 alpha 范圍內(nèi)保持較大絕對(duì)值的特征是對(duì)預(yù)測(cè)真正重要的變量。豎虛線標(biāo)出最優(yōu) alpha 的位置你能看到在這個(gè)點(diǎn)上哪些特征被保留、哪些被壓縮。5.3 一個(gè)我常用的驗(yàn)證習(xí)慣每次跑完嶺回歸我會(huì)做一件事把最優(yōu) alpha 下的系數(shù)和 OLS 系數(shù)并排打印算一下壓縮比例。如果某個(gè)特征的系數(shù)被壓縮了 90% 以上我會(huì)回頭檢查這個(gè)特征是不是本身噪聲太大或者和其他特征高度冗余。這個(gè)習(xí)慣幫我發(fā)現(xiàn)過好幾次數(shù)據(jù)采集階段的問題——有些特征看起來有用實(shí)際上只是共線性的副產(chǎn)品。嶺回歸不難難的是理解它什么時(shí)候該用、什么時(shí)候不該用。我的經(jīng)驗(yàn)是特征數(shù)超過樣本數(shù)的十分之一或者 VIF 普遍偏高時(shí)先上嶺回歸準(zhǔn)沒錯(cuò)。但別忘了標(biāo)準(zhǔn)化別忘了用交叉驗(yàn)證選 alpha別忘了系數(shù)路徑圖比單個(gè) R2 數(shù)字能告訴你更多。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取