簡介CARS競爭性自適應(yīng)重加權(quán)算法可執(zhí)行代碼與文檔整合包面向化學(xué)計(jì)量學(xué)、光譜分析及機(jī)器學(xué)習(xí)研究者解決高維數(shù)據(jù)下PLS回歸的變量選擇與過擬合問題。rar壓縮包內(nèi)共有37個文件以32個m格式MATLAB源程序?yàn)橹髁碛?個mat實(shí)測數(shù)據(jù)集、1份PDF手冊、1個doc說明和1張示意圖整體大小1.27MB。已有11425人學(xué)習(xí)下載。資料內(nèi)含PDF操作手冊、多種示例腳本與玉米光譜數(shù)據(jù)覆蓋CARS、SCARS、PLS、MCS等算法代碼含交叉驗(yàn)證、預(yù)處理、可視化等模塊便于理解自適應(yīng)重加權(quán)迭代流程與RMSECV評估機(jī)制可直接用于論文復(fù)現(xiàn)和實(shí)際光譜特征篩選。1. 變量篩選為何要競爭CARS算法切入光譜建模的獨(dú)特視角近紅外光譜數(shù)據(jù)動輒上千個波長點(diǎn)變量比樣本還要多按常理信息越豐富模型越準(zhǔn)實(shí)測卻往往是變量越多預(yù)測誤差越大。因?yàn)椴ㄩL點(diǎn)之間存在嚴(yán)重的共線性冗余信息和不相關(guān)噪聲會把偏最小二乘模型的回歸系數(shù)拉扯變形導(dǎo)致模型泛化能力急速下降。競爭性自適應(yīng)重加權(quán)算法CARS要解決的正是這個矛盾它不追求一次性找出最優(yōu)變量組合而是通過模擬自然選擇的迭代過程讓變量在競爭中逐輪淘汰最終收斂到一個低維、低相關(guān)性的變量子集。理解CARS就理解了變量選擇里隨機(jī)但有方向這一類方法背后的設(shè)計(jì)動機(jī)與底層機(jī)制。2. CARS的骨架蒙特卡洛采樣與回歸系數(shù)權(quán)重的底層邏輯2.1 蒙特卡洛采樣為什么不看全量樣本CARS的第一步是抽樣。每一輪迭代算法會從校正集樣本里隨機(jī)抽取一定比例的樣本通常約80%基于這些樣本建立PLS模型。這里有個問題值得先想清楚為什么不直接用全部樣本建模我個人的理解是變量選擇的目標(biāo)不只是找哪些變量有用還要找哪些變量總是有用——即魯棒性。如果用全量樣本只建一次模型某個變量的回歸系數(shù)可能是偶然大、也可能是偶然小而多次隨機(jī)抽樣相當(dāng)于給每個變量提供了多次考試機(jī)會。一個真正重要的變量無論抽到哪一批樣本其回歸系數(shù)的絕對值都會穩(wěn)定地居于前列一個靠運(yùn)氣突出重圍的變量則會在不同抽樣下權(quán)重忽高忽低。這種做法的本質(zhì)是交叉驗(yàn)證的思想下放到變量評估不用單獨(dú)留出驗(yàn)證集而是通過反復(fù)重采樣觀察系數(shù)的穩(wěn)定性。每輪抽樣都得到一組回歸系數(shù)算法比較的是這些系數(shù)在不同抽樣下的相對大小而不是某一次的絕對數(shù)值。抽樣比例這個參數(shù)的敏感性也在這里體現(xiàn)比例太高每輪模型幾乎相同系數(shù)波動小等于白抽樣比例太低樣本子集不足以代表整體系數(shù)方差過大評估結(jié)果又不可靠。2.2 回歸系數(shù)絕對值最樸素的變量貢獻(xiàn)度量有了PLS模型每個變量都會得到一個回歸系數(shù)。系數(shù)的絕對值越大意味著該變量對預(yù)測結(jié)果的貢獻(xiàn)越強(qiáng)系數(shù)接近零的變量則基本可以被視為噪聲攜帶者。CARS把每個變量的回歸系數(shù)絕對值作為其權(quán)重并在這個權(quán)重的基礎(chǔ)上設(shè)計(jì)后續(xù)的隨機(jī)抽樣。這里要特別強(qiáng)調(diào)一個細(xì)節(jié)CARS用的不是VIP分?jǐn)?shù)或相關(guān)系數(shù)而是PLS回歸系數(shù)。原因是回歸系數(shù)天然地考慮了變量之間的聯(lián)合作用——某個變量單獨(dú)來看與目標(biāo)值毫無線性關(guān)系但在PLS的潛變量結(jié)構(gòu)中它可能與其他變量協(xié)同發(fā)揮作用回歸系數(shù)能捕捉這種協(xié)同貢獻(xiàn)。VIP分?jǐn)?shù)也能做到類似的事但VIP是基于協(xié)方差的投影度量而CARS選擇回歸系數(shù)的絕對值核心動機(jī)是可加性多個變量組合的貢獻(xiàn)大致可以按系數(shù)絕對值累加這為后面的按權(quán)重隨機(jī)抽樣提供了天然的數(shù)學(xué)基礎(chǔ)。在實(shí)際計(jì)算中權(quán)重計(jì)算非常廉價核心邏輯只有幾行import numpy as np from sklearn.cross_decomposition import PLSRegression def evaluate_variable_weight(X, y, sample_ratio0.8, n_components5): # 隨機(jī)抽取樣本子集完成蒙特卡洛采樣 n_samples X.shape[0] sampled_idx np.random.choice(n_samples, int(n_samples * sample_ratio), replaceFalse) # 用抽樣樣本建立 PLS 模型 pls PLSRegression(n_componentsn_components) pls.fit(X[sampled_idx], y[sampled_idx]) # 回歸系數(shù)的絕對值作為該輪變量權(quán)重 coefficients pls.coef_.ravel() weight np.abs(coefficients) # 按權(quán)重降序排序返回排序后的索引和權(quán)重 sorted_idx np.argsort(weight)[::-1] return sorted_idx, weight這段代碼把蒙特卡洛采樣 回歸系數(shù)評估兩個步驟壓縮在一個函數(shù)里。關(guān)鍵參數(shù)有三個sample_ratio控制抽樣比例過大則每輪模型幾乎相同失去多樣性過小則模型不穩(wěn)定系數(shù)估計(jì)方差太大一般取0.7到0.9之間。n_components是PLS潛變量數(shù)它決定模型對數(shù)據(jù)結(jié)構(gòu)的擬合程度太小會欠擬合太大會把噪聲也擬合進(jìn)去。返回值里的sorted_idx專門用于下一階段的變量淘汰。注意coef_的形狀PLSRegression的coef_在單因變量場景下是一個二維數(shù)組形狀為n_features行、1列所以需要ravel()展平成一維。很多初寫CARS實(shí)現(xiàn)的人會在這里取錯維度導(dǎo)致后續(xù)的索引對應(yīng)不上原始變量這是一個非常隱蔽的坑。2.3 權(quán)重排序之后次輪變量子集如何產(chǎn)生每輪評估完權(quán)重后并不是簡單地砍掉后半截。CARS使用指數(shù)衰減函數(shù)確定本輪保留的變量比例然后用自適應(yīng)重加權(quán)采樣按權(quán)重從保留變量里做放回式抽樣抽樣結(jié)果作為下一輪的變量子集。這里要區(qū)分兩個概念強(qiáng)制淘汰與隨機(jī)抽樣。強(qiáng)制淘汰是把當(dāng)前輪次里確定不重要的變量直接刪掉這是硬性操作隨機(jī)抽樣則是在剩余變量里按權(quán)重概率性地選取權(quán)重大的變量有更高概率被選中但權(quán)重小的變量也保留了一絲被選中的機(jī)會。這個保留一絲機(jī)會的設(shè)計(jì)恰恰是CARS與貪心算法的分水嶺——貪心算法會無情地丟棄所有當(dāng)前看起來不重要的變量而CARS允許眼下弱、但組合起來有用的變量有存活的機(jī)會。關(guān)于這個機(jī)制的數(shù)學(xué)細(xì)節(jié)是下一章要展開的重點(diǎn)。3. 指數(shù)衰減函數(shù)與自適應(yīng)重加權(quán)采樣競爭淘汰的節(jié)奏控制3.1 EDF的數(shù)學(xué)形式為什么是冪函數(shù)衰減CARS每輪要保留多少比例的變量由指數(shù)衰減函數(shù)EDF決定。設(shè)初始變量總數(shù)為p當(dāng)前第i輪從1開始計(jì)數(shù)總運(yùn)行輪數(shù)為N則第i輪的變量保留率近似為r_i (p_min / p)^(i / N)p_min是計(jì)劃在最后一輪保留的最小變量數(shù)。這個形式變換一下就能看出指數(shù)衰減的本質(zhì)等式兩邊取對數(shù)log(r_i) (i/N)·log(p_min/p)保留率的對數(shù)隨輪次線性下降也就是說保留率本身是幾何級數(shù)式的衰減。開頭幾輪淘汰速度快越到后面淘汰速度越慢。為什么不是線性衰減線性衰減意味著每輪淘汰固定比例這在變量數(shù)很多的光譜場景下會搶跑——前十幾輪把大量變量快速砍光后面想精細(xì)篩選時已經(jīng)沒有候選變量了。而指數(shù)衰減前半段快速粗篩、后半段慢速細(xì)選正好匹配光譜變量成百上千個變量里真正關(guān)鍵的只有幾十個的分布特征。常見實(shí)現(xiàn)的EDF代碼如下def compute_retained_ratio(current_round, total_rounds, n_variables, min_variables): 計(jì)算第 current_round 輪需要保留的變量比例 current_round: 從 1 開始計(jì)數(shù)的當(dāng)前輪次 total_rounds: 總輪次 N n_variables: 初始變量總數(shù) min_variables: 計(jì)劃最終保留的最小變量數(shù) # 指數(shù)衰減保留率按輪次比例指數(shù)下降 ratio (min_variables / n_variables) ** (current_round / total_rounds) return ratio # 每輪保留變量數(shù) 當(dāng)前變量數(shù) * ratio向下取整 # 典型運(yùn)行軌跡從 1000 個變量出發(fā)50 輪后計(jì)劃保留約 30 個這里面的min_variables是個超參數(shù)一般取2到10之間的值。它并不代表最終一定保留那么多變量而是給EDF一個收斂錨點(diǎn)讓衰減曲線有末端約束。如果設(shè)得太小比如1衰減曲線過于陡峭可能在第30輪就把變量數(shù)壓到個位數(shù)后面的輪次完全退化成矮子里拔將軍如果設(shè)得偏大比如50衰減又太緩前幾輪幾乎沒什么淘汰效果計(jì)算開銷增大。3.2 強(qiáng)制淘汰與自適應(yīng)重加權(quán)一只腳剎車、一只腳油門EDF決定的是保留多少個——這是剎車ARS決定的是保留哪一些——這是油門。兩者必須配合起來才能讓迭代正常推進(jìn)。強(qiáng)制淘汰是硬約束即使某個變量之前一直權(quán)重很高一旦EDF的保留變量數(shù)小于當(dāng)前變量數(shù)權(quán)重最低的那一截會被直接移除。這個步驟保證了變量子集規(guī)模的單調(diào)遞減是算法收斂的剎車。自適應(yīng)重加權(quán)采樣是軟操作變量不是簡單地按權(quán)重比例被抽中而是要經(jīng)過一個非均勻采樣過程。具體做法是把保留下來的變量按權(quán)重歸一化每個變量的被抽中概率等于其權(quán)重占總權(quán)重的比例然后從這個概率分布里做放回抽樣抽出的變量集合作為下一輪輸入。這一步是油門——它讓權(quán)重高的變量在下一輪里被重復(fù)選中從而增加其出鏡率權(quán)重低的變量也有機(jī)會被抽到避免了重要變量被一步錯殺。用一句話概括強(qiáng)制淘汰篩掉確定不行的隨機(jī)重加權(quán)篩掉概率上不行的。前者是規(guī)則驅(qū)動后者是概率驅(qū)動。3.3 權(quán)重歸一化與相關(guān)性保持還有一個經(jīng)常被忽略的細(xì)節(jié)CARS的隨機(jī)抽樣是放回式的。放回意味著同一變量可以在一次抽樣中被抽到多次這相當(dāng)于變相提高了該變量在下一輪中的權(quán)重。疊加上權(quán)重歸一化高權(quán)重變量的影響力會被進(jìn)一步放大。很多人第一次看CARS會覺得奇怪為什么要放回放回不會導(dǎo)致變量重復(fù)嗎實(shí)際上放回恰恰是CARS保護(hù)協(xié)同變量組的手段。在光譜數(shù)據(jù)里一個有效變量往往與其附近波長的變量高度相關(guān)它們是作為一個模塊共同發(fā)揮作用的。如果抽樣改成不放回那么當(dāng)某個模塊里的多個變量被抽走后模塊的整體貢獻(xiàn)會被削弱而放回抽樣允許模塊里的關(guān)鍵成員被多次選中保持模塊在下一輪模型中的結(jié)構(gòu)完整性。理解到這一層CARS和普通逐步回歸的差別就更清晰了逐步回歸靠統(tǒng)計(jì)檢驗(yàn)決定變量的去留而CARS靠的是加權(quán)隨機(jī)抽樣帶來的模塊級選擇壓力。這種機(jī)制在變量高度共線性的光譜數(shù)據(jù)里特別有效因?yàn)樗恍枰A(yù)先判斷變量之間的相關(guān)結(jié)構(gòu)算法自己會在競爭中自發(fā)地保留那些互相支撐的變量組。4. 從采樣到收斂CARS完整流程的機(jī)制拆解4.1 運(yùn)行階段N輪循環(huán)里發(fā)生了什么把前兩章的機(jī)制拼起來CARS的完整運(yùn)行流程可以拆成五個步驟每輪迭代都走一遍從校正集樣本中隨機(jī)抽取一份子集約80%。用該子集建立PLS模型得到每個變量的回歸系數(shù)。取回歸系數(shù)絕對值作為變量權(quán)重。用EDF計(jì)算本輪變量保留數(shù)強(qiáng)制淘汰權(quán)重最低的變量。在保留變量中按權(quán)重做自適應(yīng)重加權(quán)采樣生成下一輪的變量子集。迭代N輪之后算法會得到一個輪次→變量子集的軌跡。每一輪對應(yīng)的變量子集都能重新建立PLS模型并用交叉驗(yàn)證評估預(yù)測能力。CARS最后做的事情是用交叉驗(yàn)證去評估每一輪產(chǎn)生的變量子集所建立模型的RMSECV選RMSECV最小的那一輪作為最優(yōu)變量子集。這里的關(guān)鍵是最優(yōu)變量子集往往不是最后那一輪。原因在于EDF在最后幾輪會把變量數(shù)壓到很小的規(guī)模此時已經(jīng)出現(xiàn)欠擬合——變量子集漏掉了某些必要的協(xié)同信息。所以CARS的價值不是收斂到某個終點(diǎn)而是在收斂路徑上找到一個最佳停留點(diǎn)。4.2 主循環(huán)實(shí)現(xiàn)與參數(shù)含義下面給出一個結(jié)構(gòu)完整的CARS主循環(huán)包含EDF、強(qiáng)制淘汰和ARS三個核心步驟import numpy as np from sklearn.cross_decomposition import PLSRegression from sklearn.model_selection import cross_val_predict from sklearn.metrics import mean_squared_error def cars(X, y, total_rounds50, sample_ratio0.8, min_variables3, n_components5): n_samples, n_vars X.shape current_idx np.arange(n_vars) # 當(dāng)前變量索引 results [] # 每一輪的變量子集與RMSEcv for i in range(1, total_rounds 1): # 1. 蒙特卡洛采樣隨機(jī)抽樣本 sampled_rows np.random.choice(n_samples, int(n_samples * sample_ratio), replaceFalse) X_s X[sampled_rows][:, current_idx] y_s y[sampled_rows] # 2. 建立PLS模型取回歸系數(shù)絕對值作為權(quán)重 pls PLSRegression(n_componentsn_components) pls.fit(X_s, y_s) coef np.abs(pls.coef_.ravel()) # 3. EDF計(jì)算保留比例得到本輪的保留變量數(shù) ratio (min_variables / n_vars) ** (i / total_rounds) retain_count max(int(len(coef) * ratio), 1) # 4. 強(qiáng)制淘汰只保留權(quán)重最高的 retain_count 個變量 top_idx np.argsort(coef)[::-1][:retain_count] selected current_idx[top_idx] # 5. 自適應(yīng)重加權(quán)采樣按權(quán)重放回抽樣 weights coef[top_idx] / (coef[top_idx].sum()) sampled np.random.choice(selected, sizelen(selected), pweights, replaceTrue) current_idx np.unique(sampled) # 去重后作為下一輪變量集 # 用當(dāng)前變量子集做交叉驗(yàn)證評估 cv_pred cross_val_predict(PLSRegression(n_componentsn_components), X[:, current_idx], y, cv5) rmsecv mean_squared_error(y, cv_pred) ** 0.5 results.append((rmsecv, current_idx.copy())) # 選 RMSECV 最小的輪次作為最終變量子集 best min(results, keylambda r: r[0]) return best[1], best[0]幾個需要注意的參數(shù)細(xì)節(jié)sample_ratio是單輪采樣的樣本比例對模型穩(wěn)定性影響很大total_rounds是總迭代次數(shù)一般50到100之間min_variables是EDF的末端錨點(diǎn)不能單獨(dú)看要和total_rounds一起調(diào)節(jié)。第5步里np.unique去重是必要的否則放回抽樣可能讓下一輪變量數(shù)膨脹導(dǎo)致EDF無法按預(yù)期控制規(guī)模。這段代碼也暴露了CARS的一個典型短板每一輪都要重新訓(xùn)練PLS并進(jìn)行交叉驗(yàn)證計(jì)算量不小。對于光譜數(shù)據(jù)動輒幾千個變量、幾百個樣本來說跑50輪通常還好如果數(shù)據(jù)規(guī)模更大建議用并行方式將各輪的交叉驗(yàn)證分散到多個計(jì)算單元上。4.3 交叉驗(yàn)證與最終選擇輪次軌跡有什么價值CARS最終的輸出并不是一個普通的變量列表而是一個帶評估記錄的軌跡。這個軌跡信息非常有用第一它可以告訴你模型從過擬合到欠擬合的變化過程。最早的幾輪變量最多、模型最容易過擬合中間的輪次變量數(shù)適中RMSECV往往最低最后幾輪變量太少RMSECV重新上升。畫出輪次→RMSECV的曲線你會非常直觀地看到什么規(guī)模的變量子集對這組數(shù)據(jù)是甜蜜點(diǎn)。第二它可以幫你識別不穩(wěn)定變量。如果一個變量在多輪次中都出現(xiàn)在變量子集里說明它是穩(wěn)定重要的如果某變量只在個別輪次出現(xiàn)且其后迅速消失說明它權(quán)重不高、可有可無。實(shí)踐中運(yùn)行多次CARS統(tǒng)計(jì)每個變量被選中的頻率挑選出現(xiàn)頻率高的變量組成最終集合是一種比單次運(yùn)行更穩(wěn)健的做法。第三輪次曲線的形狀還能用來判斷潛變量數(shù)n_components設(shè)得是否合理。如果曲線非常平坦、所有輪次的RMSECV都差不多說明潛變量數(shù)選擇不當(dāng)模型沒有充分利用變量信息如果曲線在中間輪次出現(xiàn)明顯低谷則說明潛變量數(shù)設(shè)置是合適的。5. CARS實(shí)踐避坑變量篩選中的常見問題與排查5.1 每次運(yùn)行選出的變量都不一樣現(xiàn)象同一份數(shù)據(jù)、同樣的參數(shù)連續(xù)跑三次CARS三次選出的變量子集重合度不到一半。原因CARS每一輪都做蒙特卡洛采樣隨機(jī)性從第一輪就開始累積。如果total_rounds取得偏小比如20輪隨機(jī)偏差還沒有被充分平均掉最終結(jié)果會高度依賴初始抽樣的運(yùn)氣。解決把total_rounds提到50以上并多次運(yùn)行取變量出現(xiàn)頻率。具體做法是先跑10次CARS統(tǒng)計(jì)每個變量被選中的次數(shù)再按出現(xiàn)頻率排序選出高頻變量。留意一個邊界情況如果樣本量本來就只有40、50個抽樣比例0.8會讓每輪僅抽30多個樣本此時建議降低total_rounds、提高sample_ratio到0.85以上避免樣本代表性不足。5.2 先標(biāo)準(zhǔn)化還是先跑CARS現(xiàn)象CARS選出的變量集中在中高頻波長段而低頻段幾乎沒有變量被選中模型效果卻很差。原因不同波段的信號強(qiáng)度差異很大。CARS的權(quán)重基于PLS回歸系數(shù)絕對值如果原始光譜沒有做過標(biāo)準(zhǔn)化數(shù)值大的波段天然會獲得更高權(quán)重算法傾向保留數(shù)值大的變量而不是貢獻(xiàn)大的變量。解決先對光譜數(shù)據(jù)做均值中心化或方差標(biāo)準(zhǔn)化再運(yùn)行CARS。均值中心化通常就夠了因?yàn)镻LS本身對數(shù)據(jù)的列中心化有天然需求如果數(shù)據(jù)量綱差異極端再疊加方差標(biāo)準(zhǔn)化。經(jīng)驗(yàn)上標(biāo)準(zhǔn)化的操作必須在劃分校正集和測試集之前統(tǒng)一完成避免數(shù)據(jù)泄漏。5.3 校正集和測試集劃分時機(jī)不對現(xiàn)象CARS在訓(xùn)練數(shù)據(jù)上選出的變量表現(xiàn)很好但在獨(dú)立測試集上誤差翻倍。原因如果先把全部樣本混在一起做CARS再劃分校正集和測試集變量選擇過程已經(jīng)把測試集的信息泄漏進(jìn)了模型的選變量階段。這屬于典型的后選擇偏差變量選擇時的交叉驗(yàn)證結(jié)果虛高真實(shí)泛化能力遠(yuǎn)低于預(yù)期。解決嚴(yán)格按照先劃分、后篩選的流程先把數(shù)據(jù)按7:3或8:2切成校正集和測試集只在校正集上運(yùn)行CARS選出的變量固定后再用相同的變量索引去提取測試集特征。CARS的變量選擇結(jié)果不能因?yàn)榧尤肓藴y試集樣本而重新計(jì)算。5.4 RMSECV最小的輪次太多無法區(qū)分現(xiàn)象RMSECV曲線在很長一段范圍內(nèi)非常接近最小值前后的輪次波動差別很小難以判斷哪一輪是真正最優(yōu)。原因變量子集之間的預(yù)測能力差異可能很小交叉驗(yàn)證本身的隨機(jī)波動就已經(jīng)掩蓋了差異。這種情況在共線性嚴(yán)重、變量數(shù)接近的情況下很常見。解決優(yōu)先選變量數(shù)更少的那一輪因?yàn)槟Ｐ透啙?、更容易部署和解釋。另外可以配合變量出現(xiàn)頻率選同時滿足RMSECV接近最優(yōu)和變量出現(xiàn)頻率高的子集。提示CARS選出的變量子集必須經(jīng)過再驗(yàn)證。用選出的變量重新建立PLS模型在測試集上計(jì)算RMSEP和全變量模型對比確認(rèn)變量篩選確實(shí)帶來了泛化性能提升才算走完完整流程。5.5 數(shù)據(jù)量太小導(dǎo)致PLS擬合失敗現(xiàn)象某輪迭代時PLS模型無法收斂報出線性代數(shù)相關(guān)的錯誤。原因蒙特卡洛抽樣后參與建模的樣本數(shù)可能少于潛變量數(shù)或在某些變量組合下設(shè)計(jì)矩陣接近奇異導(dǎo)致矩陣求逆失敗。解決檢查n_components是否小于抽樣樣本數(shù)的三分之一提前對抽樣后的矩陣做條件數(shù)檢查如果條件數(shù)過大跳過該輪或重新抽樣。更根本的做法是在數(shù)據(jù)預(yù)處理階段先做簡單的無信息變量剔除把明顯是純噪聲的波長提前刪掉減少CARS在高危區(qū)域掙扎的概率。6. 設(shè)計(jì)取舍為什么CARS選擇競爭而不是貪心把CARS和同類算法擺在一起會看到一條清晰的設(shè)計(jì)取舍線。逐步回歸、向前選擇這類貪心算法試圖在每一步做出當(dāng)前最優(yōu)的決定每步精準(zhǔn)砍掉一個或幾個變量參數(shù)少、可解釋性強(qiáng)但它們對變量的共線性極度敏感兩個相關(guān)性極高的變量貪心算法會先選一個然后再也無法公正評估另一個的獨(dú)立貢獻(xiàn)。CARS用隨機(jī)性和競爭繞開了這個問題——它不在每一步做最優(yōu)決策而是讓多個變量在反復(fù)競爭中自發(fā)分層重要變量自然留在高頻區(qū)冗余變量被隨機(jī)淘汰。這個選擇是有代價的CARS的隨機(jī)性導(dǎo)致單次運(yùn)行結(jié)果不可完全復(fù)現(xiàn)必須靠多次運(yùn)行或調(diào)大N來換取穩(wěn)定。相比貪心算法的一次性確定輸出CARS像是一種統(tǒng)計(jì)式的變量選擇它的結(jié)果本質(zhì)上是一個概率分布而不是一個唯一答案。我個人的使用習(xí)慣是把CARS當(dāng)作變量預(yù)篩器而非最終決策器。先用CARS把變量從上千壓到幾十再用簡單的手工推理或逐步回歸從幾十里挑出最終的十幾二十個。這樣既利用了CARS對共線性的容忍又保留了貪心算法在最后階段的確定性。另一個值得想的設(shè)計(jì)點(diǎn)是EDF的強(qiáng)制性。為什么不讓權(quán)重直接決定去留而要額外加一個指數(shù)衰減的外力因?yàn)榧儼礄?quán)重隨機(jī)抽樣變量的淘汰速度會很慢而且方差大EDF給了整個迭代一個時間表讓變量數(shù)在第N輪之前收斂到用戶預(yù)設(shè)的尺度。這個外力看似粗暴其實(shí)是對隨機(jī)過程的一種正則化——它保證了收斂速度也讓何時停止這個問題擺脫了對權(quán)重閾值的主觀設(shè)定。從那以后我每次跑CARS都會做三件事先畫RMSECV曲線看收斂節(jié)奏多跑幾次統(tǒng)計(jì)頻率再用最終變量子集做一次獨(dú)立的測試集驗(yàn)證。這套流程每次都能幫我把變量從混亂的物理信號里撈出來。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取