1. 先摸清業(yè)務(wù)流失預(yù)測(cè)到底在解決什么問題接手電信客戶流失預(yù)測(cè)這類項(xiàng)目很多人第一反應(yīng)就是找數(shù)據(jù)集、跑模型、調(diào)參出準(zhǔn)確率。我之前做過一個(gè)運(yùn)營商側(cè)的流失預(yù)警項(xiàng)目踩過不少坑之后發(fā)現(xiàn)第一步根本不是建模而是把“流失”這件事從業(yè)務(wù)上定義清楚。在客戶關(guān)系管理里流失預(yù)測(cè)本質(zhì)上是一個(gè)二分類問題給定一個(gè)用戶在某個(gè)時(shí)間窗口內(nèi)的行為數(shù)據(jù)預(yù)測(cè)他在下一個(gè)時(shí)間窗口內(nèi)是否會(huì)離開。電信行業(yè)的流失有兩個(gè)典型特征一是流失成本極高運(yùn)營商獲取一個(gè)新客戶的成本通常是維系老客戶的5到8倍二是客戶一旦離網(wǎng)再拉回來的難度非常大。所以業(yè)務(wù)方真正關(guān)心的是能不能在客戶還沒走之前提前識(shí)別出高流失風(fēng)險(xiǎn)群體用有限的營銷資源去重點(diǎn)挽留。這個(gè)項(xiàng)目選擇決策樹作為核心模型不是因?yàn)樗睢俺薄倍且驗(yàn)殡娦艌?chǎng)景里可解釋性往往比準(zhǔn)確率更值錢。運(yùn)營人員需要知道“為什么這個(gè)客戶會(huì)流失”需要能向管理層解釋“模型靠什么判斷”決策樹天然滿足這個(gè)需求。它輸出的是if-then規(guī)則比如“月消費(fèi)超過200元但流量使用率低于60%的客戶流失概率是平均值的2.3倍”這種話術(shù)業(yè)務(wù)方能直接聽懂、直接落地。項(xiàng)目的整體目標(biāo)可以拆成三層第一層搭建一套可復(fù)用的流失預(yù)測(cè)流程從數(shù)據(jù)清洗到模型評(píng)估完整跑通。第二層用決策樹模型輸出高流失風(fēng)險(xiǎn)客戶名單并提供規(guī)則解釋。第三層結(jié)合營銷資源給出分層挽留策略的建議而不只是給一個(gè)“流失概率”的數(shù)字。評(píng)估口徑也要提前對(duì)齊。運(yùn)營商內(nèi)部通常用“次月離網(wǎng)率”作為業(yè)務(wù)口徑也就是當(dāng)月還在網(wǎng)、次月辦理銷戶或轉(zhuǎn)網(wǎng)的用戶占比。模型層面則用精確率、召回率、F1值和AUC這幾個(gè)指標(biāo)綜合判斷其中召回率在這個(gè)場(chǎng)景里優(yōu)先級(jí)最高。原因很簡單漏掉一個(gè)真正會(huì)流失的客戶代價(jià)是徹底失去這個(gè)客戶而誤判一個(gè)不會(huì)流失的客戶最多只是多花一條營銷短信的錢。搞清楚這些問題之后才開始碰數(shù)據(jù)。下面把整個(gè)項(xiàng)目的實(shí)操過程拆開來講包括數(shù)據(jù)怎么處理、模型怎么調(diào)、結(jié)果怎么落地以及中間踩過的幾個(gè)典型坑。2. 數(shù)據(jù)準(zhǔn)備與特征工程建模前最花時(shí)間的環(huán)節(jié)2.1 原始數(shù)據(jù)長什么樣哪些字段真正有用電信數(shù)據(jù)集里常見的字段一般分四類。第一類是用戶靜態(tài)屬性比如入網(wǎng)時(shí)長、年齡、性別、所在地區(qū)、套餐類型第二類是消費(fèi)行為數(shù)據(jù)比如月消費(fèi)金額、充值金額、欠費(fèi)次數(shù)、流量使用量、通話時(shí)長第三類是服務(wù)交互數(shù)據(jù)比如撥打客服電話次數(shù)、投訴次數(shù)、維修工單數(shù)量第四類是套餐使用情況比如套餐飽和度、流量超出量、語音超出量。這四類數(shù)據(jù)里權(quán)重最高的往往是入網(wǎng)時(shí)長、消費(fèi)金額波動(dòng)、投訴次數(shù)和流量飽和度而不是年齡、性別這類人口統(tǒng)計(jì)字段。從業(yè)務(wù)邏輯上理解也很通順一個(gè)用了8年的老用戶離網(wǎng)成本高忠誠度天然比半年內(nèi)新入網(wǎng)的用戶高一個(gè)月消費(fèi)從200突然掉到80的用戶往往已經(jīng)在“試探性離網(wǎng)”投訴次數(shù)多的用戶說明他對(duì)服務(wù)不滿意但同時(shí)也說明他還在意這個(gè)號(hào)碼、還愿意反饋問題這類用戶反而是挽留成功率最高的。原始數(shù)據(jù)里常見的問題是臟數(shù)據(jù)和缺失值。比如“充值金額”字段存在大量0值要區(qū)分是“用戶確實(shí)沒充值”還是“數(shù)據(jù)沒采集到”“入網(wǎng)時(shí)長”有的記錄是按天、有的是按月需要統(tǒng)一口徑“投訴內(nèi)容”是文本初期建模一般不直接用文本而是先轉(zhuǎn)換成“投訴次數(shù)”“投訴類型數(shù)”這類數(shù)值特征。2.2 特征工程的幾個(gè)關(guān)鍵處理思路特征工程在整個(gè)項(xiàng)目里花的精力最多也最影響最終效果。我一般按下面幾條線處理第一缺失值處理。數(shù)值型字段用中位數(shù)填充類別型字段用眾數(shù)填充。有業(yè)務(wù)含義的字段要謹(jǐn)慎比如“停機(jī)次數(shù)”如果缺失很可能意味著該用戶從未停機(jī)直接填0比填中位數(shù)更合理。第二類別特征編碼。套餐類型、地區(qū)這類字段決策樹模型用標(biāo)簽編碼就夠了。不建議對(duì)高基數(shù)類別做獨(dú)熱編碼比如地區(qū)有15個(gè)取值獨(dú)熱編碼會(huì)生成15個(gè)稀疏列樹模型的分裂效率反而下降還容易把模型帶偏。第三連續(xù)變量分箱。決策樹本身會(huì)自動(dòng)尋找切分點(diǎn)但把“消費(fèi)金額”這種連續(xù)變量原始值直接喂進(jìn)去模型容易偏向數(shù)值較大的特征導(dǎo)致過擬合。實(shí)操中我會(huì)對(duì)明顯偏態(tài)的變量先做分箱比如將月消費(fèi)金額按業(yè)務(wù)經(jīng)驗(yàn)劃分為低段、中段、高段、超高段分箱后模型更穩(wěn)定解釋性也更好。第四構(gòu)造衍生特征。這是拉開模型效果差距的地方。我常用的衍生特征有幾個(gè)消費(fèi)金額環(huán)比變化率計(jì)算公式是當(dāng)月消費(fèi)減去前三個(gè)月均值再除以前三個(gè)月均值套餐飽和度用實(shí)際使用量除以套餐包含量投訴響應(yīng)及時(shí)性判斷投訴后是否在限定時(shí)間內(nèi)得到處理。這些特征反映的是“變化趨勢(shì)”和“體驗(yàn)結(jié)果”對(duì)流失行為的預(yù)測(cè)能力非常強(qiáng)。2.3 樣本不平衡問題流失客戶太少怎么辦電信數(shù)據(jù)里有一個(gè)很現(xiàn)實(shí)的問題流失用戶占比通常只有5%到10%剩下90%以上都是未流失用戶。如果直接建模模型會(huì)學(xué)到“只要把所有人都預(yù)測(cè)為不流失準(zhǔn)確率就有90%以上”但這毫無業(yè)務(wù)價(jià)值。處理樣本不平衡我建議不要一上來就做SMOTE先分清楚場(chǎng)景。樹模型對(duì)類別不平衡不那么敏感真正問題在于評(píng)估時(shí)如果用準(zhǔn)確率會(huì)被嚴(yán)重誤導(dǎo)。我在這個(gè)項(xiàng)目里的做法是保留原始不平衡分布來訓(xùn)練但在評(píng)估時(shí)用召回率、精確率、F1值而不是準(zhǔn)確率。同時(shí)在預(yù)測(cè)輸出階段調(diào)整分類閾值不默認(rèn)用0.5而是用驗(yàn)證集上的P-R曲線去找合適的閾值讓召回率與精確率達(dá)到業(yè)務(wù)想要的平衡點(diǎn)。如果數(shù)據(jù)量足夠大也可以通過欠采樣讓正負(fù)樣本比例達(dá)到1:3或1:5。但要注意欠采樣會(huì)丟棄大量信息樹模型的深度和葉節(jié)點(diǎn)樣本數(shù)都要相應(yīng)調(diào)小否則容易過擬合到少數(shù)樣本上。2.4 特征選擇的經(jīng)驗(yàn)判斷決策樹自帶特征重要性排序但特征重要性存在偏差數(shù)值型特征和多取值特征容易被高估。所以我通常先用一個(gè)粗略的樹模型看重要性排序再結(jié)合業(yè)務(wù)經(jīng)驗(yàn)核對(duì)一遍。如果某個(gè)特征重要性很高但業(yè)務(wù)上解釋不通就要懷疑是數(shù)據(jù)泄漏。比如“是否已辦理銷戶預(yù)約”“當(dāng)月是否停機(jī)超過30天”這類特征本質(zhì)上已經(jīng)是流失結(jié)果了絕不能放進(jìn)訓(xùn)練特征里。這一點(diǎn)我在剛做項(xiàng)目時(shí)踩過坑后來每次都會(huì)專門排查這類“未來信息”。3. 決策樹建模的實(shí)現(xiàn)過程從原理到調(diào)參3.1 決策樹的切分邏輯用生活類比講清楚決策樹算法本身不復(fù)雜核心思想就是“不斷提問把數(shù)據(jù)分開”。比如判斷一個(gè)用戶會(huì)不會(huì)流失第一個(gè)問題可以是“入網(wǎng)時(shí)長大于等于12個(gè)月嗎”如果是走左分支如果不是走右分支。然后每個(gè)分支再問下一個(gè)問題直到最終葉節(jié)點(diǎn)里大部分樣本屬于同一個(gè)類別。關(guān)鍵是“每次提問該問什么”。這個(gè)問題由純度的指標(biāo)來決定。分類決策樹常見的兩個(gè)指標(biāo)是信息增益和基尼系數(shù)。信息增益的計(jì)算基于熵熵越大表示數(shù)據(jù)越混亂?；嵯禂?shù)則直接度量“從集合中隨機(jī)抽兩個(gè)樣本類別不一致的概率”。實(shí)際工程里CART樹的默認(rèn)指標(biāo)就是基尼系數(shù)計(jì)算更快、效果也不差。sklearn里的DecisionTreeClassifier默認(rèn)就是criteriongini一般不需要改。每次選擇切分點(diǎn)的時(shí)候算法會(huì)遍歷每個(gè)特征的每個(gè)取值計(jì)算分裂前后的基尼系數(shù)變化量選擇下降最大的那個(gè)特征和閾值作為本次分裂。這個(gè)過程會(huì)一直遞歸下去直到觸發(fā)停止條件。3.2 關(guān)鍵參數(shù)詳解別再盲目用默認(rèn)值決策樹最容易出的問題就是過擬合。默認(rèn)參數(shù)下節(jié)點(diǎn)可以一直分裂到每個(gè)葉子只剩一個(gè)樣本模型會(huì)把訓(xùn)練集全部記住但一遇到新數(shù)據(jù)就“失靈”。我用的參數(shù)設(shè)置一般是這樣max_depth最大深度控制在5到8之間。深度太淺欠擬合深度太深過擬合。電信數(shù)據(jù)維度一般不算高深度8基本足夠。min_samples_split內(nèi)部節(jié)點(diǎn)再分裂所需最小樣本數(shù)設(shè)為總樣本量的0.1%到1%。樣本量是5萬時(shí)這個(gè)值可以設(shè)50到500。min_samples_leaf葉節(jié)點(diǎn)最小樣本數(shù)這個(gè)參數(shù)比min_samples_split更重要建議設(shè)為總樣本的0.05%到0.2%。它直接保證每個(gè)葉節(jié)點(diǎn)有足夠樣本支撐防止學(xué)到噪聲。max_features每次分裂考慮的特征數(shù)默認(rèn)是全部但當(dāng)特征數(shù)超過30時(shí)可以設(shè)為sqrt(n_features)增加隨機(jī)性、降低過擬合。ccp_alpha成本復(fù)雜度剪枝參數(shù)這個(gè)參數(shù)用來做后剪枝比單純限制樹的生長更精細(xì)。先跑一個(gè)小的alpha序列畫出驗(yàn)證集評(píng)分隨alpha變化的曲線選評(píng)分開始下降點(diǎn)對(duì)應(yīng)的alpha值。調(diào)參的時(shí)候我建議分兩步走第一步先固定max_depth和min_samples_leaf用網(wǎng)格搜索找組合第二步再對(duì)ccp_alpha做一輪細(xì)調(diào)。不要五六個(gè)參數(shù)一起搜計(jì)算成本高、還容易過擬合驗(yàn)證集。3.3 訓(xùn)練集與驗(yàn)證集的劃分細(xì)節(jié)數(shù)據(jù)集劃分這個(gè)環(huán)節(jié)看起來簡單但有幾個(gè)細(xì)節(jié)直接關(guān)系到模型能不能真實(shí)反映效果。第一要按時(shí)間切分而不是隨機(jī)切分。流失預(yù)測(cè)的數(shù)據(jù)天然有先后順序用前幾個(gè)月做訓(xùn)練、最后一個(gè)月做驗(yàn)證最貼近真實(shí)業(yè)務(wù)節(jié)奏。如果隨機(jī)切分會(huì)造成“用未來預(yù)測(cè)過去”的泄漏。第二切分時(shí)要用分層抽樣保持訓(xùn)練集和驗(yàn)證集里流失用戶的比例基本一致。第三調(diào)參要基于驗(yàn)證集不要反復(fù)在測(cè)試集上試否則測(cè)試集信息會(huì)泄漏進(jìn)超參數(shù)選擇。最后可以留20%的數(shù)據(jù)作為最終的測(cè)試集只在全部流程定下來之后跑一次。3.4 一個(gè)典型建模過程的簡化代碼示例下面給出一個(gè)簡化但完整的決策樹建模代碼示例基于常見工具庫sklearn實(shí)現(xiàn)。import pandas as pd from sklearn.model_selection import train_test_split from sklearn.tree import DecisionTreeClassifier from sklearn.metrics import classification_report, confusion_matrix, roc_auc_score # 加載特征數(shù)據(jù)假設(shè)已經(jīng)過特征工程 data pd.read_csv(telecom_user_features.csv) X data.drop(columns[user_id, churn_label]) y data[churn_label] # 按時(shí)間切分前80%訓(xùn)練后20%驗(yàn)證 X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, stratifyy, random_state42 ) # 初始化決策樹參數(shù)先給一組經(jīng)驗(yàn)值 model DecisionTreeClassifier( max_depth6, min_samples_split200, min_samples_leaf100, criteriongini, random_state42 ) model.fit(X_train, y_train) # 預(yù)測(cè)概率注意用的是predict_proba不是predict y_proba model.predict_proba(X_test)[:, 1] # 評(píng)估 print(roc_auc_score(y_test, y_proba))注意我在評(píng)估時(shí)用的是預(yù)測(cè)概率而不是預(yù)測(cè)類別。決策樹輸出的概率本身就是“葉子節(jié)點(diǎn)中正類樣本占比”這個(gè)值可以直接用來排序名單。預(yù)測(cè)類別只是把概率和閾值比較后的結(jié)果而閾值選擇本身就是業(yè)務(wù)決策的一部分。4. 模型評(píng)估與結(jié)果解讀準(zhǔn)確率很高不代表模型能用4.1 混淆矩陣和關(guān)鍵指標(biāo)怎么看才不漏信息業(yè)務(wù)方初看報(bào)告時(shí)最容易問的一句話是“準(zhǔn)確率多少”但如果流失用戶只占8%準(zhǔn)確率90%甚至95%都說明不了問題。我每次給運(yùn)營看結(jié)果第一張圖永遠(yuǎn)是混淆矩陣。好的分析師不會(huì)只看“預(yù)測(cè)正確率”而是看四個(gè)格子真正例預(yù)測(cè)會(huì)流失、實(shí)際也流失了——這是模型抓到的“真流失客戶”。假正例預(yù)測(cè)會(huì)流失、實(shí)際沒流失——這部分會(huì)被浪費(fèi)營銷資源。真負(fù)例預(yù)測(cè)不流失、實(shí)際也沒流失——大部隊(duì)正常經(jīng)營。假負(fù)例預(yù)測(cè)不流失、實(shí)際卻流失了——這是最需要關(guān)注的漏網(wǎng)之魚。基于混淆矩陣精確率真正例/(真正例假正例)召回率真正例/(真正例假負(fù)例)。流失預(yù)警項(xiàng)目的業(yè)務(wù)目標(biāo)通常是在可接受精確率的前提下最大化召回率。比如運(yùn)營資源只夠覆蓋20%的用戶那就按模型輸出的概率降序取前20%這時(shí)候看這20%名單里實(shí)際流失客戶的覆蓋率是多少。AUCROC曲線下面積是一個(gè)更整體的指標(biāo)衡量模型區(qū)分正負(fù)樣本的能力0.5等于隨機(jī)猜0.8以上算有可用價(jià)值。決策樹在這個(gè)場(chǎng)景里一般能做到0.75到0.85之間如果超過0.9反而要警惕很可能是特征泄漏。我做過一個(gè)對(duì)比實(shí)驗(yàn)同一份數(shù)據(jù)里邏輯回歸AUC約0.78決策樹約0.81隨機(jī)森林約0.85。決策樹效果略遜于隨機(jī)森林但最終業(yè)務(wù)采用了決策樹因?yàn)殡S機(jī)森林完全無法解釋“為什么”。這個(gè)取舍在真實(shí)項(xiàng)目里非常重要。4.2 決策樹的特征重要度怎么用訓(xùn)練完成后直接輸出了特征重要度排序。印象里排名靠前的特征依次是消費(fèi)金額環(huán)比變化率、入網(wǎng)時(shí)長、投訴次數(shù)、套餐飽和度、當(dāng)月停機(jī)天數(shù)。這個(gè)排序和業(yè)務(wù)經(jīng)驗(yàn)的預(yù)期高度一致。消費(fèi)金額環(huán)比變化率排第一業(yè)務(wù)邏輯非常清晰一個(gè)用戶如果從月消費(fèi)200元降到80元基本就是在“降檔測(cè)試”甚至準(zhǔn)備離網(wǎng)。入網(wǎng)時(shí)長排在第二也符合常識(shí)。真正有意思的是投訴次數(shù)高投訴用戶流失率反而低于不投訴的用戶因?yàn)橥对V說明用戶還想留在網(wǎng)內(nèi)只是對(duì)某個(gè)問題不滿那些不投訴、直接沉默流失的用戶反而更危險(xiǎn)。特征重要度還可以用來做特征篩選。我在后續(xù)迭代中去掉重要度排名后30%的特征重新訓(xùn)練AUC幾乎沒下降但模型穩(wěn)定性和上線速度明顯提升。無用特征不僅增加計(jì)算開銷還會(huì)給模型引入噪聲。4.3 樹的可視化和業(yè)務(wù)規(guī)則轉(zhuǎn)化決策樹最大的競(jìng)爭力在于可視化。把訓(xùn)練好的樹導(dǎo)出成圖直接打印出來貼墻都行。樹的每個(gè)分支都能翻譯成一條業(yè)務(wù)規(guī)則如果入網(wǎng)時(shí)長 6個(gè)月 且 消費(fèi)金額環(huán)比變化率 -30% 且 投訴次數(shù) 1 那么: 流失概率 45%是整體平均水平(8%)的5.6倍這種規(guī)則可以直接交給客服團(tuán)隊(duì)做針對(duì)性話術(shù)設(shè)計(jì)。比如看到“入網(wǎng)時(shí)長短話費(fèi)驟降有過投訴”這三個(gè)條件客服就知道這是個(gè)新用戶因?yàn)橘Y費(fèi)或者網(wǎng)絡(luò)問題不滿已經(jīng)明顯減少消費(fèi)了需要盡快聯(lián)系、給出優(yōu)惠方案。樹的每一層都在自動(dòng)做客戶分群分群結(jié)果就是運(yùn)營策略的輸入。5. 業(yè)務(wù)落地與策略優(yōu)化模型不只是給個(gè)概率5.1 流失預(yù)警名單的分層運(yùn)營模型輸出結(jié)果之后我不會(huì)直接把所有高概率用戶打包給運(yùn)營而是先做分層。分層維度不是概率本身而是“概率”和“客戶價(jià)值”的組合高價(jià)值高風(fēng)險(xiǎn)優(yōu)先挽留用高成本手段專屬客服、優(yōu)惠套餐調(diào)整、免費(fèi)贈(zèng)送流量包。低價(jià)值高風(fēng)險(xiǎn)低成本手段短信推送、App彈窗優(yōu)惠預(yù)算有限時(shí)甚至可以放棄。高價(jià)值低風(fēng)險(xiǎn)維持服務(wù)不主動(dòng)打擾提前布局續(xù)約方案。低價(jià)值低風(fēng)險(xiǎn)常規(guī)觸達(dá)即可?？蛻魞r(jià)值可以用近三個(gè)月的ARPU每用戶平均收入或套餐檔位來定義。把模型輸出的風(fēng)險(xiǎn)分?jǐn)?shù)和價(jià)值分?jǐn)?shù)交叉成一個(gè)2x2矩陣運(yùn)營就很容易執(zhí)行了。5.2 從決策樹抽取規(guī)則指導(dǎo)挽留動(dòng)作決策樹還能支持一個(gè)非常有價(jià)值的輸出按葉節(jié)點(diǎn)提煉客戶畫像。我把訓(xùn)練后的樹的每個(gè)葉子都統(tǒng)計(jì)一遍輸出以下信息該葉節(jié)點(diǎn)覆蓋的客戶數(shù)量、流失率、平均月消費(fèi)、平均在網(wǎng)時(shí)長、主要套餐類型。然后從這些結(jié)果中挑選出“覆蓋人數(shù)多且流失率顯著偏高”的節(jié)點(diǎn)作為重點(diǎn)運(yùn)營對(duì)象。實(shí)際項(xiàng)目中我們找到了一個(gè)這樣的葉子月消費(fèi)150到200元、合約快到期、最近三個(gè)月流量使用率超過120%且投訴過流量計(jì)費(fèi)問題。這組用戶占了全量用戶的3%但流失率高達(dá)32%。運(yùn)營對(duì)這個(gè)群體設(shè)計(jì)了專屬的流量升級(jí)包推送后整體流失率下降了6個(gè)百分點(diǎn)。這就是決策樹從“模型輸出”到“業(yè)務(wù)策略”的完整閉環(huán)。5.3 模型上線后的監(jiān)控與更新模型上線后不是一勞永逸。電信客戶的消費(fèi)行為會(huì)隨時(shí)間變化比如套餐結(jié)構(gòu)調(diào)整、資費(fèi)政策變化、競(jìng)爭對(duì)手活動(dòng)都會(huì)讓老模型逐漸失效。我建議至少每月監(jiān)控一次模型的穩(wěn)定性。常用做法是計(jì)算特征分布的PSI群體穩(wěn)定性指標(biāo)如果PSI超過0.2說明入模特征的分布已經(jīng)發(fā)生顯著漂移需要重新訓(xùn)練。同時(shí)還要關(guān)注命中名單的實(shí)際流失率是否保持在預(yù)期水平如果實(shí)際轉(zhuǎn)化率明顯低于訓(xùn)練時(shí)的預(yù)估優(yōu)先檢查是不是業(yè)務(wù)環(huán)境變化導(dǎo)致概念漂移。數(shù)據(jù)集建議月度更新。流失預(yù)測(cè)不是一次性的項(xiàng)目而是周期性運(yùn)行的流程每月拉取上月數(shù)據(jù)重新跑一遍特征工程重新訓(xùn)練模型更新輸出名單。6. 實(shí)操中的典型問題與排查心得6.1 數(shù)據(jù)泄漏隱藏最深的坑我在第一次完整跑通流程后得到的AUC是0.96當(dāng)時(shí)還挺興奮后來逐一排查特征才發(fā)現(xiàn)數(shù)據(jù)表里有一個(gè)字段叫“狀態(tài)”其中包含了“已銷戶”這類當(dāng)前狀態(tài)值。這個(gè)字段本身就是流失結(jié)果模型相當(dāng)于直接拿到了答案。排查數(shù)據(jù)泄漏的方法是對(duì)每個(gè)特征問一句“這個(gè)字段在預(yù)測(cè)時(shí)間點(diǎn)是否已知”。如果答案是“不一定”就堅(jiān)決去掉。6.2 類別不平衡的處理邊界不要機(jī)械地為了平衡而平衡。有一次我用SMOTE過采樣到1:1AUC反而掉了0.03原因是合成樣本把決策邊界搞得過于復(fù)雜。復(fù)盤后確認(rèn)樹模型對(duì)不平衡有一定魯棒性對(duì)不平衡更敏感的是評(píng)估指標(biāo)和分類閾值。對(duì)于決策樹優(yōu)先調(diào)閾值、評(píng)估用召回率和P-R曲線只有當(dāng)召回率確實(shí)不夠時(shí)才考慮過采樣或欠采樣。6.3 參數(shù)過擬合驗(yàn)證集的教訓(xùn)做網(wǎng)格搜索時(shí)我一度同時(shí)調(diào)6個(gè)參數(shù)結(jié)果驗(yàn)證集分?jǐn)?shù)越來越高測(cè)試集分?jǐn)?shù)卻一般。后來改成按“先結(jié)構(gòu)參數(shù)再剪枝參數(shù)”的順序分步調(diào)反而更穩(wěn)。具體順序建議先定max_depth和min_samples_leaf再調(diào)min_samples_split最后調(diào)ccp_alpha。每次只動(dòng)一個(gè)方向其他參數(shù)保持經(jīng)驗(yàn)?zāi)J(rèn)值調(diào)出來的模型泛化能力明顯更好。6.4 常見問題速查表問題現(xiàn)象可能原因排查與解決AUC接近1特征泄漏模型看到了未來信息逐特征檢查“預(yù)測(cè)時(shí)點(diǎn)是否已知”刪除可疑字段召回率極低精確率很高分類閾值過高模型偏向多數(shù)類用P-R曲線重新選擇閾值下調(diào)分類閾值訓(xùn)練集分?jǐn)?shù)高、驗(yàn)證集分?jǐn)?shù)低樹過深、葉子樣本太少增大min_samples_leaf降低max_depth使用ccp_alpha剪枝特征重要度不符合業(yè)務(wù)常識(shí)編碼方式問題或噪聲特征干擾檢查類別編碼嘗試分箱處理后再建模線上效果衰減特征分布漂移或業(yè)務(wù)政策變化月度監(jiān)控PSI觸發(fā)閾值即重新訓(xùn)練特征工程之后AUC反而下降引入了冗余特征或分箱過于粗糙執(zhí)行特征篩選復(fù)核分箱邊界是否符合業(yè)務(wù)邏輯7. 最后分享一點(diǎn)個(gè)人體會(huì)把整個(gè)項(xiàng)目做完回頭看決策樹這套方案在電信流失預(yù)測(cè)場(chǎng)景里最大的價(jià)值不在于把AUC從0.78提高到0.8而在于讓模型結(jié)果能被業(yè)務(wù)團(tuán)隊(duì)真正用起來。我反復(fù)跟團(tuán)隊(duì)強(qiáng)調(diào)這句話一個(gè)能解釋但準(zhǔn)確率稍低的模型勝過一個(gè)準(zhǔn)確率高但說不清道理的模型。因?yàn)檫\(yùn)營執(zhí)行者只有理解了規(guī)則才會(huì)信任名單才會(huì)根據(jù)名單優(yōu)化話術(shù)和策略。模型效果再好如果業(yè)務(wù)方不信、不用那就只是一個(gè)學(xué)術(shù)練習(xí)。踩過幾次坑之后我現(xiàn)在做這類項(xiàng)目會(huì)先跑一棵淺樹看變量規(guī)律再用交叉驗(yàn)證調(diào)參最后才評(píng)估完整效果。這個(gè)習(xí)慣幫我擋掉了很多“看上去很美”的問題。如果這篇文章能幫你在做決策樹項(xiàng)目時(shí)少踩一個(gè)坑那就不算白寫。