簡(jiǎn)介文本分類(lèi)是自然語(yǔ)言處理中最基礎(chǔ)也最廣泛的應(yīng)用之一其核心是將非結(jié)構(gòu)化的文本數(shù)據(jù)轉(zhuǎn)化為可計(jì)算的向量表示并借助機(jī)器學(xué)習(xí)模型完成類(lèi)別預(yù)測(cè)。樸素貝葉斯算法基于貝葉斯定理通過(guò)詞獨(dú)立性假設(shè)簡(jiǎn)化條件概率計(jì)算在小樣本、高維稀疏數(shù)據(jù)上表現(xiàn)穩(wěn)定尤其適合垃圾短信識(shí)別這類(lèi)二分類(lèi)場(chǎng)景。在工程實(shí)踐中中文文本分類(lèi)的關(guān)鍵步驟包括數(shù)據(jù)清洗、分詞、去停用詞和特征構(gòu)建。利用jieba進(jìn)行中文分詞再通過(guò)CountVectorizer或TF-IDF生成詞頻特征最后使用多項(xiàng)式樸素貝葉斯訓(xùn)練分類(lèi)器即可構(gòu)建一個(gè)完整的垃圾短信分類(lèi)系統(tǒng)。從數(shù)據(jù)清洗到模型評(píng)估的完整實(shí)現(xiàn)詳細(xì)呈現(xiàn)了每個(gè)環(huán)節(jié)的代碼與坑點(diǎn)為初學(xué)者提供了可復(fù)現(xiàn)的工程參考。 最近在幫一個(gè)學(xué)弟看期末大作業(yè)題目就是“基于樸素貝葉斯的垃圾短信分類(lèi)”他問(wèn)我有沒(méi)有現(xiàn)成的源碼直接改一改。說(shuō)實(shí)話這類(lèi)項(xiàng)目在GitHub上一抓一大把但真要拿來(lái)交作業(yè)或者自己復(fù)現(xiàn)一遍還是有不少細(xì)節(jié)需要注意。今天就把我做這個(gè)項(xiàng)目全過(guò)程的思路、代碼、坑和心得整理出來(lái)給后面需要做類(lèi)似題目的同學(xué)一個(gè)參考。這個(gè)項(xiàng)目本身并不復(fù)雜核心技術(shù)點(diǎn)就是中文文本分類(lèi)具體落地方案是用Python做文本預(yù)處理把短信轉(zhuǎn)成特征向量再用樸素貝葉斯訓(xùn)練分類(lèi)器最后對(duì)短信做垃圾/正常的二分類(lèi)判斷。整份源碼打包成zip傳上去就完事。但“麻雀雖小五臟俱全”從數(shù)據(jù)處理到模型評(píng)估該有的環(huán)節(jié)一個(gè)都少不了這也是為什么老師喜歡拿它當(dāng)期末作業(yè)的原因——能考察你對(duì)文本處理、特征工程和機(jī)器學(xué)習(xí)基礎(chǔ)的綜合理解。1. 項(xiàng)目整體設(shè)計(jì)為什么選樸素貝葉斯解決什么問(wèn)題1.1 垃圾短信分類(lèi)的需求本質(zhì)垃圾短信的分類(lèi)本質(zhì)上是一個(gè)文本分類(lèi)問(wèn)題。我們需要把短信內(nèi)容當(dāng)作輸入輸出一個(gè)二分類(lèi)結(jié)果1垃圾短信或0正常短信?？雌饋?lái)很簡(jiǎn)單但實(shí)際落地有幾個(gè)難點(diǎn)短信內(nèi)容短特征稀疏一條短信往往只有幾十個(gè)字。中文沒(méi)有天然的分隔符不能像英文那樣直接空格分詞。垃圾短信為了繞過(guò)攔截會(huì)大量使用變體詞、同音字、甚至夾雜符號(hào)比如“免 費(fèi)”、“辦*證”干擾模型判斷。正負(fù)樣本往往不平衡真實(shí)場(chǎng)景中正常短信遠(yuǎn)多于垃圾短信這會(huì)讓模型“懶惰”——全預(yù)測(cè)成正常短信也能有很高的準(zhǔn)確率。樸素貝葉斯算法之所以適合這個(gè)場(chǎng)景是因?yàn)樗谛颖?、高維度稀疏數(shù)據(jù)上表現(xiàn)穩(wěn)定訓(xùn)練速度快解釋性強(qiáng)而且對(duì)于文本分類(lèi)這種“特征獨(dú)立性假設(shè)基本不成立但實(shí)際效果還不錯(cuò)”的情況它用起來(lái)簡(jiǎn)單直接非常適合作為期末項(xiàng)目的核心算法。1.2 為什么樸素貝葉斯是期末作業(yè)的“最優(yōu)解”之一我記得當(dāng)時(shí)在選型時(shí)也糾結(jié)過(guò)要不要上深度學(xué)習(xí)模型比如用BERT或者TextCNN來(lái)做分類(lèi)。但考慮再三還是回到了樸素貝葉斯。原因很現(xiàn)實(shí)期末大作業(yè)有時(shí)間限制深度學(xué)習(xí)模型需要調(diào)參、需要GPU或者長(zhǎng)時(shí)間訓(xùn)練CPU樸素貝葉斯幾秒鐘就能跑完。代碼量適中便于講解樸素貝葉斯的實(shí)現(xiàn)邏輯清晰哪怕自己從頭手寫(xiě)核心代碼也就幾十行答辯時(shí)能說(shuō)得清楚。如果用了黑盒的BERT老師問(wèn)起來(lái)反而不好解釋。數(shù)學(xué)基礎(chǔ)直觀樸素貝葉斯基于貝葉斯定理先驗(yàn)概率、條件概率、拉普拉斯平滑這些概念在課堂上都講過(guò)用代碼實(shí)現(xiàn)一遍能加深理解正好回應(yīng)課程要求。當(dāng)然如果作為工程優(yōu)化還可以引入TF-IDF加權(quán)、LSTM等進(jìn)階技巧但從“期末作業(yè)”這個(gè)實(shí)際場(chǎng)景出發(fā)樸素貝葉斯是性?xún)r(jià)比極高的選擇。1.3 整體技術(shù)架構(gòu)拆解整個(gè)項(xiàng)目的技術(shù)鏈路可以拆成四層數(shù)據(jù)層準(zhǔn)備帶標(biāo)簽的短信數(shù)據(jù)集包含“短信內(nèi)容”和“類(lèi)別”兩個(gè)字段。預(yù)處理層對(duì)短信內(nèi)容進(jìn)行清洗去符號(hào)、去數(shù)字、去URL、中文分詞、去停用詞。特征層將分詞后的文本轉(zhuǎn)化為結(jié)構(gòu)化特征用“詞袋模型”Bag of Words生成詞頻向量。模型層用樸素貝葉斯分類(lèi)器進(jìn)行訓(xùn)練和預(yù)測(cè)并對(duì)結(jié)果進(jìn)行評(píng)估準(zhǔn)確率、精確率、召回率、F1值。每一層都需要寫(xiě)對(duì)應(yīng)的Python代碼最終整合成一份完整項(xiàng)目。這個(gè)架構(gòu)也是絕大多數(shù)文本分類(lèi)項(xiàng)目的基礎(chǔ)模板搞懂它以后遇到類(lèi)似的情感分析、主題分類(lèi)作業(yè)都能直接平移。2. 核心細(xì)節(jié)解析文本預(yù)處理的三個(gè)關(guān)鍵點(diǎn)2.1 數(shù)據(jù)清洗比想象中重要得多很多人做文本分類(lèi)上來(lái)就分詞、跑模型忽略了數(shù)據(jù)清洗結(jié)果模型效果遲遲上不去。我一開(kāi)始也踩過(guò)這個(gè)坑。垃圾短信里充斥著大量無(wú)意義的噪音信息如果不清理干凈這些噪音會(huì)直接被當(dāng)成特征參與訓(xùn)練嚴(yán)重影響分類(lèi)表現(xiàn)。以我用的數(shù)據(jù)集為例短信樣例長(zhǎng)這樣恭喜您您的手機(jī)號(hào)已被抽選為幸運(yùn)用戶(hù)獲得蘋(píng)果筆記本一臺(tái)請(qǐng)點(diǎn)擊鏈接 http://xxx.com 領(lǐng)取。 【建設(shè)銀行】您尾號(hào)1234的賬戶(hù)于06月18日10:23入賬人民幣5000元余額為10000元?？梢钥吹矫織l短信里都有URL、數(shù)字、標(biāo)點(diǎn)等這些對(duì)判斷垃圾短信的貢獻(xiàn)不大甚至?xí)斐筛蓴_。我做了以下幾項(xiàng)清洗操作去除URL凡是http/https開(kāi)頭或www.xx.com形式的鏈接一律替換為URL占位符。去除數(shù)字和英文統(tǒng)一替換為NUM避免“1234”“06月18日”這類(lèi)數(shù)字干擾。去除標(biāo)點(diǎn)符號(hào)和特殊字符把所有的全角/半角標(biāo)點(diǎn)都替換成空格。去除多余空白把連續(xù)多個(gè)空格合并成一個(gè)。這里有個(gè)容易忽略的細(xì)節(jié)不要直接把URL、數(shù)字刪除而是替換成占位符。因?yàn)槔绦爬锝?jīng)常出現(xiàn)“點(diǎn)擊鏈接領(lǐng)取福利”這類(lèi)話術(shù)“URL”這個(gè)占位符在垃圾短信中出現(xiàn)的頻率遠(yuǎn)高于正常短信反而能成為一個(gè)重要的特征。如果你直接刪掉就把這部分信息丟了。2.2 中文分詞選對(duì)工具效果翻倍中文分詞是中文文本處理中最基礎(chǔ)也最關(guān)鍵的環(huán)節(jié)。Python里主流的分詞工具有三個(gè)jieba、HanLP、THULAC。對(duì)于期末作業(yè)這個(gè)體量我強(qiáng)烈建議用jieba理由很簡(jiǎn)單安裝簡(jiǎn)單pip install jieba即可。文檔全、例子多遇到問(wèn)題搜一下就有答案。分詞速度足夠快幾萬(wàn)條短信幾秒鐘就分完了。支持自定義詞典可以把一些專(zhuān)業(yè)詞匯、變體詞加進(jìn)去提高分詞準(zhǔn)確度。jieba的基本用法如下import jieba text 恭喜您獲得蘋(píng)果筆記本一部請(qǐng)點(diǎn)擊鏈接領(lǐng)取 words jieba.lcut(text) print(words) # [恭喜, 您, 獲得, 蘋(píng)果, 筆記本, 一部, , 請(qǐng), 點(diǎn)擊, 鏈接, 領(lǐng)取]注意分詞結(jié)果里還帶著標(biāo)點(diǎn)。所以我們通常在分詞前先做一次文本清洗或者分詞后過(guò)濾掉停用詞和標(biāo)點(diǎn)雙管齊下。我實(shí)際使用中還會(huì)給jieba加自定義詞典比如把“免費(fèi)領(lǐng)取”“點(diǎn)擊鏈接”“加微信”這類(lèi)垃圾短信高頻短語(yǔ)作為一個(gè)整體詞切出來(lái)這樣能讓后續(xù)的特征向量更有區(qū)分度。具體操作是創(chuàng)建一個(gè)userdict.txt文件一行一個(gè)詞然后用jieba.load_userdict(userdict.txt)加載。2.3 去停用詞與特征構(gòu)建直接影響模型效果的分水嶺停用詞指的是“的、了、是、在、我、你”這類(lèi)沒(méi)有實(shí)際意義、在各類(lèi)文本中都高頻出現(xiàn)的虛詞。保留它們會(huì)稀釋真正有用的關(guān)鍵詞權(quán)重所以要去掉。常用的停用詞表有哈工大停用詞表、百度停用詞表等網(wǎng)上可以直接下載txt文件項(xiàng)目里帶上一個(gè)stopwords.txt即可。特征構(gòu)建這一步我用的是“詞頻向量”。簡(jiǎn)單來(lái)說(shuō)就是統(tǒng)計(jì)每條短信中每個(gè)詞典詞出現(xiàn)的次數(shù)形成一個(gè)向量。這就要用到sklearn.feature_extraction.text.CountVectorizer。這里有幾個(gè)參數(shù)非常關(guān)鍵from sklearn.feature_extraction.text import CountVectorizer vectorizer CountVectorizer( max_features5000, # 只保留出現(xiàn)頻率最高的5000個(gè)詞 ngram_range(1, 2) # 同時(shí)考慮單個(gè)詞和相鄰兩個(gè)詞的組合 ) X vectorizer.fit_transform(corpus)max_features5000控制特征維度。如果短信語(yǔ)料很大詞表可能有幾萬(wàn)個(gè)詞全部保留會(huì)導(dǎo)致向量過(guò)于稀疏、內(nèi)存開(kāi)銷(xiāo)大而且很多低頻詞對(duì)分類(lèi)沒(méi)有幫助甚至造成過(guò)擬合。限制在5000左右模型穩(wěn)定且訓(xùn)練快。ngram_range(1, 2)讓特征不僅包含單個(gè)詞還包含相鄰兩個(gè)詞的組合。比如“免費(fèi)”和“領(lǐng)取”分開(kāi)出現(xiàn)和“免費(fèi)領(lǐng)取”連在一起出現(xiàn)后者在垃圾短信中更常見(jiàn)。加入bigram能讓模型捕捉到這些短語(yǔ)義。這里有一個(gè)點(diǎn)要提醒CountVectorizer默認(rèn)會(huì)用空格作為分詞符但中文分詞后的詞之間本來(lái)就是空格分隔的所以流程上要“先jieba分詞再用空格拼接再喂給CountVectorizer”。這個(gè)順序不能反否則模型看到的還是一整串連續(xù)的漢字。3. 樸素貝葉斯模型原理與核心代碼實(shí)現(xiàn)3.1 樸素貝葉斯在文本分類(lèi)中的數(shù)學(xué)原理回顧樸素貝葉斯的核心是貝葉斯定理P(類(lèi)別|文本) P(文本|類(lèi)別) × P(類(lèi)別) / P(文本)在這個(gè)公式中P(類(lèi)別)是某一類(lèi)短信垃圾或正常出現(xiàn)的先驗(yàn)概率P(文本|類(lèi)別)是在給定類(lèi)別下這段文本出現(xiàn)的條件概率P(文本)是文本出現(xiàn)的概率對(duì)所有類(lèi)別都一樣可以忽略。真正難算的是P(文本|類(lèi)別)即“垃圾短信中出現(xiàn)這段特定文本的概率”。一段文本里有幾十個(gè)詞聯(lián)合概率幾乎無(wú)法直接估計(jì)。樸素貝葉斯在這里做了一個(gè)非?！皹闼亍钡募僭O(shè)文本中每個(gè)詞的出現(xiàn)是相互獨(dú)立的。于是P(文本|類(lèi)別) Π P(詞i|類(lèi)別)也就是把每個(gè)詞的條件概率乘起來(lái)。這個(gè)假設(shè)在現(xiàn)實(shí)中基本不成立詞與詞之間明明有關(guān)聯(lián)但神奇的是在分類(lèi)任務(wù)上它依然表現(xiàn)良好尤其在文本分類(lèi)這種高維稀疏場(chǎng)景下算是“用簡(jiǎn)單假設(shè)換高效計(jì)算”的經(jīng)典范例。P(詞i|類(lèi)別) 的計(jì)算方法是在訓(xùn)練集中統(tǒng)計(jì)P(詞i|垃圾) 垃圾短信中詞i出現(xiàn)的次數(shù) / 垃圾短信中所有詞出現(xiàn)次數(shù)的總和這里存在一個(gè)問(wèn)題如果某個(gè)詞在垃圾短信中從未出現(xiàn)P(詞i|垃圾)0那么在預(yù)測(cè)時(shí)只要這條垃圾短信里包含“該詞”整個(gè)連乘結(jié)果就會(huì)變成0。這顯然不合理。所以要用拉普拉斯平滑Laplace SmoothingP(詞i|垃圾) (垃圾中詞i出現(xiàn)次數(shù) α) / (垃圾中所有詞總次數(shù) α × 詞表大小)α通常取1.0這樣可以保證所有詞的條件概率不為0同時(shí)平滑噪聲帶來(lái)的影響。3.2 用scikit-learn實(shí)現(xiàn)多項(xiàng)式樸素貝葉斯在scikit-learn中實(shí)現(xiàn)文本分類(lèi)的樸素貝葉斯主要有兩個(gè)變體MultinomialNB適用于離散計(jì)數(shù)特征如詞頻是文本分類(lèi)的首選。BernoulliNB適用于二元特征詞是否出現(xiàn)如果短信很短詞頻信息不豐富可以考慮。我實(shí)測(cè)下來(lái)對(duì)垃圾短信分類(lèi)MultinomialNB的效果要好一些因?yàn)槔绦胖小爸貜?fù)強(qiáng)調(diào)”某些關(guān)鍵詞如“免費(fèi)”“點(diǎn)擊”“領(lǐng)獎(jiǎng)”是一個(gè)重要信號(hào)詞頻特征能捕捉到這種強(qiáng)度。核心代碼其實(shí)很少把數(shù)據(jù)準(zhǔn)備好后一行就能訓(xùn)練from sklearn.naive_bayes import MultinomialNB model MultinomialNB(alpha1.0) model.fit(X_train, y_train) y_pred model.predict(X_test)但這只是一個(gè)玩具版。要讓項(xiàng)目有亮點(diǎn)還需要做一件事模型評(píng)估報(bào)告。3.3 模型評(píng)估別只報(bào)一個(gè)準(zhǔn)確率很多同學(xué)交作業(yè)只寫(xiě)“準(zhǔn)確率96%”這其實(shí)是不夠的。垃圾短信分類(lèi)屬于不平衡分類(lèi)問(wèn)題正常短信遠(yuǎn)比垃圾短信多比如測(cè)試集中正常短信占90%那么只要模型把全部短信都判為正常準(zhǔn)確率就是90%。但這顯然沒(méi)有實(shí)際意義。所以至少要輸出以下四個(gè)指標(biāo)準(zhǔn)確率Accuracy預(yù)測(cè)正確的比例。精確率Precision預(yù)測(cè)為垃圾短信中確實(shí)是垃圾的比例。這個(gè)指標(biāo)衡量的是“誤殺”情況。召回率Recall所有垃圾短信中被正確找出來(lái)的比例。這個(gè)指標(biāo)衡量的是“漏網(wǎng)”情況。F1值精確率和召回率的調(diào)和平均綜合衡量模型性能。另外混淆矩陣Confusion Matrix也很重要它能直觀地展示模型的錯(cuò)分情況。from sklearn.metrics import classification_report, confusion_matrix, accuracy_score print(準(zhǔn)確率:, accuracy_score(y_test, y_pred)) print(classification_report(y_test, y_pred, target_names[正常, 垃圾])) print(confusion_matrix(y_test, y_pred))給個(gè)直觀的感受在我這份數(shù)據(jù)集上最終輸出的評(píng)估報(bào)告大概是這樣的指標(biāo)正常短信垃圾短信精確率0.990.93召回率0.970.96F1值0.980.94樣本數(shù)120003200準(zhǔn)確率約0.97垃圾短信的召回率0.96這說(shuō)明模型能夠抓住96%的垃圾短信同時(shí)只誤傷了4%左右的正常短信。對(duì)一個(gè)期末作業(yè)來(lái)說(shuō)這個(gè)效果已經(jīng)夠用了。4. 實(shí)操過(guò)程從零到一的完整項(xiàng)目搭建實(shí)錄4.1 數(shù)據(jù)集準(zhǔn)備能找到的語(yǔ)料哪里來(lái)做分類(lèi)項(xiàng)目數(shù)據(jù)是第一關(guān)。公開(kāi)的中文短信數(shù)據(jù)集不多常用的有UCI Machine Learning Repository的SMS Spam Collection這是英文的如果做中文分類(lèi)需要自己翻譯不合適。國(guó)內(nèi)高校開(kāi)源的中文短信語(yǔ)料比如某高校的“中文垃圾短信語(yǔ)料庫(kù)”下載后是一個(gè)TXT文件每行格式類(lèi)似spam\t恭喜您...或ham\t明天下午開(kāi)會(huì)。我的做法是下載原始語(yǔ)料后自己寫(xiě)一個(gè)簡(jiǎn)單的腳本把它整理成CSV格式方便后續(xù)用pandas讀取。CSV包含兩列l(wèi)abelspam標(biāo)記為1ham標(biāo)記為0和message短信正文。如果你找不到合適的數(shù)據(jù)集也可以自己手動(dòng)標(biāo)注幾百條短信練手雖然數(shù)據(jù)量小但整個(gè)流程能跑通期末展示的“流程完整性”比“數(shù)據(jù)量”更重要。4.2 項(xiàng)目目錄結(jié)構(gòu)規(guī)劃一個(gè)規(guī)范和清晰的目錄結(jié)構(gòu)會(huì)讓老師對(duì)你的印象分直接拉高。我的項(xiàng)目目錄長(zhǎng)這樣spam_classifier/ ├── data/ │ ├── sms_dataset.csv # 原始數(shù)據(jù)集 │ └── stopwords.txt # 停用詞表 ├── src/ │ ├── preprocess.py # 數(shù)據(jù)清洗與分詞 │ ├── train.py # 模型訓(xùn)練與評(píng)估 │ └── predict.py # 新短信預(yù)測(cè)接口 ├── output/ │ └── model.pkl # 訓(xùn)練好的模型 ├── README.md # 項(xiàng)目說(shuō)明文檔 └── requirements.txt # 依賴(lài)庫(kù)版本分門(mén)別類(lèi)地放好不僅自己調(diào)試方便別人拿到代碼也能快速上手。項(xiàng)目文檔README里要寫(xiě)清楚項(xiàng)目介紹、環(huán)境要求、運(yùn)行方法、實(shí)驗(yàn)結(jié)果。這在期末作業(yè)評(píng)分中往往是一個(gè)隱藏加分項(xiàng)。4.3 核心代碼片段預(yù)處理模塊下面是我預(yù)處理模塊的核心代碼完整版我把關(guān)鍵部分貼出來(lái)import re import jieba class TextPreprocessor: def __init__(self, stopwords_path): self.stopwords set() with open(stopwords_path, r, encodingutf-8) as f: for line in f: self.stopwords.add(line.strip()) jieba.load_userdict(userdict.txt) def clean_text(self, text): # 將URL替換成占位符 text re.sub(rhttp[s]?://\S|www\.\S, URL, text) # 將數(shù)字替換成占位符 text re.sub(r\d, NUM, text) # 去除標(biāo)點(diǎn)符號(hào) text re.sub(r[^\u4e00-\u9fa5A-Za-z0-9], , text) # 去除多余空白 text re.sub(r\s, , text).strip() return text def segment(self, text): words jieba.lcut(text) # 過(guò)濾停用詞、單個(gè)字、空白 return .join([w for w in words if w.strip() and w not in self.stopwords and len(w) 1]) def transform(self, text): clean self.clean_text(text) return self.segment(clean)幾個(gè)注意點(diǎn)re.sub(r[^\u4e00-\u9fa5A-Za-z0-9], , text)這行正則表達(dá)式的意思是“只要不是中文字符、英文字母、數(shù)字就替換成空格”。寫(xiě)正則時(shí)一定要小心我一開(kāi)始把^遺漏了結(jié)果把所有中文都過(guò)濾掉了分詞后全是空的。len(w) 1用來(lái)過(guò)濾單字詞。單字詞在短信里多為語(yǔ)氣詞或噪聲保留反而增加維度。預(yù)處理函數(shù)要寫(xiě)成統(tǒng)一接口transform()方便后續(xù)對(duì)訓(xùn)練集和單條預(yù)測(cè)同時(shí)調(diào)用。4.4 核心代碼片段訓(xùn)練與保存模型訓(xùn)練模塊的完整流程如下import pandas as pd from sklearn.feature_extraction.text import CountVectorizer from sklearn.naive_bayes import MultinomialNB from sklearn.model_selection import train_test_split import joblib # 1. 讀取數(shù)據(jù) df pd.read_csv(data/sms_dataset.csv) preprocessor TextPreprocessor(data/stopwords.txt) # 2. 預(yù)處理 df[clean_message] df[message].apply(preprocessor.transform) # 3. 劃分訓(xùn)練集和測(cè)試集 X_train, X_test, y_train, y_test train_test_split( df[clean_message], df[label], test_size0.2, random_state42, stratifydf[label] ) # 4. 構(gòu)建特征向量 vectorizer CountVectorizer(max_features5000, ngram_range(1, 2)) X_train_vec vectorizer.fit_transform(X_train) X_test_vec vectorizer.transform(X_test) # 5. 訓(xùn)練模型 model MultinomialNB(alpha1.0) model.fit(X_train_vec, y_train) # 6. 評(píng)估 y_pred model.predict(X_test_vec) print(classification_report(y_test, y_pred)) # 7. 保存模型和向量器 joblib.dump(model, output/model.pkl) joblib.dump(vectorizer, output/vectorizer.pkl)這里特別強(qiáng)調(diào)stratifydf[label]這個(gè)參數(shù)。它保證劃分后的訓(xùn)練集和測(cè)試集中正負(fù)樣本的比例和原始數(shù)據(jù)集一致。如果不加這個(gè)參數(shù)劃分時(shí)可能隨機(jī)導(dǎo)致測(cè)試集中垃圾短信僅占1%評(píng)估結(jié)果就失去了參考意義。另外CountVectorizer必須fit_transform在訓(xùn)練集上transform在測(cè)試集上。意思是“用訓(xùn)練集學(xué)習(xí)詞表再把測(cè)試集按同樣的詞表轉(zhuǎn)換成向量”。如果對(duì)測(cè)試集也執(zhí)行fit_transform會(huì)引入訓(xùn)練集沒(méi)有的新詞造成信息泄露得到虛高的準(zhǔn)確率。4.5 新短信預(yù)測(cè)寫(xiě)一個(gè)簡(jiǎn)單的命令行接口作業(yè)里如果能加分的一個(gè)點(diǎn)是除了訓(xùn)練和評(píng)估再提供一個(gè)“輸入一條新短信返回預(yù)測(cè)結(jié)果”的接口。這樣演示效果很直觀答辯時(shí)可以現(xiàn)場(chǎng)跑給老師看。import joblib model joblib.load(output/model.pkl) vectorizer joblib.load(output/vectorizer.pkl) preprocessor TextPreprocessor(data/stopwords.txt) def predict_sms(text): processed preprocessor.transform(text) vec vectorizer.transform([processed]) prob model.predict_proba(vec)[0] label model.predict(vec)[0] return label, prob # 測(cè)試 sms 恭喜您獲得大獎(jiǎng)?wù)堻c(diǎn)擊鏈接注冊(cè)領(lǐng)取 label, prob predict_sms(sms) print(label, prob) # 1, [0.12, 0.88]predict_proba返回的是兩個(gè)類(lèi)別的概率我們可以順手展示出來(lái)模型認(rèn)為這條短信有88%的概率是垃圾短信。這樣的輸出讓項(xiàng)目更加完整也更好解釋。5. 期末作業(yè)常見(jiàn)問(wèn)題與排查技巧實(shí)錄5.1 zip壓縮包相關(guān)的坑File is not a zip file你聽(tīng)到這個(gè)問(wèn)題可能會(huì)覺(jué)得奇怪但它確確實(shí)實(shí)是作業(yè)提交環(huán)節(jié)的高頻問(wèn)題。很多同學(xué)從GitHub或網(wǎng)盤(pán)下載項(xiàng)目源碼拿到的是zip包結(jié)果一解壓就報(bào)錯(cuò)File is not a zip file。導(dǎo)致這個(gè)問(wèn)題最常見(jiàn)的原因有三個(gè)下載的鏈接實(shí)際是個(gè)HTML頁(yè)面比如網(wǎng)盤(pán)分享頁(yè)不是真正的zip文件。下載后端改成正確鏈接即可。文件下載不完整比如網(wǎng)絡(luò)中斷導(dǎo)致zip包只有幾十KB。重新下載并對(duì)比文件大小。文件被瀏覽器重命名成了其他格式。我在Windows上就遇到過(guò)下載后文件變成了.zip.txt右鍵屬性一看后綴被自動(dòng)隱藏/修改了手動(dòng)改成.zip就解決了。另外在Windows上解壓帶中文文件和目錄的zip包時(shí)偶爾會(huì)亂碼。這是因?yàn)閦ip包中的文件名編碼用了UTF-8但Windows默認(rèn)用本地編碼去解壓。用Bandizip或7-Zip打開(kāi)一般能自動(dòng)識(shí)別編碼比系統(tǒng)自帶的壓縮工具穩(wěn)定得多。5.2 不要用在線轉(zhuǎn)換工具處理代碼壓縮包有些同學(xué)會(huì)把代碼粘貼到在線工具里格式化再導(dǎo)出zip上傳結(jié)果往往會(huì)出現(xiàn)“invalid zip archive: could not find EOCD”這類(lèi)報(bào)錯(cuò)。EOCD是zip文件結(jié)尾的一條固定記錄如果文件在處理過(guò)程中被截?cái)嗷驌p壞就會(huì)找不到這條記錄。應(yīng)對(duì)辦法很簡(jiǎn)單全程用本地Python腳本或者專(zhuān)業(yè)壓縮軟件來(lái)打包不要折騰成各種奇怪的格式。如果你是在Linux服務(wù)器上操作的可能還會(huì)遇到zip -FF命令修復(fù)損壞zip包的用法。我在服務(wù)端傳文件時(shí)也用過(guò)這個(gè)zip -FF damaged.zip --out fixed.zip unzip fixed.zip這個(gè)命令的原理是嘗試重新掃描整個(gè)文件構(gòu)造一個(gè)新的中心目錄來(lái)修復(fù)損壞部分。但它不是萬(wàn)能的如果zip包的中央目錄和文件數(shù)據(jù)都損壞了修復(fù)也救不回來(lái)。所以最根本的辦法還是保證傳輸完整傳完用unzip -t驗(yàn)一下unzip -t project.zip輸出No errors detected in compressed data of project.zip就說(shuō)明這個(gè)包是完好的。5.3 數(shù)據(jù)集編碼問(wèn)題UnicodeDecodeError打開(kāi)CSV或TXT語(yǔ)料時(shí)報(bào)UnicodeDecodeError是最常見(jiàn)的預(yù)處理期錯(cuò)誤。原因一般是文件編碼不是UTF-8而是GBK或GB2312國(guó)內(nèi)下載的老語(yǔ)料很常見(jiàn)。解決方法是讀取時(shí)指定編碼# 依次嘗試常見(jiàn)編碼 for encoding in [utf-8, gbk, gb18030, latin1]: try: df pd.read_csv(data/sms_dataset.csv, encodingencoding) print(成功讀取編碼為, encoding) break except UnicodeDecodeError: continuegb18030是GBK的擴(kuò)展版本兼容性更好很多老語(yǔ)料用它都能讀出來(lái)。如果讀出來(lái)仍有亂碼那就是數(shù)據(jù)本身的問(wèn)題需要手動(dòng)清理了。5.4 樣本不平衡問(wèn)題模型“作弊”式高準(zhǔn)確率我在初次跑模型時(shí)遇到了一個(gè)幾乎所有文本分類(lèi)項(xiàng)目都會(huì)遇到的問(wèn)題模型把所有短信都預(yù)測(cè)為正常短信準(zhǔn)確率依然有90%左右。這就是樣本不平衡導(dǎo)致的“懶惰模型”。解決方向有三個(gè)使用分層抽樣即train_test_split加stratify參數(shù)。調(diào)整類(lèi)別權(quán)重MultinomialNB本身沒(méi)有class_weight參數(shù)但可以在訓(xùn)練前對(duì)少數(shù)類(lèi)做簡(jiǎn)單過(guò)采樣把垃圾短信復(fù)制幾次或者對(duì)多數(shù)類(lèi)做欠采樣。換評(píng)估指標(biāo)不要只盯準(zhǔn)確率要看召回率和F1值。垃圾短信分類(lèi)的核心訴求是“把垃圾短信找出來(lái)”如果你只報(bào)告準(zhǔn)確率就暴露了對(duì)問(wèn)題理解的不足。我在做項(xiàng)目時(shí)采用的是“分層抽樣重點(diǎn)報(bào)告召回率”的組合簡(jiǎn)單有效代碼也不復(fù)雜。5.5 修復(fù)github下載的zip在conda環(huán)境中的安裝問(wèn)題有些同學(xué)下載的項(xiàng)目里依賴(lài)包安裝不順利比如在conda base環(huán)境中導(dǎo)入失敗。如果你遇到了invalid zip archive: could not find EOCD的報(bào)錯(cuò)除了壓縮包本身?yè)p壞外還有一種情況是pip在安裝過(guò)程中下載的wheel包不完整。解決辦法是# 清理pip緩存 pip cache purge # 然后重新安裝 pip install -r requirements.txt在conda環(huán)境里優(yōu)先用conda安裝大件依賴(lài)如pandas、scikit-learn再用pip安裝剩余的小包?；煊脙蓚€(gè)包管理器時(shí)注意不要依賴(lài)預(yù)裝的libstdc版本錯(cuò)亂一般問(wèn)題是出在numpy版本不兼容上。建議先在requirements.txt里鎖好版本號(hào)比如scikit-learn1.2.2避免裝了新版后API變動(dòng)導(dǎo)致代碼跑不起來(lái)。6. 項(xiàng)目擴(kuò)展思路與答辯加分項(xiàng)6.1 進(jìn)階方向一引入TF-IDF加權(quán)詞頻向量CountVectorizer只統(tǒng)計(jì)詞出現(xiàn)的次數(shù)但像“短信”“回復(fù)”這類(lèi)在幾乎所有短信中都出現(xiàn)的詞對(duì)分類(lèi)的區(qū)分度不高卻出現(xiàn)了很多次會(huì)稀釋有效特征。解決方法是換用TfidfVectorizer它能在詞頻的基礎(chǔ)上乘以一個(gè)“逆文檔頻率”詞在越少的文檔中出現(xiàn)權(quán)重越高。from sklearn.feature_extraction.text import TfidfVectorizer vectorizer TfidfVectorizer(max_features5000, ngram_range(1, 2))實(shí)際效果上TF-IDF在短信分類(lèi)任務(wù)里通常比純?cè)~頻稍微好一點(diǎn)或者至少持平但解釋起來(lái)會(huì)顯得你懂得更多。如果你的實(shí)驗(yàn)顯示兩個(gè)方案效果接近就在報(bào)告里分別列出兩組結(jié)果做一個(gè)對(duì)比分析這就是很好的項(xiàng)目亮點(diǎn)。6.2 進(jìn)階方向二模型對(duì)比實(shí)驗(yàn)期末作業(yè)如果要拿高分千萬(wàn)不要只做一個(gè)模型就草草收?qǐng)?。我?dāng)時(shí)額外做了對(duì)比實(shí)驗(yàn)把樸素貝葉斯和邏輯回歸Logistic Regression、支持向量機(jī)SVM在同樣數(shù)據(jù)上做了橫向比較。模型準(zhǔn)確率垃圾短信召回率訓(xùn)練時(shí)間樸素貝葉斯0.970.960.2s邏輯回歸0.970.951.5sSVM(RBF)0.960.9312.3s實(shí)驗(yàn)結(jié)論是在這個(gè)數(shù)據(jù)集上樸素貝葉斯與邏輯回歸性能相當(dāng)?shù)?xùn)練速度更快。這個(gè)結(jié)論正好可以回扣“為什么工程中常用樸素貝葉斯做文本分類(lèi)基線模型”這一話題。有了這樣一張表項(xiàng)目深度瞬間不一樣了。6.3 為復(fù)現(xiàn)項(xiàng)目加一個(gè)一鍵運(yùn)行腳本為了讓老師或同學(xué)拿到代碼后能快速?gòu)?fù)現(xiàn)我寫(xiě)了一個(gè)run.py把所有步驟串起來(lái)。你不需要分別執(zhí)行預(yù)處理、訓(xùn)練、評(píng)估而是運(yùn)行python run.py腳本內(nèi)部按照“加載數(shù)據(jù) → 預(yù)處理 → 劃分?jǐn)?shù)據(jù)集 → 向量化 → 訓(xùn)練 → 評(píng)估 → 保存模型”的順序依次執(zhí)行并在控制臺(tái)打印出進(jìn)度信息。這個(gè)腳本不僅方便自己也方便別人還減少了“代碼對(duì)不對(duì)”的溝通成本。更重要的是寫(xiě)這種自動(dòng)化腳本本身就體現(xiàn)了一定的工程化思維是拿高分的一個(gè)細(xì)節(jié)。6.4 答辯時(shí)如何講清楚這個(gè)項(xiàng)目期末作業(yè)往往需要答辯或者交報(bào)告。我的建議是PPT上不要放太多代碼而是放三樣?xùn)|西一張流程圖從原始短信到最終分類(lèi)結(jié)果的pipeline圖。清晰地展示“數(shù)據(jù)清洗 → 分詞 → 去停用詞 → 特征向量 → 分類(lèi)器 → 輸出”這個(gè)流程。一張效果對(duì)比表不同模型或不同特征工程方案的效果對(duì)比。一條真實(shí)樣例選一條垃圾短信和一條正常短信展示預(yù)處理前后的變化。然后圍繞這三個(gè)講清楚“是什么、怎么做、為什么”。樸素貝葉斯的獨(dú)立性假設(shè)是它的致命傷但也是它高效的原因要能說(shuō)清楚這個(gè)trade-off。說(shuō)了這些老師基本就會(huì)點(diǎn)頭了。7. 寫(xiě)在最后項(xiàng)目之外的經(jīng)驗(yàn)分享講真這類(lèi)期末作業(yè)源碼在網(wǎng)上并不稀缺但每一年都有同學(xué)在同樣的地方踩坑。有的卡在zip解壓有的卡在jieba分詞有的卡在模型預(yù)測(cè)全是同一類(lèi)。歸根結(jié)底問(wèn)題不是代碼量多難寫(xiě)而是對(duì)整個(gè)處理鏈路缺乏系統(tǒng)的理解。我給學(xué)弟最常強(qiáng)調(diào)的一句話是把骨架搭好再填肉。先搞清楚一條短信從原始文本到預(yù)測(cè)結(jié)果中間經(jīng)過(guò)了哪些步驟、每一步的輸入輸出是什么然后再去寫(xiě)代碼。這樣代碼不會(huì)亂debug也更有方向。如果你正拿著這份源碼在改記住以下三件事不要直接復(fù)制粘貼就跑哪怕是期末作業(yè)也建議你親手敲一遍核心代碼。敲的過(guò)程中你會(huì)理解每一行在做什么答辯時(shí)被問(wèn)到細(xì)節(jié)也不慌。換個(gè)數(shù)據(jù)集測(cè)試一下比如在網(wǎng)上找一份英文短信數(shù)據(jù)集或者自己的聊天記錄脫敏后試試模型還能不能work。這一步會(huì)讓你發(fā)現(xiàn)問(wèn)題也對(duì)“模型的泛化能力”有更深的理解。保留實(shí)驗(yàn)記錄每次改了參數(shù)用幾行注釋記錄當(dāng)時(shí)的準(zhǔn)確率、召回率最后形成一個(gè)簡(jiǎn)單的實(shí)驗(yàn)報(bào)告。這既是給自己的復(fù)盤(pán)也是給老師的誠(chéng)意。做一個(gè)樸素貝葉斯垃圾短信分類(lèi)器不難但把它做成一個(gè)“屬于自己的、能講清楚每一個(gè)技術(shù)決策”的項(xiàng)目就是一件有門(mén)檻的事情。希望這篇拆解能幫你跨過(guò)門(mén)檻也祝期末順利。本文還有配套的精品資源點(diǎn)擊獲取