先理清一個(gè)前提數(shù)據(jù)科學(xué)項(xiàng)目的學(xué)習(xí)成本不在記住某個(gè)庫(kù)的接口而在理解一條完整鏈路。從拿到原始數(shù)據(jù)開始數(shù)據(jù)要經(jīng)過讀取、清洗、探索、建模、評(píng)估和交付每一環(huán)都會(huì)改變數(shù)據(jù)形態(tài)而上一環(huán)的輸出就是下一環(huán)的輸入。UC Berkeley 的 Data 100 數(shù)據(jù)科學(xué)全流程課程正是按這條鏈路組織教學(xué)內(nèi)容核心工具覆蓋 pandas、SQL、機(jī)器學(xué)習(xí)與 Spark。它也常被作為本科高年級(jí)核心課來上適合正在系統(tǒng)學(xué)習(xí)數(shù)據(jù)科學(xué)的人反復(fù)對(duì)照實(shí)踐。這篇文章會(huì)按照類似的教學(xué)主線做一次技術(shù)整理先建立全局認(rèn)知再準(zhǔn)備本機(jī)環(huán)境然后跑通一個(gè)最小數(shù)據(jù)科學(xué)閉環(huán)接著單獨(dú)拆解 SQL 和 Spark 里最容易卡住人的部分最后補(bǔ)充常見報(bào)錯(cuò)排查和工程化建議。讀完這套內(nèi)容后你可以直接拿它指導(dǎo)課程筆記、課程設(shè)計(jì)或者作為畢業(yè)設(shè)計(jì)里的數(shù)據(jù)科學(xué)項(xiàng)目主線。1. 為什么數(shù)據(jù)科學(xué)課程要把“全流程”當(dāng)作主線1.1 全流程不是指工具多而是指問題閉環(huán)一個(gè)數(shù)據(jù)科學(xué)項(xiàng)目的起點(diǎn)通常是業(yè)務(wù)問題而不是某一個(gè)函數(shù)。以常見的房?jī)r(jià)預(yù)測(cè)為例先要想清楚要預(yù)測(cè)什么、有什么數(shù)據(jù)、數(shù)據(jù)存放在哪里。得到數(shù)據(jù)后第一步是確認(rèn)表格里有多少行、多少列、每個(gè)字段是什么類型、是否含有空值。接下來是清洗再往后是做探索性分析觀察目標(biāo)變量分布、特征之間是否相關(guān)、有沒有明顯異常。這個(gè)過程中每一步之間都有明確的依賴關(guān)系。如果原始數(shù)據(jù)里混入非數(shù)值字符串后續(xù)所有統(tǒng)計(jì)計(jì)算都可能報(bào)錯(cuò)如果訓(xùn)練集和測(cè)試集拆分前就把整個(gè)數(shù)據(jù)集統(tǒng)一做了標(biāo)準(zhǔn)化預(yù)測(cè)結(jié)果會(huì)被數(shù)據(jù)泄漏污染。Data 100 這類課程的真正價(jià)值就是把這些問題放在同一個(gè)項(xiàng)目語(yǔ)境里反復(fù)訓(xùn)練而不是只教 pandas 有哪些 API、Spark 有哪些算子。課程主線通?？梢詨嚎s成下面五段數(shù)據(jù)獲取與讀寫從 CSV、Excel、數(shù)據(jù)庫(kù)或 API 進(jìn)入 DataFrame。數(shù)據(jù)清洗與類型轉(zhuǎn)換處理空值、重復(fù)值、錯(cuò)誤類型、異常值。探索性分析與可視化查看分布、相關(guān)性、分組差異。機(jī)器學(xué)習(xí)建模與評(píng)估拆訓(xùn)練集和測(cè)試集訓(xùn)練基線模型計(jì)算指標(biāo)。規(guī)模化與交付數(shù)據(jù)量變大后切換到 SQL 或 Spark最后把結(jié)果寫成可復(fù)現(xiàn)的報(bào)告。這五段不是相互獨(dú)立的模塊而是一條閉環(huán)。每次從一個(gè)階段進(jìn)入下一個(gè)階段都要驗(yàn)證一下“數(shù)據(jù)形態(tài)是否滿足下一階段的輸入要求”。1.2 局部語(yǔ)法只解決局部問題流程設(shè)計(jì)決定項(xiàng)目成敗新手容易陷入一種錯(cuò)覺把所有 pandas 函數(shù)學(xué)完就等于會(huì)做數(shù)據(jù)科學(xué)了。實(shí)際項(xiàng)目中更常遇到的困難是數(shù)據(jù)可能有幾十個(gè)字段有的字段是時(shí)間戳字符串有的是帶單位的價(jià)格文本有的是稀疏的分類值。僅僅調(diào)用dropna()或fillna()并不能解決所有問題你必須先弄清楚每個(gè)字段缺失的含義才能決定填充中位數(shù)、填充默認(rèn)值還是單獨(dú)標(biāo)記為缺失。同樣SQL 查詢很快不等于數(shù)據(jù)質(zhì)量好。一個(gè) join 鍵在兩張表里都出現(xiàn)重復(fù)時(shí)查詢結(jié)果行數(shù)會(huì)被放大直接進(jìn)入模型就會(huì)產(chǎn)生重復(fù)樣本。機(jī)器學(xué)習(xí)模型跑出很高的分?jǐn)?shù)不等于業(yè)務(wù)可用還要看是否發(fā)生過數(shù)據(jù)泄漏、測(cè)試集是否真實(shí)反映未來數(shù)據(jù)。這些問題的共同點(diǎn)是它們發(fā)生在流程設(shè)計(jì)層面而不是單純的工具使用層面。所以學(xué)習(xí)時(shí)要以“完成一條完整流程”為目標(biāo)而不是以“用某個(gè)庫(kù)寫了多少行代碼”為目標(biāo)。1.3 這套主線適合哪些讀者這套內(nèi)容適合四類讀者準(zhǔn)備系統(tǒng)學(xué)習(xí)數(shù)據(jù)科學(xué)的高年級(jí)本科生和研究生尤其是想把零散知識(shí)點(diǎn)串成項(xiàng)目實(shí)戰(zhàn)的人。數(shù)據(jù)分析師已經(jīng)在用 Excel 或 BI 工具做報(bào)表想補(bǔ)上 pandas、SQL 和建模能力。后端開發(fā)或大數(shù)據(jù)開發(fā)想理解數(shù)據(jù)科學(xué)項(xiàng)目如何組織特征、訓(xùn)練模型、評(píng)估效果。正在做課程設(shè)計(jì)或畢業(yè)論文的人需要一條可以直接映射到項(xiàng)目章節(jié)的技術(shù)主線。學(xué)完這條主線后至少可以獨(dú)立完成一個(gè)從文件或數(shù)據(jù)庫(kù)中取數(shù)、清洗、建模、評(píng)估的預(yù)測(cè)項(xiàng)目并且知道數(shù)據(jù)量增長(zhǎng)到單機(jī)無(wú)法處理時(shí)應(yīng)該在哪里切換到 Spark 或更完整的計(jì)算平臺(tái)。2. 四個(gè)核心工具在數(shù)據(jù)科學(xué)里的分工2.1 pandas單機(jī)表格世界的日常主力pandas 是 Python 生態(tài)中最常用的表格計(jì)算庫(kù)核心對(duì)象是 DataFrame 和 Series。它解決的問題是讓你在代碼里像操作 Excel 一樣操作表格數(shù)據(jù)但保留編程語(yǔ)言的自動(dòng)化、批處理和模塊化能力。在個(gè)人分析、Notebook 實(shí)驗(yàn)和幾百萬(wàn)行以內(nèi)的數(shù)據(jù)場(chǎng)景里pandas 通常是第一選擇。它適合做數(shù)據(jù)探索、清洗、特征工程和模型前處理。下面是最基礎(chǔ)的讀取與概覽代碼import pandas as pd df pd.read_csv(housing.csv) print(df.shape) # 查看行數(shù)和列數(shù) print(df.dtypes) # 查看每列數(shù)據(jù)類型 print(df.isnull().sum()) # 統(tǒng)計(jì)每列空值數(shù)量這段代碼解決的是“進(jìn)入任何數(shù)據(jù)集后第一步要做什么”的問題。先看形狀知道體量再看類型確認(rèn)數(shù)值列有沒有被讀成字符串最后看空值決定清洗策略。pandas 的特點(diǎn)是接口豐富、靈活但靈活性也帶來坑。索引對(duì)齊就是一個(gè)典型問題兩個(gè) DataFrame 合并時(shí)如果索引或 key 的取值不一致結(jié)果里會(huì)出現(xiàn)大量 NaN。讀入 CSV 時(shí)如果數(shù)值列混入了千位分隔符或貨幣符號(hào)整列 dtype 會(huì)變成 object后續(xù)做mean()或sum()就會(huì)報(bào)錯(cuò)或直接跳過。這些細(xì)節(jié)在流程中很容易被忽略。2.2 SQL離數(shù)據(jù)越近分析越高效業(yè)務(wù)數(shù)據(jù)通常不是以 CSV 形式存在的而是存放在數(shù)據(jù)庫(kù)、數(shù)據(jù)倉(cāng)庫(kù)或數(shù)據(jù)湖中。SQL 的作用是用聲明式語(yǔ)法從關(guān)系數(shù)據(jù)中取出所需子集。所謂聲明式是指只描述“我要什么”不描述“怎么遍歷計(jì)算”。數(shù)據(jù)庫(kù)引擎會(huì)自己決定 join 順序、索引掃描方式和聚合執(zhí)行計(jì)劃。SQL 在數(shù)據(jù)科學(xué)流程中的位置通常位于清洗和建模之間。特征提取、報(bào)表統(tǒng)計(jì)、AB 實(shí)驗(yàn)取數(shù)幾乎都離不開 SQL。很多情況下與其把幾十 GB 的表導(dǎo)出到本地用 pandas 處理不如直接在數(shù)據(jù)庫(kù)里完成過濾、分組和聚合把結(jié)果集壓縮到可分析的大小。下面是一個(gè)典型分組統(tǒng)計(jì) SQLSELECT region, COUNT(*) AS cnt, AVG(sales_amount) AS avg_sales FROM orders WHERE order_date 2024-01-01 GROUP BY region ORDER BY avg_sales DESC;這段 SQL 的核心邏輯是先過濾時(shí)間范圍再按區(qū)域分組最后計(jì)算訂單數(shù)和平均銷售額。這里的關(guān)鍵順序是 WHERE 在 GROUP BY 之前執(zhí)行所以先縮小數(shù)據(jù)范圍再分組聚合在大表里性能會(huì)更好。2.3 機(jī)器學(xué)習(xí)從歷史數(shù)據(jù)中學(xué)習(xí)規(guī)律機(jī)器學(xué)習(xí)在數(shù)據(jù)科學(xué)流程里的作用是把清洗后的表格數(shù)據(jù)變成預(yù)測(cè)模型。它不是魔法而是從歷史樣本中尋找特征與目標(biāo)之間的關(guān)系。課程里更重視的是訓(xùn)練流程、評(píng)估方式和誤差來源而不是復(fù)雜的調(diào)參技巧。一個(gè)最小建模流程如下from sklearn.model_selection import train_test_split from sklearn.ensemble import RandomForestRegressor from sklearn.metrics import mean_squared_error X df.drop(price, axis1) y df[price] X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 ) model RandomForestRegressor(n_estimators100) model.fit(X_train, y_train) y_pred model.predict(X_test) rmse mean_squared_error(y_test, y_pred) ** 0.5 print(RMSE:, rmse)關(guān)鍵是train_test_split必須在任何使用全量數(shù)據(jù)的統(tǒng)計(jì)操作之前執(zhí)行。無(wú)論是標(biāo)準(zhǔn)化、缺失值填充還是異常值截?cái)喽紤?yīng)該用訓(xùn)練集計(jì)算參數(shù)再用同一組參數(shù)轉(zhuǎn)換測(cè)試集否則測(cè)試集信息會(huì)提前進(jìn)入訓(xùn)練過程導(dǎo)致評(píng)估結(jié)果虛高。2.4 Spark數(shù)據(jù)超過單機(jī)內(nèi)存時(shí)的分布式方案Spark 是一個(gè)分布式計(jì)算框架。在數(shù)據(jù)科學(xué)語(yǔ)境下最常用的是 Spark DataFrame它暴露的 API 與 pandas 相似但底層由集群并行執(zhí)行并且引入惰性求值機(jī)制定義轉(zhuǎn)換操作時(shí)不會(huì)立刻計(jì)算只有調(diào)用 show、write、count 等行動(dòng)操作時(shí)才會(huì)真正執(zhí)行。pandas 與 Spark 的差異可以從幾個(gè)維度對(duì)比維度pandasSpark DataFrame數(shù)據(jù)規(guī)模單機(jī)內(nèi)存適合 GB 級(jí)以下分布式存儲(chǔ)與計(jì)算適合 TB 級(jí)執(zhí)行方式即時(shí)計(jì)算單進(jìn)程為主惰性計(jì)算集群并行學(xué)習(xí)成本低接口直觀中等需要理解分區(qū)和行動(dòng)操作核心場(chǎng)景EDA、清洗、建模前處理大規(guī)模 ETL、全量特征計(jì)算、分布式訓(xùn)練前處理很多人在學(xué)完 pandas 后再學(xué) Spark會(huì)發(fā)現(xiàn)接口類似卻總報(bào)錯(cuò)。原因常常不是 API 記錯(cuò)了而是沒有理解“惰性執(zhí)行”和“分區(qū)并行”這兩個(gè)概念。Spark 的學(xué)習(xí)重點(diǎn)不是背算子而是理解一個(gè) DataFrame 從讀取到寫出之間系統(tǒng)什么時(shí)候真正開始計(jì)算、數(shù)據(jù)如何被切分到不同節(jié)點(diǎn)。3. 環(huán)境準(zhǔn)備把 pandas、SQL 和 Spark 都跑起來3.1 本地 Python 環(huán)境推薦用虛擬環(huán)境不要在系統(tǒng) Python 里直接安裝一堆數(shù)據(jù)科學(xué)庫(kù)時(shí)間一長(zhǎng)版本沖突很難處理。推薦先建虛擬環(huán)境python -m venv .venv # Linux / macOS source .venv/bin/activate # Windows .venv\Scripts\activate pip install --upgrade pip pip install pandas numpy scikit-learn matplotlib jupyter pyspark在 PyCharm 中新建項(xiàng)目時(shí)可以把 Project Interpreter 指向這個(gè)虛擬環(huán)境。之后在項(xiàng)目終端里執(zhí)行pip install pandas右下角解釋器會(huì)同步使用它。初學(xué)者經(jīng)常遇到“在 PyCharm 里 import pandas 報(bào) ModuleNotFoundError”的問題最常見原因不是 pandas 沒安裝而是終端安裝包時(shí)用的是全局 PythonPyCharm 項(xiàng)目解釋器卻指向另一個(gè)虛擬環(huán)境。檢查方式是打開 PyCharm 的 Settings 里的 Python Interpreter看當(dāng)前解釋器路徑再在項(xiàng)目終端執(zhí)行python -c import pandas; print(pandas.__version__)確認(rèn)命令行解釋器與項(xiàng)目解釋器一致。3.2 SQL 練習(xí)環(huán)境怎么選如果只想練 SQL 語(yǔ)法推薦 SQLite 或 DuckDB。它們都是零配置嵌入式數(shù)據(jù)庫(kù)不需要啟動(dòng)服務(wù)一個(gè)文件就是一個(gè)數(shù)據(jù)庫(kù)適合在 Jupyter 里邊跑邊看結(jié)果。如果需要練習(xí)與生產(chǎn)接近的數(shù)據(jù)庫(kù)語(yǔ)法可以使用 Docker 啟動(dòng) PostgreSQL 或 MySQLdocker run --name pg-test \ -e POSTGRES_PASSWORDpostgres \ -p 5432:5432 \ -d postgres:16這樣數(shù)據(jù)庫(kù)運(yùn)行在容器里不會(huì)污染宿主環(huán)境。用完可以docker stop pg-test需要重新使用時(shí)再啟動(dòng)。生產(chǎn)環(huán)境通常不會(huì)直接讓你接觸真實(shí)數(shù)據(jù)權(quán)限本地練熟增刪改查、窗口函數(shù)和 join才是最好的準(zhǔn)備。3.3 Spark 本地環(huán)境兩種搭法第一種方式是直接安裝 PySparkpip install pyspark安裝完成后可以用下面代碼驗(yàn)證from pyspark.sql import SparkSession spark SparkSession.builder.appName(test).getOrCreate() print(spark.version) spark.stop()PySpark 3.x 自帶本地運(yùn)行環(huán)境學(xué)習(xí)小數(shù)據(jù)集時(shí)不需要單獨(dú)下載 Hadoop。如果課程要求與某個(gè)發(fā)布版的 Spark 集群完全一致再去下載對(duì)應(yīng)的二進(jìn)制發(fā)行版。第二種方式是利用 Docker 啟動(dòng)獨(dú)立 Spark 鏡像適合模擬集群環(huán)境但只有一臺(tái)機(jī)器的同學(xué)。這種方式更接近真實(shí)部署但需要額外理解容器網(wǎng)絡(luò)和端口映射本地學(xué)習(xí)不必一上來就搞。需要注意一個(gè)常見坑Spark 本地模式也對(duì)臨時(shí)文件、路徑中的空格敏感。如果在 Windows 上使用包含中文或空格的目錄可能在提交任務(wù)時(shí)出現(xiàn)解析異常。建議把課程項(xiàng)目放在不含空格的路徑中。3.4 環(huán)境版本檢查清單初始化環(huán)境后按下面表格逐項(xiàng)確認(rèn)檢查項(xiàng)命令或方法期望結(jié)果Python 版本python --version3.9 或更高pandas 可用python -c import pandas; print(pandas.__version__)輸出版本號(hào)無(wú)報(bào)錯(cuò)scikit-learn 可用python -c import sklearn; print(sklearn.__version__)輸出版本號(hào)無(wú)報(bào)錯(cuò)Spark 可用運(yùn)行 SparkSession 創(chuàng)建代碼能輸出 Spark 版本SQLite 可用python -c import sqlite3; print(sqlite3.sqlite_version)輸出版本號(hào)Notebook 可用執(zhí)行jupyter notebook瀏覽器打開并能新建 ipynb這個(gè)清單應(yīng)該是開始任何數(shù)據(jù)科學(xué)項(xiàng)目前的固定動(dòng)作。環(huán)境不一致導(dǎo)致的報(bào)錯(cuò)往往比代碼邏輯錯(cuò)誤更消耗時(shí)間。4. 手寫一個(gè)最小數(shù)據(jù)科學(xué)閉環(huán)下面用一個(gè)房?jī)r(jià)數(shù)據(jù)集作為示例。不要關(guān)注數(shù)據(jù)本身是否真實(shí)存在重點(diǎn)看清洗、建模、評(píng)估之間的銜接邏輯。4.1 讀入數(shù)據(jù)并做概覽import pandas as pd df pd.read_csv(housing.csv) df.head() df.info()執(zhí)行info()后要重點(diǎn)觀察每列非空數(shù)量是否等于總行數(shù)哪些列是數(shù)值類型哪些列是 object。如果“price”“area”這類本應(yīng)是數(shù)值的列顯示為 object說明原始數(shù)據(jù)里混入了非數(shù)值內(nèi)容必須進(jìn)入清洗階段。4.2 數(shù)據(jù)清洗空值、重復(fù)值、類型轉(zhuǎn)換數(shù)據(jù)清洗的完整順序建議是先看空值再看重復(fù)行最后做類型轉(zhuǎn)換和異常值過濾。# 數(shù)值列統(tǒng)一轉(zhuǎn)成 float無(wú)法轉(zhuǎn)換的變成 NaN df[price] pd.to_numeric(df[price], errorscoerce) df[area] pd.to_numeric(df[area], errorscoerce) # 刪除完全重復(fù)的行 df df.drop_duplicates() # 刪除缺失目標(biāo)值的行缺失特征值可以用中位數(shù)填充 df df.dropna(subset[price]) for col in [area, room_count]: df[col] df[col].fillna(df[col].median()) # 過濾不合理業(yè)務(wù)值 df df[df[price] 0] df df[df[area] 0]這里解釋兩個(gè)選擇。第一特征列缺失值用中位數(shù)而不是均值填充是因?yàn)榫祵?duì)異常值敏感。如果某個(gè)特征分布嚴(yán)重右偏少數(shù)極大值會(huì)把均值拉高中位數(shù)更能代表典型水平。實(shí)際項(xiàng)目中還要記錄填充策略方便后續(xù)評(píng)審。第二在使用全量數(shù)據(jù)填中位數(shù)之前其實(shí)已經(jīng)先完成了訓(xùn)練集和測(cè)試集的劃分才能避免數(shù)據(jù)泄漏。更嚴(yán)謹(jǐn)?shù)淖龇ㄊ侵皇褂糜?xùn)練集的中位數(shù)填充測(cè)試集。示例為了講解方便變得簡(jiǎn)化但你要記住這個(gè)區(qū)別。4.3 探索性分析與可視化清洗后不要急著建模。先用圖表確認(rèn)目標(biāo)變量分布和特征相關(guān)性import matplotlib.pyplot as plt import seaborn as sns plt.figure(figsize(8, 6)) numeric_cols df.select_dtypes(includenumber).columns sns.heatmap(df[numeric_cols].corr(), annotTrue, cmapRdBu_r) plt.title(Correlation Matrix) plt.tight_layout() plt.show()相關(guān)矩陣可以幫助發(fā)現(xiàn)兩點(diǎn)是否有特征與目標(biāo)變量強(qiáng)相關(guān)這類特征通常是建模主力。是否有多列特征之間強(qiáng)相關(guān)這類特征會(huì)帶來多重共線性在部分線性模型中影響穩(wěn)定性。如果目標(biāo)變量分布嚴(yán)重偏斜比如房?jī)r(jià)少數(shù)極高值拉長(zhǎng)右尾可以先對(duì)目標(biāo)做np.log1p變換讓模型更關(guān)注相對(duì)誤差。4.4 特征工程與模型訓(xùn)練分類變量需要編碼。一種簡(jiǎn)單方式是獨(dú)熱編碼df_model pd.get_dummies(df, columns[neighborhood], drop_firstTrue)然后拆分訓(xùn)練集和測(cè)試集from sklearn.model_selection import train_test_split X df_model.drop(price, axis1) y df_model[price] X_train, X_test, y_train, y_test train_test_split( X, y, test_size0.2, random_state42 )這里random_state42的作用是固定隨機(jī)拆分結(jié)果讓實(shí)驗(yàn)可復(fù)現(xiàn)。實(shí)際項(xiàng)目中如果數(shù)據(jù)存在時(shí)間屬性應(yīng)該按時(shí)間切分而不是完全隨機(jī)切分因?yàn)槟Ｐ鸵A(yù)測(cè)的是未來數(shù)據(jù)。再訓(xùn)練一個(gè)隨機(jī)森林回歸模型from sklearn.ensemble import RandomForestRegressor model RandomForestRegressor(n_estimators200, max_depth10, random_state42) model.fit(X_train, y_train)隨機(jī)森林的優(yōu)勢(shì)在于它可以處理數(shù)值和編碼后的分類特征也能輸出特征重要性適合作為第一個(gè)基線模型。真正調(diào)參要基于驗(yàn)證集或交叉驗(yàn)證不能直接拿測(cè)試集反復(fù)試。4.5 模型評(píng)估與結(jié)果交付from sklearn.metrics import mean_squared_error y_pred model.predict(X_test) rmse mean_squared_error(y_test, y_pred) ** 0.5 print(Test RMSE:, rmse) # 特征重要性 importance pd.Series(model.feature_importances_, indexX.columns) print(importance.sort_values(ascendingFalse).head(10))評(píng)估時(shí)不要只看 RMSE 一個(gè)數(shù)字。建議同時(shí)看測(cè)試集 RMSE 與訓(xùn)練集 RMSE 的差距差距過大說明過擬合。殘差是否隨預(yù)測(cè)值變化有規(guī)律說明模型漏掉重要特征。與一個(gè)簡(jiǎn)單基線模型對(duì)比比如直接用目標(biāo)均值預(yù)測(cè)看看復(fù)雜模型是否真的有提升。交付時(shí)建議在 notebook 或報(bào)告里固定記錄以下信息數(shù)據(jù)集行數(shù)、清洗后剩余行數(shù)、特征數(shù)量、模型類型、超參數(shù)、測(cè)試集指標(biāo)、特征重要性排序、已知問題和下一步改進(jìn)方向。這些記錄在課程答辯和畢業(yè)設(shè)計(jì)中非常加分。5. SQL 部分要理解的三件事5.1 DataFrame 和 SQL 思維是一體兩面pandas 和 SQL 雖然語(yǔ)法不同但表達(dá)的語(yǔ)義高度對(duì)應(yīng)。語(yǔ)義pandasSQL選擇列df[[a, b]]SELECT a, b過濾行df[df[a] 1]WHERE a 1分組聚合df.groupby(g)[v].mean()SELECT g, AVG(v) FROM t GROUP BY g排序df.sort_values(a)ORDER BY a連接兩張表df1.merge(df2, onkey)JOIN理解這種對(duì)應(yīng)關(guān)系能幫你快速把一段 pandas 代碼改寫成直接的 SQL 取數(shù)。實(shí)際項(xiàng)目中優(yōu)秀的數(shù)據(jù)科學(xué)工程師不會(huì)把所有數(shù)據(jù)搬到本地而是盡量把過濾和聚合下推到數(shù)據(jù)庫(kù)。有一個(gè)容易混淆的地方pandas 的groupby默認(rèn)會(huì)把分組鍵變成索引需要reset_index()才能恢復(fù)為普通列SQL 的GROUP BY則直接把分組鍵作為輸出列。兩者執(zhí)行結(jié)果相似但后續(xù)處理習(xí)慣不同。5.2 窗口函數(shù)的使用場(chǎng)景窗口函數(shù)解決的是“分組后還要保留明細(xì)行”的問題。普通 group by 會(huì)把多行壓成一行窗口函數(shù)則在不改變明細(xì)行數(shù)的前提下計(jì)算分組聚合。典型場(chǎng)景是“每個(gè)部門薪資排名 Top 3”SELECT department, employee_name, salary FROM ( SELECT department, employee_name, salary, ROW_NUMBER() OVER ( PARTITION BY department ORDER BY salary DESC ) AS rn FROM employees ) t WHERE rn 3;這里PARTITION BY department表示按部門切分窗口ORDER BY salary DESC表示在窗口內(nèi)排序ROW_NUMBER()生成組內(nèi)序號(hào)。外層再過濾rn 3就能得到每個(gè)部門薪資最高的三個(gè)人。窗口函數(shù)還有RANK()、DENSE_RANK()、SUM() OVER()、LAG()、LEAD()等用法分別用于并列排名、累計(jì)求和、取上一行、取下一行。在時(shí)間序列特征提取和業(yè)務(wù)報(bào)表中這些能力非常常用。5.3 慢 SQL 的基本排查路徑數(shù)據(jù)科學(xué)流程中SQL 取數(shù)經(jīng)常是瓶頸。遇到慢查詢按下面順序排查用EXPLAIN查看執(zhí)行計(jì)劃確認(rèn)是否全表掃描。檢查 WHERE 和 JOIN 字段是否有索引。確認(rèn)沒有寫成兩表大結(jié)果集先做笛卡爾積再過濾的寫法。不要把SELECT *帶回所有列只選擇需要的字段。把過濾條件放在 GROUP BY 之前盡早減少參與計(jì)算的數(shù)據(jù)量。如果是數(shù)據(jù)倉(cāng)庫(kù)場(chǎng)景以上路徑仍然適用但要繼續(xù)看分區(qū)裁剪是否生效。按分區(qū)字段過濾可以極大減少掃描量。5.4 寫 SQL 時(shí)的幾個(gè)容易忽略的坑第一個(gè)坑是 NULL 參與比較。SQL 中WHERE column ! x會(huì)排除掉column IS NULL的行因?yàn)镹ULL與任何值比較都返回未知。如果要保留缺失值要顯式寫WHERE column ! x OR column IS NULL。第二個(gè)坑是 join 鍵重復(fù)。兩張表 join 之前要先確認(rèn)關(guān)聯(lián)鍵的基數(shù)。如果主鍵重復(fù)結(jié)果行數(shù)會(huì)成倍放大進(jìn)入統(tǒng)計(jì)或建模后會(huì)造成雙重計(jì)數(shù)。第三個(gè)坑是拼接 SQL 字符串。在業(yè)務(wù)系統(tǒng)或腳本中千萬(wàn)不要用字符串拼接用戶輸入來構(gòu)造 SQL應(yīng)該使用參數(shù)化查詢或占位符方式否則會(huì)產(chǎn)生注入安全風(fēng)險(xiǎn)。這是工程底線任何場(chǎng)景都不能妥協(xié)。6. Spark 分布式計(jì)算的實(shí)戰(zhàn)要點(diǎn)6.1 從 pandas 到 Spark 的思維遷移很多人在開始學(xué) Spark 時(shí)自然希望 API 和 pandas 完全一樣但這是誤解。Spark DataFrame 的 API 雖然看起來像底層執(zhí)行模型不同。先看最小示例from pyspark.sql import SparkSession spark SparkSession.builder.appName(example).getOrCreate() sdf spark.read.csv(large_data.csv, headerTrue, inferSchemaTrue) result sdf.groupBy(region).agg({sales: sum}) result.show()這里有一個(gè)關(guān)鍵點(diǎn)groupBy和agg只是構(gòu)造了執(zhí)行計(jì)劃真正計(jì)算發(fā)生在show()被調(diào)用時(shí)。這種惰性求值設(shè)計(jì)讓 Spark 可以把一系列轉(zhuǎn)換操作組合成完整執(zhí)行計(jì)劃再自動(dòng)做優(yōu)化比如調(diào)整 join 順序、下推過濾條件。pandas 中所有操作都立即執(zhí)行Spark 中則要區(qū)分轉(zhuǎn)換操作和行動(dòng)操作。只定義轉(zhuǎn)換而不觸發(fā)行動(dòng)程序不會(huì)報(bào)錯(cuò)也不會(huì)真正跑數(shù)據(jù)。很多初學(xué)者的疑惑是“代碼沒報(bào)錯(cuò)但等待時(shí)間很長(zhǎng)”最后發(fā)現(xiàn)是在反復(fù)觸發(fā)多個(gè) action 導(dǎo)致重復(fù)計(jì)算。6.2 快速跑通本地 Spark 任務(wù)本地開發(fā)時(shí)可以使用 local 模式spark-submit --master local[2] your_job.pylocal[2]表示使用兩個(gè) CPU 核心并行執(zhí)行本地任務(wù)。local[*]表示使用本機(jī)全部可用核數(shù)。如果是 YARN 集群環(huán)境提交命令會(huì)更復(fù)雜spark-submit \ --master yarn \ --deploy-mode cluster \ --driver-memory 2g \ --executor-memory 4g \ --executor-cores 2 \ --num-executors 10 \ your_job.py這幾個(gè)參數(shù)直接決定作業(yè)能申請(qǐng)多少資源。executor-memory是每個(gè) Executor 的 JVM 堆內(nèi)存executor-cores是每個(gè) Executor 可用的 CPU 核數(shù)num-executors是 Executor 數(shù)量。配置過高超過 YARN 隊(duì)列上限任務(wù)不會(huì)啟動(dòng)配置過低則并行度不夠作業(yè)會(huì)很慢。6.3 為什么 Executor 在 YARN 上每個(gè)容器只分配一個(gè) vCore這是 Spark 學(xué)習(xí)群里出現(xiàn)頻率很高的問題現(xiàn)象是明明機(jī)器有幾十個(gè)核心作業(yè)里 Executor 的 Core 數(shù)卻只有 1任務(wù)跑得很慢?？赡茉虬磧?yōu)先級(jí)排列提交時(shí)沒有顯式指定--executor-cores而默認(rèn)值是 1。在 YARN 模式下不同發(fā)布版的默認(rèn)配置不完全一致但很多場(chǎng)景下確實(shí)只有一個(gè) Core。YARN 調(diào)度器限制了單個(gè)容器最大資源導(dǎo)致申請(qǐng)超過限制后被降級(jí)或失敗。集群節(jié)點(diǎn)空閑資源不足即使申請(qǐng)了 2 個(gè) Core資源管理器也只能按最小可用資源分配。沒有合理設(shè)置spark.dynamicAllocation.enabled動(dòng)態(tài)調(diào)整 Executor 數(shù)量的機(jī)制沒有生效。排查方式很直接打開 Spark Web UI 的 Executors 標(biāo)簽頁(yè)查看每個(gè) Executor 的 Cores 屬性同時(shí)打開 YARN ResourceManager UI看容器實(shí)際分配的資源。不要把 Spark UI 里的任務(wù)并發(fā)數(shù)當(dāng)成 CPU 核數(shù)兩者不同。如果是本地偽分布式環(huán)境只有一個(gè)節(jié)點(diǎn)幾個(gè)核心不必過度糾結(jié) vCore 數(shù)如果確實(shí)需要調(diào)高 executor 并行度要按集群節(jié)點(diǎn)規(guī)格估算可分配資源。假設(shè)一個(gè)節(jié)點(diǎn)有 16 vCore32GB 內(nèi)存系統(tǒng)和其他服務(wù)要留一部分資源剩余資源才能分配給 Spark。7. 常見問題排查清單7.1 pandas 類問題問題現(xiàn)象可能原因檢查方式處理建議數(shù)值列變成 object 類型數(shù)據(jù)中有“,”或其他非數(shù)字字符df.dtypespd.to_numeric(df[col], errorscoerce)合并表后行數(shù)異常增長(zhǎng)join 鍵在兩張表中有重復(fù)df[key].duplicated().sum()先查重復(fù)鍵再?zèng)Q定去重或確認(rèn)是否需要多對(duì)多連接對(duì)某列賦值后出現(xiàn)大量 NaNDataFrame 索引不對(duì)齊檢查df.index是否連續(xù)使用reset_index(dropTrue)后再賦值調(diào)用了dropna()但行數(shù)沒變空值是以空字符串形式存在df[col].value_counts(dropnaFalse)把空字符串替換成None或直接過濾7.2 SQL 類問題問題現(xiàn)象可能原因檢查方式處理建議查詢結(jié)果出現(xiàn)重復(fù)行join 鍵非唯一分別查兩張表的鍵基數(shù)確認(rèn)關(guān)聯(lián)是否多對(duì)多必要時(shí)先聚合再去重查詢結(jié)果為空NULL 參與了比較檢查 WHERE 條件和數(shù)據(jù)樣例用IS NULL顯式處理缺失值查詢很慢無(wú)索引或全表掃描執(zhí)行EXPLAIN查看執(zhí)行計(jì)劃建立索引、裁剪列、盡早過濾窗口函數(shù)報(bào)語(yǔ)法錯(cuò)誤數(shù)據(jù)庫(kù)版本過舊查看數(shù)據(jù)庫(kù)文檔中的窗口函數(shù)支持更換引擎或在 group by 后用自 join 替代7.3 Spark 類問題問題現(xiàn)象可能原因檢查方式處理建議作業(yè)長(zhǎng)時(shí)間卡住或 OOMshuffle 數(shù)據(jù)量過大Spark UI 的 Stages 頁(yè)查看 shuffle 讀寫量增加分區(qū)數(shù)、調(diào)大執(zhí)行內(nèi)存、減少不必要的 action 次數(shù)每個(gè) Executor 只有 1 個(gè) vCore提交參數(shù)未配置或資源受限查看 Spark UI Executors顯式指定--executor-cores確認(rèn) YARN 隊(duì)列上限日志出現(xiàn)大量 WARN 但看不出錯(cuò)誤配置或依賴版本不匹配找到第一條 ERROR 或 Exception按日志堆棧里提到的類名搜解決方法輸出寫入的文件數(shù)過多分區(qū)太碎查看輸出目錄 part 文件數(shù)量用coalesce()或調(diào)整分區(qū)策略控制文件數(shù)7.4 排錯(cuò)順序參考遇到問題時(shí)不要一開始就懷疑框架有 Bug。多數(shù)情況下問題出在輸入、路徑、版本、配置這四個(gè)層面。建議按下面順序排查輸入數(shù)據(jù)格式是否符合預(yù)期。文件路徑、列名、表名是否寫對(duì)。Python 或 Spark 依賴版本是否與代碼兼容。配置是否真的生效比如環(huán)境變量和 spark-defaults.conf。權(quán)限、端口、網(wǎng)絡(luò)、資源限制是否正確。日志里是否有關(guān)鍵異常堆棧?？蚣鼙旧硎欠翊嬖谝阎拗?。其中第 4 步最容易忽略。在本地改配置不一定同步到集群在 PyCharm 里改代碼不一定同步到正在運(yùn)行的環(huán)境。先確認(rèn)所有配置文件和運(yùn)行環(huán)境一致再開始查代碼邏輯。8. 從課程實(shí)戰(zhàn)走向工程化8.1 數(shù)據(jù)科學(xué)代碼不能只是腳本課程練習(xí)里寫一個(gè)從上到下的 notebook 腳本是可以接受的。但進(jìn)入項(xiàng)目后代碼應(yīng)該更像工程而不是流水賬。推薦做法把數(shù)據(jù)讀取、清洗、特征工程、建模拆成函數(shù)或模塊讓每一步可以單獨(dú)測(cè)試。用配置文件統(tǒng)一管理路徑、參數(shù)和依賴版本而不是散落在代碼里。在關(guān)鍵階段打印日志比如“原始數(shù)據(jù) 10000 行清洗后 9600 行”方便定位數(shù)據(jù)問題。保留中間產(chǎn)物比如清洗后的 CSV 或 Parquet避免每次調(diào)試都重跑全部步驟。對(duì)異常分支做處理比如某個(gè) CSV 文件缺失時(shí)不至于整個(gè)程序崩潰。下面是一個(gè)簡(jiǎn)單結(jié)構(gòu)示例def load_data(path: str) - pd.DataFrame: df pd.read_csv(path) print(floaded rows: {len(df)}) return df def clean_data(df: pd.DataFrame) - pd.DataFrame: before len(df) df df.drop_duplicates() df df.dropna(subset[price]) print(fcleaned: {before} - {len(df)}) return df def train_model(df: pd.DataFrame): # 特征工程、拆分、建模 pass df load_data(housing.csv) df clean_data(df) train_model(df)日志的價(jià)值在數(shù)據(jù)科學(xué)項(xiàng)目中格外明顯因?yàn)閿?shù)據(jù)變化很快。今天能跑通的數(shù)據(jù)明天字段可能變了、空值比例可能變了、分布可能漂移了。沒有日志很難定位差異點(diǎn)。8.2 學(xué)習(xí)環(huán)境與生產(chǎn)環(huán)境的差異維度學(xué)習(xí)環(huán)境生產(chǎn)環(huán)境數(shù)據(jù)量小樣本單機(jī)內(nèi)存可處理大樣本可能超出單機(jī)內(nèi)存數(shù)據(jù)質(zhì)量相對(duì)干凈重點(diǎn)在學(xué)方法字段漂移、缺失、來源不穩(wěn)定代碼要求能跑通、能解釋可測(cè)試、可監(jiān)控、可回滾依賴管理虛擬環(huán)境即可需要固定版本、容器化或鎖文件模型上線Notebook 實(shí)驗(yàn)即可需要服務(wù)化、日志、監(jiān)控、告警權(quán)限與安全本機(jī)文件為主數(shù)據(jù)權(quán)限、敏感信息脫敏、審計(jì)學(xué)習(xí)時(shí)不需要一步到位但要意識(shí)到課程里跑通的模型只是原型離線上服務(wù)還有一段距離。8.3 交付或發(fā)布前的可復(fù)用檢查清單不管是課程設(shè)計(jì)、畢業(yè)設(shè)計(jì)還是真實(shí)項(xiàng)目交付下面這份清單都適用[ ] 是否清理了硬編碼的數(shù)據(jù)庫(kù)密碼、API Key 和敏感路徑[ ] 是否固定了 Python 包版本而不是依賴“剛裝的最新版”[ ] 訓(xùn)練集和測(cè)試集是否嚴(yán)格分開所有統(tǒng)計(jì)參數(shù)是否只從訓(xùn)練集學(xué)習(xí)[ ] 是否設(shè)置隨機(jī)種子實(shí)驗(yàn)是否可以復(fù)現(xiàn)[ ] 是否記錄了數(shù)據(jù)清洗前和清洗后的行數(shù)和字段變化[ ] 是否檢查過模型在測(cè)試集上的表現(xiàn)并與基線模型對(duì)比[ ] 是否輸出了特征重要性或其它可解釋性信息[ ] 是否把關(guān)鍵日志和中間結(jié)果保留下來[ ] 是否考慮了未來數(shù)據(jù)漂移后什么情況下需要重新訓(xùn)練[ ] 是否準(zhǔn)備了回滾方案模型效果變差時(shí)如何回切舊版本這些條目看起來簡(jiǎn)單但實(shí)際項(xiàng)目里最容易出問題的反而是前幾條代碼里殘留密碼、數(shù)據(jù)泄漏、實(shí)驗(yàn)結(jié)果不可復(fù)現(xiàn)。8.4 下一步擴(kuò)展方向走完 pandas、SQL、機(jī)器學(xué)習(xí)、Spark 這條主線后還可以繼續(xù)擴(kuò)展學(xué)習(xí)更系統(tǒng)的 ETL 工程理解數(shù)據(jù)管道是如何從源端流向數(shù)倉(cāng)和特征表。學(xué)習(xí)數(shù)據(jù)質(zhì)量測(cè)試用測(cè)試來保證字段分布、空值率、主鍵唯一性符合預(yù)期。學(xué)習(xí)模型服務(wù)化把訓(xùn)練好的模型變成 API 接口并加上監(jiān)控和告警。學(xué)習(xí)特征存儲(chǔ)和模型注冊(cè)讓特征和模型版本可追蹤。在更大規(guī)模的場(chǎng)景中深入學(xué)習(xí)分布式計(jì)算比如分區(qū)策略、shuffle 調(diào)優(yōu)和資源調(diào)度。如果你正在準(zhǔn)備課程設(shè)計(jì)或畢業(yè)論文可以把“完整數(shù)據(jù)科學(xué)閉環(huán)”直接作為項(xiàng)目主線先說明問題背景再介紹數(shù)據(jù)來源和環(huán)境然后依次描述數(shù)據(jù)清洗、EDA、建模、評(píng)估和總結(jié)。每一章都要有可運(yùn)行代碼和驗(yàn)證結(jié)果這樣評(píng)審老師每看一步都能復(fù)現(xiàn)通過率會(huì)高很多。學(xué)習(xí)這門課程時(shí)也不要只追求把 27 講全部快速過一遍而是每學(xué)一個(gè)階段就停下來用一份自己的數(shù)據(jù)重做一遍直到可以脫離課件獨(dú)立完成整個(gè)閉環(huán)。