戰(zhàn)：requests+xpath抓取貓眼Top100入庫(kù)MySQL)
有人問學(xué)爬蟲從哪個(gè)項(xiàng)目入手比較好。我通常建議第一選擇別是那些上來就要處理加密參數(shù)的平臺(tái)而是找一個(gè)服務(wù)端渲染、結(jié)構(gòu)規(guī)整的榜單頁。貓眼電影的Top100榜單正好是這個(gè)定位用requests發(fā)一個(gè)GET請(qǐng)求用xpath從HTML里把片名、主演、上映時(shí)間、評(píng)分摳出來最后寫進(jìn)MySQL。整個(gè)過程不涉及Scrapy框架也不用Selenium邏輯鏈路非常直接請(qǐng)求、解析、入庫(kù)。這篇文章就把這個(gè)完整流程拆開說清楚每個(gè)環(huán)節(jié)都給可復(fù)現(xiàn)代碼適合剛學(xué)完P(guān)ython基礎(chǔ)、想把HTTP請(qǐng)求、頁面解析和數(shù)據(jù)庫(kù)操作串起來做一遍的同學(xué)。1. 開爬前先想清楚三件事目標(biāo)頁面、字段設(shè)計(jì)、合規(guī)邊界1.1 為什么選貓眼電影作為練手對(duì)象判斷一個(gè)網(wǎng)站適不適合做入門爬蟲主要看三點(diǎn)HTML里有沒有數(shù)據(jù)、結(jié)構(gòu)規(guī)不規(guī)整、反爬門檻高不高。貓眼電影Top100榜單在這三點(diǎn)上表現(xiàn)得非常典型。它不像很多現(xiàn)代網(wǎng)站那樣用JavaScript異步渲染而是在頁面源碼里直接把每條電影信息包在dd標(biāo)簽里。也就是說requests拿到的HTML就是最終要解析的HTML不需要再走接口、不好解密。對(duì)于第一次接觸爬蟲的人而言這種所見即所得的頁面能最大程度減少變量干擾讓你專注于理解requests和xpath這兩個(gè)核心工具本身。為什么不推薦用正則表達(dá)式直接摳數(shù)據(jù)正則處理文本確實(shí)高效但面對(duì)HTML這種帶嵌套結(jié)構(gòu)的半結(jié)構(gòu)化文檔寫起來會(huì)非常痛苦稍微變一點(diǎn)換行縮進(jìn)就失效。xpath則是為樹狀文檔設(shè)計(jì)的查詢語言可以按標(biāo)簽、屬性、層級(jí)關(guān)系定位元素可讀性和穩(wěn)定性都遠(yuǎn)勝于一長(zhǎng)串正則。至于BeautifulSoup的CSS選擇器當(dāng)然也能做但xpath是很多爬蟲框架底層的定位方式學(xué)會(huì)之后去看Scrapy、看抓包工具的xpath查詢、寫自動(dòng)化腳本都會(huì)更順手。1.2 字段選型和存儲(chǔ)方案實(shí)戰(zhàn)項(xiàng)目不需要貪多建議控制在5個(gè)字段左右。我選的是排名、片名、主演、上映時(shí)間、評(píng)分。這五個(gè)字段覆蓋了三種最常見的提取場(chǎng)景文本直接提取片名、帶前綴的文本清洗主演、多個(gè)子節(jié)點(diǎn)內(nèi)容拼接評(píng)分。把這三類處理練熟基本就能應(yīng)對(duì)大多數(shù)靜態(tài)頁面的解析任務(wù)了。存儲(chǔ)方案上很多人第一反應(yīng)是存CSV圖省事。但既然項(xiàng)目標(biāo)題里寫了寫入數(shù)據(jù)庫(kù)我們就直接用MySQL。CSV和數(shù)據(jù)庫(kù)的差別用一張表就能看懂對(duì)比維度CSVMySQL重復(fù)數(shù)據(jù)控制需要自己讀文件判重唯一索引自動(dòng)去重并發(fā)寫入容易沖突事務(wù)機(jī)制安全可控查詢效率全量掃描條件索引快速定位工程化程度適合一次性分析適合持續(xù)更新和對(duì)外提供數(shù)據(jù)相比之下MySQL更像是數(shù)據(jù)服務(wù)的形態(tài)而且建表、插入、去重這些動(dòng)作本身就是后端開發(fā)的基本功。練完這個(gè)項(xiàng)目SQL操作也順手掌握了。1.3 合規(guī)與禮貌爬取這一步很多人會(huì)跳過但我建議放在最前面。爬蟲不是技術(shù)能跑通就萬事大吉先確認(rèn)目標(biāo)站點(diǎn)是否有禁止采集的聲明遵守robots.txt的基本要求。本文演示用的榜單頁數(shù)據(jù)屬于公開可瀏覽的內(nèi)容但僅用于個(gè)人學(xué)習(xí)和功能演示不要抓取后做商業(yè)化使用也不要高頻請(qǐng)求、開多線程猛抓?？刂普?qǐng)求頻率、設(shè)置適當(dāng)?shù)难訒r(shí)既是個(gè)人學(xué)習(xí)時(shí)的基本禮貌也能大大降低觸發(fā)反爬的概率。2. 環(huán)境準(zhǔn)備依賴庫(kù)安裝與MySQL初始化2.1 Python虛擬環(huán)境和三個(gè)核心庫(kù)建議使用Python 3.10以上版本先用虛擬環(huán)境隔離項(xiàng)目依賴避免污染全局環(huán)境。創(chuàng)建并激活虛擬環(huán)境python -m venv venv venv\Scripts\activate # Windows source venv/bin/activate # Linux/macOS然后安裝三個(gè)庫(kù)pip install requests lxml pymysqlrequests負(fù)責(zé)發(fā)送HTTP請(qǐng)求lxml提供etree.HTML方法能快速把HTML文本解析成可查詢的樹狀結(jié)構(gòu)核心就是它的.xpath()方法pymysql是Python連接MySQL的驅(qū)動(dòng)純Python實(shí)現(xiàn)安裝簡(jiǎn)單、社區(qū)活躍比官方mysql-connector-python更輕量。這里我不推薦使用selenium因?yàn)樗悄M瀏覽器方案啟動(dòng)慢、消耗資源大對(duì)這種靜態(tài)渲染頁面屬于降維打擊而且會(huì)把請(qǐng)求和解析兩個(gè)環(huán)節(jié)混在一起反而不利于理解HTTP爬蟲的本質(zhì)。2.2 建庫(kù)建表字段類型和唯一索引確保本機(jī)MySQL正常運(yùn)行登錄后執(zhí)行建庫(kù)語句CREATE DATABASE maoyan_demo DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; USE maoyan_demo; CREATE TABLE movie ( id INT AUTO_INCREMENT PRIMARY KEY, rank_no INT NOT NULL COMMENT 排名, movie_name VARCHAR(200) NOT NULL COMMENT 片名, actors VARCHAR(500) DEFAULT COMMENT 主演, release_time VARCHAR(100) DEFAULT COMMENT 上映時(shí)間, score DECIMAL(3,1) DEFAULT NULL COMMENT 評(píng)分, UNIQUE KEY uniq_name_time (movie_name, release_time) ) ENGINEInnoDB DEFAULT CHARSETutf8mb4;這里有幾個(gè)設(shè)計(jì)細(xì)節(jié)值得展開。字符集必須用utf8mb4因?yàn)榘駟卫镉行┢椭餮菝挚赡馨厥庾址鹵tf8mb4可以完整覆蓋否則插入時(shí)會(huì)報(bào)1366編碼錯(cuò)誤。評(píng)分字段用DECIMAL(3,1)既能保留一位小數(shù)也避免浮點(diǎn)誤差。最關(guān)鍵的是唯一索引uniq_name_time它建在movie_name和release_time的組合上。為什么要這么做因?yàn)椴煌攴菘赡苌嫌惩娪皢渭冇闷鑫ㄒ绘I會(huì)誤殺用片名加上映時(shí)間兩個(gè)維度基本能鎖定一條唯一記錄。有了這個(gè)索引后面入庫(kù)時(shí)就可以用INSERT IGNORE實(shí)現(xiàn)自動(dòng)去重。3. 目標(biāo)頁面結(jié)構(gòu)摸底開發(fā)者工具與XPath定位思路3.1 打開頁面找到榜單列表的DOM特征在瀏覽器里打開貓眼電影榜單頁建議直接搜索貓眼電影實(shí)時(shí)票房再進(jìn)入榜單入口。進(jìn)入頁面后右鍵點(diǎn)擊任意一部電影的片名選擇檢查DevTools會(huì)自動(dòng)定位到該節(jié)點(diǎn)。順著Elements面板向上找會(huì)看到每部電影的完整信息都被包在一個(gè)dd標(biāo)簽里而這些dd的共同父級(jí)是dl classboard-wrapper。這個(gè)觀察是整個(gè)爬蟲的關(guān)鍵。與其費(fèi)勁寫一長(zhǎng)串絕對(duì)路徑不如先找到穩(wěn)定的列表容器。頁面改版時(shí)只要列表容器和條目標(biāo)簽沒變解析邏輯就大概率還能用。我的定位思路是先確認(rèn)容器再確認(rèn)單條記錄最后才去看字段節(jié)點(diǎn)。對(duì)應(yīng)到xpath列表容器//dl[classboard-wrapper] 單條記錄//dl[classboard-wrapper]/dd3.2 不要迷信開發(fā)者工具里的Copy XPathChrome開發(fā)者工具右鍵可以復(fù)制XPath但復(fù)制出來的往往是絕對(duì)路徑長(zhǎng)這樣/html/body/div[2]/div[2]/div[2]/dl/dd[1]/div/div[2]/p[1]/a這種路徑一旦頁面結(jié)構(gòu)有細(xì)微調(diào)整立刻失效。而且它沒有任何語義別人拿到代碼根本看不懂。正確做法是手寫相對(duì)xpath以列表節(jié)點(diǎn)為起點(diǎn)用點(diǎn)開頭表示在當(dāng)前節(jié)點(diǎn)下繼續(xù)查找方式示例穩(wěn)定性絕對(duì)路徑/html/body/div[2]/div[2]/dl/dd[1]//p[1]/a差層級(jí)一變就掛相對(duì)路徑//dl[classboard-wrapper]/dd[1]//p[classname]/a好定位邏輯清晰相對(duì)路徑的核心思想是先找靠得住的錨點(diǎn)再在錨點(diǎn)下面找目標(biāo)。寫xpath就像在陌生商場(chǎng)里找店鋪先找到地標(biāo)建筑再按指示牌走比記住每一步的樓梯數(shù)量靠譜得多。3.3 頁面源碼里的空白符和換行處理開始寫解析代碼前還有一個(gè)容易踩的坑瀏覽器Elements面板里看到的數(shù)據(jù)是渲染后的而requests拿到的頁面源碼里可能包含大量換行和空格。比如p classstar 主演沈騰, 馬麗 /p直接用text()提取返回值會(huì)帶著前后的換行和縮進(jìn)所以后面解析時(shí)一定要加strip()。這也解釋了為什么在寫代碼前先手動(dòng)查看一下返回的HTML文本有助于對(duì)后面要做多少清洗工作心里有數(shù)。4. requests取數(shù)實(shí)戰(zhàn)請(qǐng)求頭、狀態(tài)檢查與重試4.1 構(gòu)造一個(gè)看起來像正常人的請(qǐng)求頭用requests請(qǐng)求頁面最不起眼但也最容易出問題的就是請(qǐng)求頭。如果裸奔請(qǐng)求服務(wù)端看到陌生的Python默認(rèn)User-Agent很可能直接返回403。我通常這樣構(gòu)造import requests headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36, Referer: https://maoyan.com/, Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8 }User-Agent模擬的是瀏覽器環(huán)境告訴服務(wù)端我是正常訪客。Referer表示請(qǐng)求是從站點(diǎn)首頁跳轉(zhuǎn)過來的很多站點(diǎn)會(huì)校驗(yàn)這個(gè)頭。為什么不需要Cookie對(duì)于榜單頁這種公開數(shù)據(jù)一般無需登錄即可訪問所以第一版請(qǐng)求頭沒必要帶Cookie等到頁面返回異常時(shí)再補(bǔ)不遲。4.2 用狀態(tài)碼和頁面特征雙重校驗(yàn)?zāi)玫巾憫?yīng)后先別急著解析先做兩道檢查resp requests.get(url, headersheaders, timeout10) print(狀態(tài)碼:, resp.status_code) print(響應(yīng)長(zhǎng)度:, len(resp.text)) if board-wrapper not in resp.text: print(頁面中沒有board-wrapper可能被反爬或頁面結(jié)構(gòu)變化)狀態(tài)碼200只代表服務(wù)器給了響應(yīng)不代表內(nèi)容是對(duì)的。很多時(shí)候反爬會(huì)返回200但頁面內(nèi)容是一段驗(yàn)證邏輯或空殼。用board-wrapper這個(gè)頁面特征做關(guān)鍵詞校驗(yàn)是最簡(jiǎn)單有效的辦法。如果特征缺失直接停止解析先看頁面是怎么回事。4.3 超時(shí)設(shè)置與簡(jiǎn)易重試機(jī)制網(wǎng)絡(luò)請(qǐng)求不可能每次都很順利所以超時(shí)和重試是必修課。requests.get如果不設(shè)timeout可能會(huì)無限等待整個(gè)腳本就卡死在那里。我習(xí)慣寫一個(gè)帶重試的小函數(shù)import time import random def fetch_html(url, headers, retries3, timeout10): for attempt in range(retries): try: resp requests.get(url, headersheaders, timeouttimeout) if resp.status_code 200: return resp.text print(f第{attempt 1}次請(qǐng)求狀態(tài)碼: {resp.status_code}) except requests.RequestException as e: print(f第{attempt 1}次請(qǐng)求異常: {e}) time.sleep(1 attempt * 2) return None這個(gè)重試的邏輯是每次失敗后等待時(shí)間遞增給服務(wù)端一個(gè)喘息空間而不是快速連續(xù)重試。抓取多頁時(shí)每頁之間也要加隨機(jī)等待time.sleep(random.uniform(1, 2))隨機(jī)間隔比固定間隔更像真實(shí)用戶也能防止被自動(dòng)化檢測(cè)識(shí)別。5. XPath解析字段提取與數(shù)據(jù)清洗5.1 用lxml構(gòu)建DOM樹先確認(rèn)條目數(shù)量requests拿到的是純文本lxml負(fù)責(zé)把它解析成可查詢的樹。解析代碼很簡(jiǎn)潔from lxml import etree tree etree.HTML(html_text) items tree.xpath(//dl[classboard-wrapper]/dd) print(解析到電影條數(shù):, len(items))這一步輸出的條數(shù)如果和預(yù)期不符千萬別繼續(xù)往下寫。先確認(rèn)是不是頁面結(jié)構(gòu)變了是不是被反爬了。寧可在這里停下來排查也不要等到入庫(kù)時(shí)才發(fā)現(xiàn)全是空數(shù)據(jù)。5.2 單條記錄里的XPath字段提取拿到items列表后遍歷每一條item。注意每個(gè)xpath表達(dá)式前都要加.表示從當(dāng)前item開始找否則xpath會(huì)全局搜索可能導(dǎo)致不同條目之間數(shù)據(jù)串位。核心提取邏輯如下for item in items: rank item.xpath(./i[classboard-index]/text()) rank rank[0].strip() if rank else name item.xpath(.//p[classname]/a/text()) name name[0].strip() if name else actors item.xpath(.//p[classstar]/text()) actors actors[0].strip().replace(主演, ).replace(主演:, ) if actors else release item.xpath(.//p[classreleasetime]/text()) release release[0].strip() if release else score_parts item.xpath(.//p[classscore]//text()) score_text .join(score_parts).strip() score float(score_text) if score_text else 0.0每個(gè)字段都做了空列表兜底。原因是xpath在找不到節(jié)點(diǎn)時(shí)不會(huì)拋異常而是返回空列表如果你直接取[0]就會(huì)IndexError。這是寫爬蟲時(shí)最常見的崩潰原因之一。5.3 為什么評(píng)分要拼接而不是直接取text榜單頁里的評(píng)分不是像片名那樣一個(gè)文本節(jié)點(diǎn)完事而是拆成了兩個(gè)i標(biāo)簽比如i classinteger9./ii classfraction7/i瀏覽器里看到的是9.7。如果用.//p[classscore]/text()取出來是兩個(gè)i標(biāo)簽的文本嗎不是/text()只取當(dāng)前節(jié)點(diǎn)的直接文本子節(jié)點(diǎn)而i標(biāo)簽的內(nèi)容不會(huì)包含在p的text()里。所以要用//text()取所有后代文本節(jié)點(diǎn)再用join拼接才能得到完整的9.7。這一步非常能體現(xiàn)xpath的層級(jí)邏輯也提醒我遇到數(shù)據(jù)被標(biāo)簽拆分的情況時(shí)先看看DOM結(jié)構(gòu)再動(dòng)手。5.4 返回結(jié)果統(tǒng)一成列表字典為了讓后續(xù)入庫(kù)代碼更清晰我會(huì)把每條電影信息統(tǒng)一封裝成字典movie_list.append({ rank: rank, name: name, actors: actors, release: release, score: score })這樣后面入庫(kù)函數(shù)只負(fù)責(zé)接收字典列表不需要關(guān)心解析邏輯。模塊邊界清楚出問題時(shí)也好排查。6. 寫入MySQL連接、去重與批量插入6.1 用PyMySQL建立連接數(shù)據(jù)庫(kù)連接的代碼要穩(wěn)定有幾個(gè)細(xì)節(jié)不能省import pymysql conn pymysql.connect( host127.0.0.1, port3306, userroot, password你的密碼, databasemaoyan_demo, charsetutf8mb4, cursorclasspymysql.cursors.DictCursor ) cursor conn.cursor()charsetutf8mb4必須和建庫(kù)時(shí)保持一致否則中文一樣會(huì)出問題。cursorclass用DictCursor查詢結(jié)果會(huì)以字典形式返回調(diào)試時(shí)更直觀。密碼不建議硬編碼在腳本里實(shí)際項(xiàng)目可以放到環(huán)境變量或配置文件里這里為了教程可讀性先直接寫。6.2 用INSERT IGNORE實(shí)現(xiàn)冪等寫入在代碼里實(shí)現(xiàn)去重有兩種常見思路一種是先SELECT查一下存在就跳過另一種是直接利用數(shù)據(jù)庫(kù)唯一索引用INSERT IGNORE。我更推薦后者原因是它把去重邏輯交給數(shù)據(jù)庫(kù)代碼更短也避免了并發(fā)時(shí)先查后插之間產(chǎn)生重復(fù)的競(jìng)態(tài)問題。sql INSERT IGNORE INTO movie (rank_no, movie_name, actors, release_time, score) VALUES (%s, %s, %s, %s, %s) data [ (m[rank], m[name], m[actors], m[release], m[score]) for m in movie_list ]組合唯一索引uniq_name_time會(huì)在插入時(shí)自動(dòng)判斷如果movie_name和release_time相同就忽略這次插入。INSERT IGNORE的返回rowcount是實(shí)際插入的行數(shù)被忽略的記錄不會(huì)報(bào)錯(cuò)這樣即便腳本跑了兩次數(shù)據(jù)也不會(huì)重復(fù)。6.3 executemany批量插入與事務(wù)提交一條一條insert每次都要和數(shù)據(jù)庫(kù)走一次網(wǎng)絡(luò)往返效率非常低。批量插入用executemanyaffected cursor.executemany(sql, data) conn.commit() print(實(shí)際新增行數(shù):, affected)executemany會(huì)把多組參數(shù)一次性發(fā)給MySQL執(zhí)行數(shù)據(jù)量大時(shí)性能差距非常明顯。事務(wù)方面commit()提交事務(wù)如果中途發(fā)生異常需要回滾try: cursor.executemany(sql, data) conn.commit() except Exception as e: conn.rollback() print(寫入失敗已回滾:, e) finally: cursor.close() conn.close()這里有一個(gè)我踩過的坑如果直接commit但之后連接異常關(guān)閉數(shù)據(jù)還在但如果不commit就關(guān)閉連接所有插入會(huì)丟失。所以一定要有明確的commit位置。7. 完整腳本串聯(lián)主流程、翻頁和控制臺(tái)輸出7.1 模塊劃分和主函數(shù)編排把前面所有零散代碼整合成一個(gè)可運(yùn)行的腳本需要設(shè)計(jì)清晰的主流程。我的做法是把功能拆成四個(gè)函數(shù)fetch_html管請(qǐng)求parse_html管解析save_to_db管入庫(kù)main管調(diào)度。完整例子如下import random import time import requests import pymysql from lxml import etree BASE_URL https://maoyan.com/board/4?offset{offset} HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36, Referer: https://maoyan.com/ } def fetch_html(url): for attempt in range(3): try: resp requests.get(url, headersHEADERS, timeout10) if resp.status_code 200: return resp.text except requests.RequestException: pass time.sleep(1 attempt * 2) return None def parse_html(html_text): tree etree.HTML(html_text) items tree.xpath(//dl[classboard-wrapper]/dd) result [] for item in items: rank item.xpath(./i[classboard-index]/text()) rank rank[0].strip() if rank else name item.xpath(.//p[classname]/a/text()) name name[0].strip() if name else actors item.xpath(.//p[classstar]/text()) actors actors[0].strip().replace(主演, ).replace(主演:, ) if actors else release item.xpath(.//p[classreleasetime]/text()) release release[0].strip() if release else score_parts item.xpath(.//p[classscore]//text()) score_text .join(score_parts).strip() score float(score_text) if score_text else 0.0 result.append((rank, name, actors, release, score)) return result def save_to_db(movie_data): conn pymysql.connect( host127.0.0.1, userroot, password你的密碼, databasemaoyan_demo, charsetutf8mb4, cursorclasspymysql.cursors.DictCursor ) cursor conn.cursor() sql INSERT IGNORE INTO movie (rank_no, movie_name, actors, release_time, score) VALUES (%s, %s, %s, %s, %s) try: affected cursor.executemany(sql, movie_data) conn.commit() print(本次新增:, affected, 條) except Exception as e: conn.rollback() print(寫入失敗:, e) finally: cursor.close() conn.close() def main(): all_movies [] for offset in range(0, 100, 10): url BASE_URL.format(offsetoffset) print(開始抓取 offset , offset) html_text fetch_html(url) if html_text: movies parse_html(html_text) print(本頁解析出:, len(movies), 條) all_movies.extend(movies) time.sleep(random.uniform(1, 2)) print(總共解析:, len(all_movies), 條) save_to_db(all_movies) if __name__ __main__: main()BASE_URL里的offset參數(shù)是關(guān)鍵第一頁offset是0第二頁是10以此類推每頁10條總共10頁。如果目標(biāo)頁面改版導(dǎo)致URL失效需要按實(shí)際分頁參數(shù)調(diào)整。7.2 控制臺(tái)運(yùn)行效果腳本運(yùn)行后控制臺(tái)會(huì)輸出類似這樣的信息開始抓取 offset 0 本頁解析出: 10 條 開始抓取 offset 10 本頁解析出: 10 條 ... 總共解析: 100 條 本次新增: 90 條第二次運(yùn)行時(shí)由于唯一索引的存在INSERT IGNORE會(huì)把已存在的90條全部忽略只新增變化的部分。這是可重復(fù)運(yùn)行和只用CSV存儲(chǔ)的最大差別。7.3 翻頁抓取的頻率控制很多人在翻頁時(shí)會(huì)犯一個(gè)錯(cuò)誤把time.sleep(random.uniform(1, 2))放在循環(huán)里但循環(huán)依然很快。實(shí)際上十頁還好但如果是一千頁這個(gè)等待時(shí)間就遠(yuǎn)遠(yuǎn)不夠了。我通常會(huì)再疊加一個(gè)每10頁休息5秒的邏輯進(jìn)一步降低短時(shí)間內(nèi)的請(qǐng)求密度。搞爬蟲的核心不是把請(qǐng)求速度拉到最快而是讓服務(wù)端感覺不到你的存在。8. 實(shí)測(cè)中的坑與優(yōu)化建議8.1 XPath定位失敗的常見原因排查寫解析代碼最常見的坑是頁面結(jié)構(gòu)變化導(dǎo)致xpath失效。排查時(shí)建議按下面的順序來現(xiàn)象可能原因解決方案列表?xiàng)l數(shù)為0頁面改版或反爬用curl或?yàn)g覽器查看源碼重新定位容器提取不到片名class屬性匹配過嚴(yán)改用contains(class, name)數(shù)據(jù)帶有大量空白HTML里有換行縮進(jìn)提取后加strip()多條數(shù)據(jù)內(nèi)容串位xpath沒有用點(diǎn)開頭每條item內(nèi)用.//定位子節(jié)點(diǎn)評(píng)分拼接為空文本在子標(biāo)簽里用.//text()而非/text()這些排查經(jīng)驗(yàn)不是說一遍就能背下來而是形成一種習(xí)慣出問題時(shí)先打印原始HTML、打印提取結(jié)果再逐層debug不要瞎猜。8.2 反爬特征識(shí)別與低風(fēng)險(xiǎn)應(yīng)對(duì)如果頁面開始返回驗(yàn)證碼、要求登錄或狀態(tài)碼變成特殊值說明觸發(fā)風(fēng)控了。這時(shí)候最安全的做法不是去研究繞過方案而是停下來降低頻率。可以做的動(dòng)作包括拉長(zhǎng)請(qǐng)求間隔、換用更完整的請(qǐng)求頭、用requests.Session保持連接狀態(tài)以及檢查請(qǐng)求頻率是不是太高。切記不要因?yàn)轫撁姹槐Ｗo(hù)就去嘗試破解驗(yàn)證碼或繞過風(fēng)控這既涉及安全邊界也不是爬蟲入門應(yīng)該碰的內(nèi)容。個(gè)人學(xué)習(xí)場(chǎng)景下頻率低一點(diǎn)沒有任何損失。8.3 數(shù)據(jù)庫(kù)寫入中的幾個(gè)真實(shí)報(bào)錯(cuò)數(shù)據(jù)庫(kù)這塊的報(bào)錯(cuò)通常集中在三個(gè)點(diǎn)。第一個(gè)是連接不上pymysql.err.OperationalError: (2003, ...)基本就是MySQL服務(wù)沒啟動(dòng)或端口不通。第二個(gè)是權(quán)限問題(1045, Access denied)檢查用戶名密碼。第三個(gè)最隱蔽插入特殊字符時(shí)報(bào)(1366, Incorrect string value)這就是建庫(kù)時(shí)字符集沒設(shè)成utf8mb4。很多人只在連接參數(shù)里寫了charsetutf8mb4但庫(kù)本身的字符集還是latin1一樣會(huì)報(bào)錯(cuò)。正確做法是建庫(kù)、建表、連接參數(shù)三層保持一致。另外大批量數(shù)據(jù)入庫(kù)時(shí)不要攢到最后一次性executemany一億條應(yīng)該每500或1000條一批commit一次。這樣既避免事務(wù)日志過大也能在出錯(cuò)時(shí)縮小回滾范圍。8.4 做完這個(gè)項(xiàng)目以后還能怎么擴(kuò)展這個(gè)項(xiàng)目做完基礎(chǔ)鏈路已經(jīng)打通。接下來最自然的擴(kuò)展方向有三個(gè)一是把抓取結(jié)果存一份歷史表每天定時(shí)跑一次觀察榜單變化趨勢(shì)二是加一個(gè)簡(jiǎn)單的趨勢(shì)分析腳本用pandas統(tǒng)計(jì)不同類型電影的上榜數(shù)量三是把整個(gè)流程遷到定時(shí)任務(wù)里每天固定時(shí)間抓一次。再往后如果想做更大規(guī)模的數(shù)據(jù)采集再考慮Scrapy框架。但不管是Scrapy還是其他爬蟲框架底層的HTTP請(qǐng)求、XPath定位、數(shù)據(jù)庫(kù)入庫(kù)都還是這篇文章里的這套基本功。我在實(shí)際寫這個(gè)項(xiàng)目時(shí)最大的體會(huì)是爬蟲真正花時(shí)間的不是請(qǐng)求失敗而是解析結(jié)果不達(dá)預(yù)期。xpath寫錯(cuò)一個(gè)小點(diǎn)整個(gè)頁面的數(shù)據(jù)可能全部為空數(shù)據(jù)庫(kù)唯一索引沒建好腳本跑兩遍數(shù)據(jù)就亂套。requestsxpathMySQL這個(gè)組合看起來簡(jiǎn)單但它把HTTP請(qǐng)求、頁面解析、結(jié)構(gòu)化存儲(chǔ)這三項(xiàng)后端必備技能完整地帶你走了一遍。最后給個(gè)小建議寫解析函數(shù)時(shí)先加一個(gè)調(diào)試模式只處理第一條數(shù)據(jù)并打印出來確認(rèn)每個(gè)字段都正確后再放開全量解析這樣能節(jié)省大量試錯(cuò)時(shí)間。 Python爬蟲實(shí)戰(zhàn)：requests+xpath抓取貓眼Top100入庫(kù)MySQL
有人問學(xué)爬蟲從哪個(gè)項(xiàng)目入手比較好。我通常建議第一選擇別是那些上來就要處理加密參數(shù)的平臺(tái)而是找一個(gè)服務(wù)端渲染、結(jié)構(gòu)規(guī)整的榜單頁。貓眼電影的Top100榜單正好是這個(gè)定位用requests發(fā)一個(gè)GET請(qǐng)求用xpath從HTML里把片名、主演、上映時(shí)間、評(píng)分摳出來最后寫進(jìn)MySQL。整個(gè)過程不涉及Scrapy框架也不用Selenium邏輯鏈路非常直接請(qǐng)求、解析、入庫(kù)。這篇文章就把這個(gè)完整流程拆開說清楚每個(gè)環(huán)節(jié)都給可復(fù)現(xiàn)代碼適合剛學(xué)完P(guān)ython基礎(chǔ)、想把HTTP請(qǐng)求、頁面解析和數(shù)據(jù)庫(kù)操作串起來做一遍的同學(xué)。1. 開爬前先想清楚三件事目標(biāo)頁面、字段設(shè)計(jì)、合規(guī)邊界1.1 為什么選貓眼電影作為練手對(duì)象判斷一個(gè)網(wǎng)站適不適合做入門爬蟲主要看三點(diǎn)HTML里有沒有數(shù)據(jù)、結(jié)構(gòu)規(guī)不規(guī)整、反爬門檻高不高。貓眼電影Top100榜單在這三點(diǎn)上表現(xiàn)得非常典型。它不像很多現(xiàn)代網(wǎng)站那樣用JavaScript異步渲染而是在頁面源碼里直接把每條電影信息包在dd標(biāo)簽里。也就是說requests拿到的HTML就是最終要解析的HTML不需要再走接口、不好解密。對(duì)于第一次接觸爬蟲的人而言這種所見即所得的頁面能最大程度減少變量干擾讓你專注于理解requests和xpath這兩個(gè)核心工具本身。為什么不推薦用正則表達(dá)式直接摳數(shù)據(jù)正則處理文本確實(shí)高效但面對(duì)HTML這種帶嵌套結(jié)構(gòu)的半結(jié)構(gòu)化文檔寫起來會(huì)非常痛苦稍微變一點(diǎn)換行縮進(jìn)就失效。xpath則是為樹狀文檔設(shè)計(jì)的查詢語言可以按標(biāo)簽、屬性、層級(jí)關(guān)系定位元素可讀性和穩(wěn)定性都遠(yuǎn)勝于一長(zhǎng)串正則。至于BeautifulSoup的CSS選擇器當(dāng)然也能做但xpath是很多爬蟲框架底層的定位方式學(xué)會(huì)之后去看Scrapy、看抓包工具的xpath查詢、寫自動(dòng)化腳本都會(huì)更順手。1.2 字段選型和存儲(chǔ)方案實(shí)戰(zhàn)項(xiàng)目不需要貪多建議控制在5個(gè)字段左右。我選的是排名、片名、主演、上映時(shí)間、評(píng)分。這五個(gè)字段覆蓋了三種最常見的提取場(chǎng)景文本直接提取片名、帶前綴的文本清洗主演、多個(gè)子節(jié)點(diǎn)內(nèi)容拼接評(píng)分。把這三類處理練熟基本就能應(yīng)對(duì)大多數(shù)靜態(tài)頁面的解析任務(wù)了。存儲(chǔ)方案上很多人第一反應(yīng)是存CSV圖省事。但既然項(xiàng)目標(biāo)題里寫了寫入數(shù)據(jù)庫(kù)我們就直接用MySQL。CSV和數(shù)據(jù)庫(kù)的差別用一張表就能看懂對(duì)比維度CSVMySQL重復(fù)數(shù)據(jù)控制需要自己讀文件判重唯一索引自動(dòng)去重并發(fā)寫入容易沖突事務(wù)機(jī)制安全可控查詢效率全量掃描條件索引快速定位工程化程度適合一次性分析適合持續(xù)更新和對(duì)外提供數(shù)據(jù)相比之下MySQL更像是數(shù)據(jù)服務(wù)的形態(tài)而且建表、插入、去重這些動(dòng)作本身就是后端開發(fā)的基本功。練完這個(gè)項(xiàng)目SQL操作也順手掌握了。1.3 合規(guī)與禮貌爬取這一步很多人會(huì)跳過但我建議放在最前面。爬蟲不是技術(shù)能跑通就萬事大吉先確認(rèn)目標(biāo)站點(diǎn)是否有禁止采集的聲明遵守robots.txt的基本要求。本文演示用的榜單頁數(shù)據(jù)屬于公開可瀏覽的內(nèi)容但僅用于個(gè)人學(xué)習(xí)和功能演示不要抓取后做商業(yè)化使用也不要高頻請(qǐng)求、開多線程猛抓?？刂普?qǐng)求頻率、設(shè)置適當(dāng)?shù)难訒r(shí)既是個(gè)人學(xué)習(xí)時(shí)的基本禮貌也能大大降低觸發(fā)反爬的概率。2. 環(huán)境準(zhǔn)備依賴庫(kù)安裝與MySQL初始化2.1 Python虛擬環(huán)境和三個(gè)核心庫(kù)建議使用Python 3.10以上版本先用虛擬環(huán)境隔離項(xiàng)目依賴避免污染全局環(huán)境。創(chuàng)建并激活虛擬環(huán)境python -m venv venv venv\Scripts\activate # Windows source venv/bin/activate # Linux/macOS然后安裝三個(gè)庫(kù)pip install requests lxml pymysqlrequests負(fù)責(zé)發(fā)送HTTP請(qǐng)求lxml提供etree.HTML方法能快速把HTML文本解析成可查詢的樹狀結(jié)構(gòu)核心就是它的.xpath()方法pymysql是Python連接MySQL的驅(qū)動(dòng)純Python實(shí)現(xiàn)安裝簡(jiǎn)單、社區(qū)活躍比官方mysql-connector-python更輕量。這里我不推薦使用selenium因?yàn)樗悄M瀏覽器方案啟動(dòng)慢、消耗資源大對(duì)這種靜態(tài)渲染頁面屬于降維打擊而且會(huì)把請(qǐng)求和解析兩個(gè)環(huán)節(jié)混在一起反而不利于理解HTTP爬蟲的本質(zhì)。2.2 建庫(kù)建表字段類型和唯一索引確保本機(jī)MySQL正常運(yùn)行登錄后執(zhí)行建庫(kù)語句CREATE DATABASE maoyan_demo DEFAULT CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci; USE maoyan_demo; CREATE TABLE movie ( id INT AUTO_INCREMENT PRIMARY KEY, rank_no INT NOT NULL COMMENT 排名, movie_name VARCHAR(200) NOT NULL COMMENT 片名, actors VARCHAR(500) DEFAULT COMMENT 主演, release_time VARCHAR(100) DEFAULT COMMENT 上映時(shí)間, score DECIMAL(3,1) DEFAULT NULL COMMENT 評(píng)分, UNIQUE KEY uniq_name_time (movie_name, release_time) ) ENGINEInnoDB DEFAULT CHARSETutf8mb4;這里有幾個(gè)設(shè)計(jì)細(xì)節(jié)值得展開。字符集必須用utf8mb4因?yàn)榘駟卫镉行┢椭餮菝挚赡馨厥庾址鹵tf8mb4可以完整覆蓋否則插入時(shí)會(huì)報(bào)1366編碼錯(cuò)誤。評(píng)分字段用DECIMAL(3,1)既能保留一位小數(shù)也避免浮點(diǎn)誤差。最關(guān)鍵的是唯一索引uniq_name_time它建在movie_name和release_time的組合上。為什么要這么做因?yàn)椴煌攴菘赡苌嫌惩娪皢渭冇闷鑫ㄒ绘I會(huì)誤殺用片名加上映時(shí)間兩個(gè)維度基本能鎖定一條唯一記錄。有了這個(gè)索引后面入庫(kù)時(shí)就可以用INSERT IGNORE實(shí)現(xiàn)自動(dòng)去重。3. 目標(biāo)頁面結(jié)構(gòu)摸底開發(fā)者工具與XPath定位思路3.1 打開頁面找到榜單列表的DOM特征在瀏覽器里打開貓眼電影榜單頁建議直接搜索貓眼電影實(shí)時(shí)票房再進(jìn)入榜單入口。進(jìn)入頁面后右鍵點(diǎn)擊任意一部電影的片名選擇檢查DevTools會(huì)自動(dòng)定位到該節(jié)點(diǎn)。順著Elements面板向上找會(huì)看到每部電影的完整信息都被包在一個(gè)dd標(biāo)簽里而這些dd的共同父級(jí)是dl classboard-wrapper。這個(gè)觀察是整個(gè)爬蟲的關(guān)鍵。與其費(fèi)勁寫一長(zhǎng)串絕對(duì)路徑不如先找到穩(wěn)定的列表容器。頁面改版時(shí)只要列表容器和條目標(biāo)簽沒變解析邏輯就大概率還能用。我的定位思路是先確認(rèn)容器再確認(rèn)單條記錄最后才去看字段節(jié)點(diǎn)。對(duì)應(yīng)到xpath列表容器//dl[classboard-wrapper] 單條記錄//dl[classboard-wrapper]/dd3.2 不要迷信開發(fā)者工具里的Copy XPathChrome開發(fā)者工具右鍵可以復(fù)制XPath但復(fù)制出來的往往是絕對(duì)路徑長(zhǎng)這樣/html/body/div[2]/div[2]/div[2]/dl/dd[1]/div/div[2]/p[1]/a這種路徑一旦頁面結(jié)構(gòu)有細(xì)微調(diào)整立刻失效。而且它沒有任何語義別人拿到代碼根本看不懂。正確做法是手寫相對(duì)xpath以列表節(jié)點(diǎn)為起點(diǎn)用點(diǎn)開頭表示在當(dāng)前節(jié)點(diǎn)下繼續(xù)查找方式示例穩(wěn)定性絕對(duì)路徑/html/body/div[2]/div[2]/dl/dd[1]//p[1]/a差層級(jí)一變就掛相對(duì)路徑//dl[classboard-wrapper]/dd[1]//p[classname]/a好定位邏輯清晰相對(duì)路徑的核心思想是先找靠得住的錨點(diǎn)再在錨點(diǎn)下面找目標(biāo)。寫xpath就像在陌生商場(chǎng)里找店鋪先找到地標(biāo)建筑再按指示牌走比記住每一步的樓梯數(shù)量靠譜得多。3.3 頁面源碼里的空白符和換行處理開始寫解析代碼前還有一個(gè)容易踩的坑瀏覽器Elements面板里看到的數(shù)據(jù)是渲染后的而requests拿到的頁面源碼里可能包含大量換行和空格。比如p classstar 主演沈騰, 馬麗 /p直接用text()提取返回值會(huì)帶著前后的換行和縮進(jìn)所以后面解析時(shí)一定要加strip()。這也解釋了為什么在寫代碼前先手動(dòng)查看一下返回的HTML文本有助于對(duì)后面要做多少清洗工作心里有數(shù)。4. requests取數(shù)實(shí)戰(zhàn)請(qǐng)求頭、狀態(tài)檢查與重試4.1 構(gòu)造一個(gè)看起來像正常人的請(qǐng)求頭用requests請(qǐng)求頁面最不起眼但也最容易出問題的就是請(qǐng)求頭。如果裸奔請(qǐng)求服務(wù)端看到陌生的Python默認(rèn)User-Agent很可能直接返回403。我通常這樣構(gòu)造import requests headers { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36, Referer: https://maoyan.com/, Accept: text/html,application/xhtmlxml,application/xml;q0.9,image/webp,*/*;q0.8, Accept-Language: zh-CN,zh;q0.9,en;q0.8 }User-Agent模擬的是瀏覽器環(huán)境告訴服務(wù)端我是正常訪客。Referer表示請(qǐng)求是從站點(diǎn)首頁跳轉(zhuǎn)過來的很多站點(diǎn)會(huì)校驗(yàn)這個(gè)頭。為什么不需要Cookie對(duì)于榜單頁這種公開數(shù)據(jù)一般無需登錄即可訪問所以第一版請(qǐng)求頭沒必要帶Cookie等到頁面返回異常時(shí)再補(bǔ)不遲。4.2 用狀態(tài)碼和頁面特征雙重校驗(yàn)?zāi)玫巾憫?yīng)后先別急著解析先做兩道檢查resp requests.get(url, headersheaders, timeout10) print(狀態(tài)碼:, resp.status_code) print(響應(yīng)長(zhǎng)度:, len(resp.text)) if board-wrapper not in resp.text: print(頁面中沒有board-wrapper可能被反爬或頁面結(jié)構(gòu)變化)狀態(tài)碼200只代表服務(wù)器給了響應(yīng)不代表內(nèi)容是對(duì)的。很多時(shí)候反爬會(huì)返回200但頁面內(nèi)容是一段驗(yàn)證邏輯或空殼。用board-wrapper這個(gè)頁面特征做關(guān)鍵詞校驗(yàn)是最簡(jiǎn)單有效的辦法。如果特征缺失直接停止解析先看頁面是怎么回事。4.3 超時(shí)設(shè)置與簡(jiǎn)易重試機(jī)制網(wǎng)絡(luò)請(qǐng)求不可能每次都很順利所以超時(shí)和重試是必修課。requests.get如果不設(shè)timeout可能會(huì)無限等待整個(gè)腳本就卡死在那里。我習(xí)慣寫一個(gè)帶重試的小函數(shù)import time import random def fetch_html(url, headers, retries3, timeout10): for attempt in range(retries): try: resp requests.get(url, headersheaders, timeouttimeout) if resp.status_code 200: return resp.text print(f第{attempt 1}次請(qǐng)求狀態(tài)碼: {resp.status_code}) except requests.RequestException as e: print(f第{attempt 1}次請(qǐng)求異常: {e}) time.sleep(1 attempt * 2) return None這個(gè)重試的邏輯是每次失敗后等待時(shí)間遞增給服務(wù)端一個(gè)喘息空間而不是快速連續(xù)重試。抓取多頁時(shí)每頁之間也要加隨機(jī)等待time.sleep(random.uniform(1, 2))隨機(jī)間隔比固定間隔更像真實(shí)用戶也能防止被自動(dòng)化檢測(cè)識(shí)別。5. XPath解析字段提取與數(shù)據(jù)清洗5.1 用lxml構(gòu)建DOM樹先確認(rèn)條目數(shù)量requests拿到的是純文本lxml負(fù)責(zé)把它解析成可查詢的樹。解析代碼很簡(jiǎn)潔from lxml import etree tree etree.HTML(html_text) items tree.xpath(//dl[classboard-wrapper]/dd) print(解析到電影條數(shù):, len(items))這一步輸出的條數(shù)如果和預(yù)期不符千萬別繼續(xù)往下寫。先確認(rèn)是不是頁面結(jié)構(gòu)變了是不是被反爬了。寧可在這里停下來排查也不要等到入庫(kù)時(shí)才發(fā)現(xiàn)全是空數(shù)據(jù)。5.2 單條記錄里的XPath字段提取拿到items列表后遍歷每一條item。注意每個(gè)xpath表達(dá)式前都要加.表示從當(dāng)前item開始找否則xpath會(huì)全局搜索可能導(dǎo)致不同條目之間數(shù)據(jù)串位。核心提取邏輯如下for item in items: rank item.xpath(./i[classboard-index]/text()) rank rank[0].strip() if rank else name item.xpath(.//p[classname]/a/text()) name name[0].strip() if name else actors item.xpath(.//p[classstar]/text()) actors actors[0].strip().replace(主演, ).replace(主演:, ) if actors else release item.xpath(.//p[classreleasetime]/text()) release release[0].strip() if release else score_parts item.xpath(.//p[classscore]//text()) score_text .join(score_parts).strip() score float(score_text) if score_text else 0.0每個(gè)字段都做了空列表兜底。原因是xpath在找不到節(jié)點(diǎn)時(shí)不會(huì)拋異常而是返回空列表如果你直接取[0]就會(huì)IndexError。這是寫爬蟲時(shí)最常見的崩潰原因之一。5.3 為什么評(píng)分要拼接而不是直接取text榜單頁里的評(píng)分不是像片名那樣一個(gè)文本節(jié)點(diǎn)完事而是拆成了兩個(gè)i標(biāo)簽比如i classinteger9./ii classfraction7/i瀏覽器里看到的是9.7。如果用.//p[classscore]/text()取出來是兩個(gè)i標(biāo)簽的文本嗎不是/text()只取當(dāng)前節(jié)點(diǎn)的直接文本子節(jié)點(diǎn)而i標(biāo)簽的內(nèi)容不會(huì)包含在p的text()里。所以要用//text()取所有后代文本節(jié)點(diǎn)再用join拼接才能得到完整的9.7。這一步非常能體現(xiàn)xpath的層級(jí)邏輯也提醒我遇到數(shù)據(jù)被標(biāo)簽拆分的情況時(shí)先看看DOM結(jié)構(gòu)再動(dòng)手。5.4 返回結(jié)果統(tǒng)一成列表字典為了讓后續(xù)入庫(kù)代碼更清晰我會(huì)把每條電影信息統(tǒng)一封裝成字典movie_list.append({ rank: rank, name: name, actors: actors, release: release, score: score })這樣后面入庫(kù)函數(shù)只負(fù)責(zé)接收字典列表不需要關(guān)心解析邏輯。模塊邊界清楚出問題時(shí)也好排查。6. 寫入MySQL連接、去重與批量插入6.1 用PyMySQL建立連接數(shù)據(jù)庫(kù)連接的代碼要穩(wěn)定有幾個(gè)細(xì)節(jié)不能省import pymysql conn pymysql.connect( host127.0.0.1, port3306, userroot, password你的密碼, databasemaoyan_demo, charsetutf8mb4, cursorclasspymysql.cursors.DictCursor ) cursor conn.cursor()charsetutf8mb4必須和建庫(kù)時(shí)保持一致否則中文一樣會(huì)出問題。cursorclass用DictCursor查詢結(jié)果會(huì)以字典形式返回調(diào)試時(shí)更直觀。密碼不建議硬編碼在腳本里實(shí)際項(xiàng)目可以放到環(huán)境變量或配置文件里這里為了教程可讀性先直接寫。6.2 用INSERT IGNORE實(shí)現(xiàn)冪等寫入在代碼里實(shí)現(xiàn)去重有兩種常見思路一種是先SELECT查一下存在就跳過另一種是直接利用數(shù)據(jù)庫(kù)唯一索引用INSERT IGNORE。我更推薦后者原因是它把去重邏輯交給數(shù)據(jù)庫(kù)代碼更短也避免了并發(fā)時(shí)先查后插之間產(chǎn)生重復(fù)的競(jìng)態(tài)問題。sql INSERT IGNORE INTO movie (rank_no, movie_name, actors, release_time, score) VALUES (%s, %s, %s, %s, %s) data [ (m[rank], m[name], m[actors], m[release], m[score]) for m in movie_list ]組合唯一索引uniq_name_time會(huì)在插入時(shí)自動(dòng)判斷如果movie_name和release_time相同就忽略這次插入。INSERT IGNORE的返回rowcount是實(shí)際插入的行數(shù)被忽略的記錄不會(huì)報(bào)錯(cuò)這樣即便腳本跑了兩次數(shù)據(jù)也不會(huì)重復(fù)。6.3 executemany批量插入與事務(wù)提交一條一條insert每次都要和數(shù)據(jù)庫(kù)走一次網(wǎng)絡(luò)往返效率非常低。批量插入用executemanyaffected cursor.executemany(sql, data) conn.commit() print(實(shí)際新增行數(shù):, affected)executemany會(huì)把多組參數(shù)一次性發(fā)給MySQL執(zhí)行數(shù)據(jù)量大時(shí)性能差距非常明顯。事務(wù)方面commit()提交事務(wù)如果中途發(fā)生異常需要回滾try: cursor.executemany(sql, data) conn.commit() except Exception as e: conn.rollback() print(寫入失敗已回滾:, e) finally: cursor.close() conn.close()這里有一個(gè)我踩過的坑如果直接commit但之后連接異常關(guān)閉數(shù)據(jù)還在但如果不commit就關(guān)閉連接所有插入會(huì)丟失。所以一定要有明確的commit位置。7. 完整腳本串聯(lián)主流程、翻頁和控制臺(tái)輸出7.1 模塊劃分和主函數(shù)編排把前面所有零散代碼整合成一個(gè)可運(yùn)行的腳本需要設(shè)計(jì)清晰的主流程。我的做法是把功能拆成四個(gè)函數(shù)fetch_html管請(qǐng)求parse_html管解析save_to_db管入庫(kù)main管調(diào)度。完整例子如下import random import time import requests import pymysql from lxml import etree BASE_URL https://maoyan.com/board/4?offset{offset} HEADERS { User-Agent: Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/122.0.0.0 Safari/537.36, Referer: https://maoyan.com/ } def fetch_html(url): for attempt in range(3): try: resp requests.get(url, headersHEADERS, timeout10) if resp.status_code 200: return resp.text except requests.RequestException: pass time.sleep(1 attempt * 2) return None def parse_html(html_text): tree etree.HTML(html_text) items tree.xpath(//dl[classboard-wrapper]/dd) result [] for item in items: rank item.xpath(./i[classboard-index]/text()) rank rank[0].strip() if rank else name item.xpath(.//p[classname]/a/text()) name name[0].strip() if name else actors item.xpath(.//p[classstar]/text()) actors actors[0].strip().replace(主演, ).replace(主演:, ) if actors else release item.xpath(.//p[classreleasetime]/text()) release release[0].strip() if release else score_parts item.xpath(.//p[classscore]//text()) score_text .join(score_parts).strip() score float(score_text) if score_text else 0.0 result.append((rank, name, actors, release, score)) return result def save_to_db(movie_data): conn pymysql.connect( host127.0.0.1, userroot, password你的密碼, databasemaoyan_demo, charsetutf8mb4, cursorclasspymysql.cursors.DictCursor ) cursor conn.cursor() sql INSERT IGNORE INTO movie (rank_no, movie_name, actors, release_time, score) VALUES (%s, %s, %s, %s, %s) try: affected cursor.executemany(sql, movie_data) conn.commit() print(本次新增:, affected, 條) except Exception as e: conn.rollback() print(寫入失敗:, e) finally: cursor.close() conn.close() def main(): all_movies [] for offset in range(0, 100, 10): url BASE_URL.format(offsetoffset) print(開始抓取 offset , offset) html_text fetch_html(url) if html_text: movies parse_html(html_text) print(本頁解析出:, len(movies), 條) all_movies.extend(movies) time.sleep(random.uniform(1, 2)) print(總共解析:, len(all_movies), 條) save_to_db(all_movies) if __name__ __main__: main()BASE_URL里的offset參數(shù)是關(guān)鍵第一頁offset是0第二頁是10以此類推每頁10條總共10頁。如果目標(biāo)頁面改版導(dǎo)致URL失效需要按實(shí)際分頁參數(shù)調(diào)整。7.2 控制臺(tái)運(yùn)行效果腳本運(yùn)行后控制臺(tái)會(huì)輸出類似這樣的信息開始抓取 offset 0 本頁解析出: 10 條 開始抓取 offset 10 本頁解析出: 10 條 ... 總共解析: 100 條 本次新增: 90 條第二次運(yùn)行時(shí)由于唯一索引的存在INSERT IGNORE會(huì)把已存在的90條全部忽略只新增變化的部分。這是可重復(fù)運(yùn)行和只用CSV存儲(chǔ)的最大差別。7.3 翻頁抓取的頻率控制很多人在翻頁時(shí)會(huì)犯一個(gè)錯(cuò)誤把time.sleep(random.uniform(1, 2))放在循環(huán)里但循環(huán)依然很快。實(shí)際上十頁還好但如果是一千頁這個(gè)等待時(shí)間就遠(yuǎn)遠(yuǎn)不夠了。我通常會(huì)再疊加一個(gè)每10頁休息5秒的邏輯進(jìn)一步降低短時(shí)間內(nèi)的請(qǐng)求密度。搞爬蟲的核心不是把請(qǐng)求速度拉到最快而是讓服務(wù)端感覺不到你的存在。8. 實(shí)測(cè)中的坑與優(yōu)化建議8.1 XPath定位失敗的常見原因排查寫解析代碼最常見的坑是頁面結(jié)構(gòu)變化導(dǎo)致xpath失效。排查時(shí)建議按下面的順序來現(xiàn)象可能原因解決方案列表?xiàng)l數(shù)為0頁面改版或反爬用curl或?yàn)g覽器查看源碼重新定位容器提取不到片名class屬性匹配過嚴(yán)改用contains(class, name)數(shù)據(jù)帶有大量空白HTML里有換行縮進(jìn)提取后加strip()多條數(shù)據(jù)內(nèi)容串位xpath沒有用點(diǎn)開頭每條item內(nèi)用.//定位子節(jié)點(diǎn)評(píng)分拼接為空文本在子標(biāo)簽里用.//text()而非/text()這些排查經(jīng)驗(yàn)不是說一遍就能背下來而是形成一種習(xí)慣出問題時(shí)先打印原始HTML、打印提取結(jié)果再逐層debug不要瞎猜。8.2 反爬特征識(shí)別與低風(fēng)險(xiǎn)應(yīng)對(duì)如果頁面開始返回驗(yàn)證碼、要求登錄或狀態(tài)碼變成特殊值說明觸發(fā)風(fēng)控了。這時(shí)候最安全的做法不是去研究繞過方案而是停下來降低頻率。可以做的動(dòng)作包括拉長(zhǎng)請(qǐng)求間隔、換用更完整的請(qǐng)求頭、用requests.Session保持連接狀態(tài)以及檢查請(qǐng)求頻率是不是太高。切記不要因?yàn)轫撁姹槐Ｗo(hù)就去嘗試破解驗(yàn)證碼或繞過風(fēng)控這既涉及安全邊界也不是爬蟲入門應(yīng)該碰的內(nèi)容。個(gè)人學(xué)習(xí)場(chǎng)景下頻率低一點(diǎn)沒有任何損失。8.3 數(shù)據(jù)庫(kù)寫入中的幾個(gè)真實(shí)報(bào)錯(cuò)數(shù)據(jù)庫(kù)這塊的報(bào)錯(cuò)通常集中在三個(gè)點(diǎn)。第一個(gè)是連接不上pymysql.err.OperationalError: (2003, ...)基本就是MySQL服務(wù)沒啟動(dòng)或端口不通。第二個(gè)是權(quán)限問題(1045, Access denied)檢查用戶名密碼。第三個(gè)最隱蔽插入特殊字符時(shí)報(bào)(1366, Incorrect string value)這就是建庫(kù)時(shí)字符集沒設(shè)成utf8mb4。很多人只在連接參數(shù)里寫了charsetutf8mb4但庫(kù)本身的字符集還是latin1一樣會(huì)報(bào)錯(cuò)。正確做法是建庫(kù)、建表、連接參數(shù)三層保持一致。另外大批量數(shù)據(jù)入庫(kù)時(shí)不要攢到最后一次性executemany一億條應(yīng)該每500或1000條一批commit一次。這樣既避免事務(wù)日志過大也能在出錯(cuò)時(shí)縮小回滾范圍。8.4 做完這個(gè)項(xiàng)目以后還能怎么擴(kuò)展這個(gè)項(xiàng)目做完基礎(chǔ)鏈路已經(jīng)打通。接下來最自然的擴(kuò)展方向有三個(gè)一是把抓取結(jié)果存一份歷史表每天定時(shí)跑一次觀察榜單變化趨勢(shì)二是加一個(gè)簡(jiǎn)單的趨勢(shì)分析腳本用pandas統(tǒng)計(jì)不同類型電影的上榜數(shù)量三是把整個(gè)流程遷到定時(shí)任務(wù)里每天固定時(shí)間抓一次。再往后如果想做更大規(guī)模的數(shù)據(jù)采集再考慮Scrapy框架。但不管是Scrapy還是其他爬蟲框架底層的HTTP請(qǐng)求、XPath定位、數(shù)據(jù)庫(kù)入庫(kù)都還是這篇文章里的這套基本功。我在實(shí)際寫這個(gè)項(xiàng)目時(shí)最大的體會(huì)是爬蟲真正花時(shí)間的不是請(qǐng)求失敗而是解析結(jié)果不達(dá)預(yù)期。xpath寫錯(cuò)一個(gè)小點(diǎn)整個(gè)頁面的數(shù)據(jù)可能全部為空數(shù)據(jù)庫(kù)唯一索引沒建好腳本跑兩遍數(shù)據(jù)就亂套。requestsxpathMySQL這個(gè)組合看起來簡(jiǎn)單但它把HTTP請(qǐng)求、頁面解析、結(jié)構(gòu)化存儲(chǔ)這三項(xiàng)后端必備技能完整地帶你走了一遍。最后給個(gè)小建議寫解析函數(shù)時(shí)先加一個(gè)調(diào)試模式只處理第一條數(shù)據(jù)并打印出來確認(rèn)每個(gè)字段都正確后再放開全量解析這樣能節(jié)省大量試錯(cuò)時(shí)間。