據(jù)處理容易踩的5個坑：range、舍入、時間差、編碼詳解)
寫Python的人大概都經(jīng)歷過這樣一幕想用for i in range(0, 1, 0.1)生成一組小數(shù)結(jié)果一運行直接TypeError費了半天勁把時間差算出來發(fā)現(xiàn)結(jié)果是個timedelta對象轉(zhuǎn)成小時又踩了坑四舍五入看起來是個小學(xué)問題Python 卻給你來個“銀行家舍入”讀寫文件更不用說了第一次遇到UnicodeDecodeError的人八成都在屏幕前懵了幾分鐘。這篇文章就把這些“誰寫誰踩”的Python處理細(xì)節(jié)集中過一遍range為什么不吃小數(shù)、真正的解決辦法是什么、四舍五入到底有幾種玩法、時間差怎么算才不出錯、文件讀寫有哪些必須記住的雷區(qū)。適合剛?cè)腴T不久、正在用Python處理數(shù)據(jù)和日常腳本的人也適合寫給那些總覺得“Python結(jié)果不對勁”的老哥做個排查參考。1. range里為什么不能直接寫小數(shù)——先搞懂range的邊界機制1.1 報錯的根源range只認(rèn)整數(shù)這是設(shè)計使然range(0, 1, 0.1)會直接拋出TypeError: float object cannot be interpreted as an integer很多人第一反應(yīng)是“Python不夠智能”其實這是有意為之。range底層是按整數(shù)步長做逐項生成它的核心邏輯依賴三個整數(shù)起點、終點、步長。在CPython的實現(xiàn)里range的成員判斷和長度計算都建立在整數(shù)算術(shù)之上一旦摻入浮點數(shù)長度的計算就會變得不精確甚至無法確定收斂方向。我最初也試圖給range傳入浮點數(shù)希望它“自動處理”后來才明白這是個數(shù)據(jù)結(jié)構(gòu)的邊界問題不是bug。range保證三個特性支持in判斷、支持len()、支持高效切片和索引這些操作在浮點步長下都做不到可靠。這也是為什么Python社區(qū)長期沒有給range增加浮點支持——改了它就可能破壞一堆依賴range整數(shù)語義的底層邏輯。1.2 用numpy.linspace生成小數(shù)序列這才是正路如果只是想在循環(huán)里生成一列小數(shù)最穩(wěn)的方案是numpy.linspace。它的用法是numpy.linspace(start, stop, num)按點的個數(shù)切分區(qū)間而不是按步長。比如我想生成0到1之間包括兩邊端點的11個數(shù)每個間隔是0.1代碼就是import numpy as np points np.linspace(0, 1, 11) for val in points: print(val)linspace的好處是端點可控endpointFalse可以去掉右端點。它內(nèi)部對浮點誤差也做了處理不會出現(xiàn)0.30000000000000004這種離譜值。適合需要“均分區(qū)間”的場景比如數(shù)值計算里的采樣點、繪圖坐標(biāo)軸刻度、插值算法的自變量序列。1.3 如果不想引入numpy自己寫一個浮點步長的生成器有些項目環(huán)境不允許隨便裝第三方庫或者只是臨時需要一個小數(shù)循環(huán)完全可以用生成器函數(shù)搞定def float_range(start, stop, step): cur start while cur stop: yield cur cur step for val in float_range(0, 1, 0.1): print(val)這個方案的原理是每次把當(dāng)前值累加步長然后判斷是否越過終點。它確實會累積浮點誤差步數(shù)多時末尾可能多出一個0.9999999999999999所以輸出時最好用round做一下格式化。如果想更嚴(yán)謹(jǐn)可以用Decimal來替代float這樣步長累加就不會出現(xiàn)二進(jìn)制浮點誤差。from decimal import Decimal def decimal_range(start, stop, step): cur Decimal(str(start)) step Decimal(str(step)) stop Decimal(str(stop)) while cur stop: yield cur cur step注意Decimal(str(start))而不是Decimal(start)用字符串構(gòu)造才能保留人類認(rèn)知里的十進(jìn)制度數(shù)。直接傳浮點數(shù)會把底層那個二進(jìn)制近似值也帶進(jìn)來反而更亂。1.4 循環(huán)邊界的一個常見誤解還有一個跟range類似的坑很多人以為range(0, 1, 0.1)報錯是因為步長不能是小數(shù)實際上哪怕是range(0.0, 1.0, 1)也會報錯因為起點、終點同樣必須是整數(shù)。也就是說只要三個參數(shù)里有一個是浮點數(shù)這個函數(shù)就罷工。理解這一點排查的時候就不會鉆牛角尖。2. 四舍五入的三種正確姿勢round、Decimal與format2.1 round的“銀行家舍入”為什么和你想象的不一樣Python內(nèi)置的round函數(shù)可能是被誤解最多的一個。執(zhí)行round(2.675, 2)得到的是2.67而不是2.68網(wǎng)上這個例子幾乎成了Python勸退名場面。原因有兩層第一2.675在二進(jìn)制浮點里實際存儲的是一個略小于理論值的數(shù)第二round采用的舍入規(guī)則是“banker’s rounding”也就是“四舍六入五成雙”——當(dāng)被舍位正好是5時要看前一位是奇數(shù)還是偶數(shù)偶數(shù)則不進(jìn)奇數(shù)才進(jìn)。print(round(2.5)) # 2 print(round(3.5)) # 4 print(round(4.5)) # 4 print(round(5.5)) # 6視覺上就是“奇數(shù)進(jìn)位、偶數(shù)舍掉”。這是IEEE 754推薦的做法目的是讓大量統(tǒng)計數(shù)據(jù)的舍入誤差在整體上趨于平衡不至于全部向上偏。但如果你做財務(wù)計算、成績統(tǒng)計、庫存核算業(yè)務(wù)規(guī)則往往明確要求“逢五進(jìn)一”這時候round就不合規(guī)。2.2 用Decimal獲得真正可控的舍入行為要讓舍入結(jié)果始終符合“四舍五入”的傳統(tǒng)語義應(yīng)該用decimal.Decimal并顯式指定舍入模式from decimal import Decimal, ROUND_HALF_UP val Decimal(2.675) result val.quantize(Decimal(0.00), roundingROUND_HALF_UP) print(result) # 2.68quantize的第一個參數(shù)是目標(biāo)精度模板Decimal(0.00)表示保留兩位小數(shù)。ROUND_HALF_UP就是傳統(tǒng)意義上的四舍五入而且這里用的是字符串構(gòu)造繞開了二進(jìn)制浮點導(dǎo)致的精度問題。涉及金額、費率、稅點這類需要精確到分的數(shù)據(jù)我基本都是走Decimal再配合rounding參數(shù)控制邊界行為。2.3 格式化輸出時會發(fā)生的“視錯覺”用format或 f-string 控制小數(shù)位時結(jié)果看起來像四舍五入但底層依然是浮點數(shù)格式化的規(guī)則比如print(f{2.675:.2f}) # 2.67 print(f{1.005:.2f}) # 1.00因為1.005和2.675在二進(jìn)制里的表示都不是精確的十進(jìn)制值格式化只是按存儲值舍入。要解決這種顯示層問題最直接的辦法是在格式化之前就先用Decimal做好舍入或者對這種誤差不敏感的場景接受它。我做報表的時候習(xí)慣統(tǒng)一規(guī)定所有數(shù)據(jù)在進(jìn)入格式化流程之前先統(tǒng)一精度避免每個輸出位置各自舍一次導(dǎo)致合計對不上。2.4 還有一個容易忽略的round陷阱負(fù)數(shù)round(-1.5)的結(jié)果是 -2而不是 -1這也是“五成雙”的規(guī)則在負(fù)數(shù)上的體現(xiàn)。如果業(yè)務(wù)上要求對負(fù)數(shù)的絕對值做四舍五入需要自己判斷符號def round_half_up_abs(value, digits0): from decimal import Decimal, ROUND_HALF_UP quantum Decimal(1).scaleb(-digits) if digits else Decimal(1) return Decimal(str(value)).quantize(quantum, roundingROUND_HALF_UP)這類邊角需求平時不常見但一旦遇到用abs加round的方式也能湊合只是要注意先取絕對值再還原符號。3. 處理時間差datetime、timedelta以及一個常被忽略的時區(qū)陷阱3.1 兩個時間怎么減出一個可用的間隔Python里計算時間差最基礎(chǔ)的方式是兩個datetime對象直接相減得到timedeltafrom datetime import datetime start datetime(2024, 6, 1, 8, 30, 0) end datetime(2024, 6, 1, 14, 45, 30) diff end - start print(diff) # 6:15:30 print(diff.total_seconds()) # 22530.0timedelta只有days、seconds、microseconds三個底層屬性沒有直接的hours或minutes字段。想要小時數(shù)、分鐘數(shù)得用total_seconds()再做除法。這里的經(jīng)典錯誤是直接訪問diff.seconds當(dāng)時間差超過一天時seconds只代表“不滿一天的那部分秒數(shù)”并不是總秒數(shù)。我之前排查過一段監(jiān)控腳本明明任務(wù)耗時兩天算出來的耗時卻只有幾個小時就是因為用了diff.seconds而不是total_seconds()。3.2 字符串轉(zhuǎn)時間對象strptime的格式對照從日志或接口拿到的時間字符串需要先轉(zhuǎn)成datetime才能參與計算。常用的轉(zhuǎn)換是datetime.strptimetime_str 2024-06-01 14:45:30 dt datetime.strptime(time_str, %Y-%m-%d %H:%M:%S)%Y是四位年份%m是兩位月份%d是兩位日期%H是24小時制小時%M是分鐘%S是秒。最容易出問題的是月份和分鐘都用%M還是%m的區(qū)別月份是小寫m分鐘是大寫M寫反了要么解析報錯要么解析出錯誤的時間。如果字符串里帶毫秒加上.%f帶時區(qū)則需要考慮fromisoformat或第三方庫因為標(biāo)準(zhǔn)strptime對某些時區(qū)格式兼容性不好。3.3 時區(qū)問題為什么你的時間差忽大忽小時間差計算里最隱蔽的坑是“本地時間”和“UTC時間”混用。如果你先拿到兩個本地字符串直接用strptime解析Python會把這它們當(dāng)作“沒有時區(qū)信息的naive datetime”然后相減。程序看起來沒問題可一旦跨夏令時切換、跨時區(qū)部署結(jié)果就可能差出一個小時甚至一整天。我在某自動化任務(wù)里見識過這個問題的真實影響服務(wù)器日志記錄的時間是UTC數(shù)據(jù)庫里存的是本地時間腳本把兩者直接相減算任務(wù)耗時上線后每逢夏令時切換耗時就魔幻地多了一個小時。正確的做法是統(tǒng)一先轉(zhuǎn)成含時區(qū)的aware datetime在計算前全部轉(zhuǎn)到UTC再做減法。Python 3.9及以上可以用zoneinfofrom datetime import datetime, timezone from zoneinfo import ZoneInfo local_tz ZoneInfo(Asia/Shanghai) # 解析本地時間并綁定時區(qū) local_dt datetime(2024, 6, 1, 14, 45, 30, tzinfolocal_tz) # 拿到UTC中的應(yīng)用時間戳去參與計算 utc_dt local_dt.astimezone(timezone.utc)跨系統(tǒng)對接數(shù)據(jù)時更省心的方案是全部用帶時區(qū)的時間戳字符串或者UTC時間字符串展示層再轉(zhuǎn)本地時間。這也是為什么很多日志系統(tǒng)內(nèi)部統(tǒng)一存UTC的原因。3.4 量代碼耗時別用time.time用perf_counter計算兩個時間點之間的差除了處理業(yè)務(wù)數(shù)據(jù)還有一個高頻場景是測腳本性能。有人喜歡用time.time()打點相減但time.time()是墻上時鐘時間進(jìn)程可能被系統(tǒng)調(diào)度打斷也可能被NTP校時跳變結(jié)果并不穩(wěn)定。更準(zhǔn)確的是time.perf_counter()它統(tǒng)計的是CPU高精度計數(shù)器專門用于測量短時間間隔import time t0 time.perf_counter() # 這里放要測量的代碼 time.sleep(0.2) t1 time.perf_counter() print(f耗時: {t1 - t0:.4f} 秒)需要特別說明的是perf_counter的零點沒有絕對意義它只適合做差值比較不適合推算當(dāng)前時刻。要拿到“現(xiàn)在的具體時間”還是用datetime.now()。4. 文件讀寫編碼、路徑與with語句的完整避坑指南4.1 open的mode矩陣讀、寫、追加、二進(jìn)制別搞混文件讀寫基礎(chǔ)的不能再基礎(chǔ)但mode選錯造成的數(shù)據(jù)覆蓋事故我見過不止一次。open(filename, w)會清空原文件后寫入a是在末尾追加r是只讀rb讀二進(jìn)制。如果只想更新部分內(nèi)容別用w正確做法往往是讀進(jìn)來改完再整體寫回或者用r做原地修改。原地修改有偏移量問題通常不如先讀后寫安全。我建議所有習(xí)慣性打開文件的操作都寫成with open(data.txt, r, encodingutf-8) as f: content f.read()with語句保證文件用完自動關(guān)閉哪怕中途拋異常也不會泄漏文件句柄。不用with而手動f.close()如果前面某行代碼拋了異常close就可能執(zhí)行不到文件句柄被占用后續(xù)刪除或重命名文件都會失敗。4.2 編碼問題UnicodeDecodeError是怎么來的讀到一半突然拋出UnicodeDecodeError幾乎總是編碼不匹配。文件本身是GBK/GB2312編碼你用默認(rèn)的UTF-8去讀自然解析失敗。特別是從Windows環(huán)境的Excel導(dǎo)出、老系統(tǒng)導(dǎo)出的文件很容易出現(xiàn)這種情況。處理方式有兩種一是顯式指定正確編碼with open(data.txt, r, encodinggbk) as f: content f.read()二是在不確定編碼時用errorsignore或errorsreplace防止程序崩潰with open(data.txt, r, encodingutf-8, errorsreplace) as f: content f.read()replace會把無法解析的字節(jié)替換成數(shù)據(jù)不全但程序能跑完ignore則直接丟棄。這兩種都只適合對數(shù)據(jù)精度要求不高的兜底場景如果你在做一個數(shù)據(jù)清洗任務(wù)最好不要靜默忽略錯誤否則臟數(shù)據(jù)會一路污染到最終結(jié)果。還有一個細(xì)節(jié)UTF-8編碼的文件可能有帶BOM的變體比如記事本保存的UTF-8文件開頭會帶\ufeff。用encodingutf-8-sig讀取會自動去掉BOM寫文件時如果指定utf-8-sig會主動寫入BOM方便某些老舊Windows程序識別。4.3 路徑問題反斜杠、正斜杠和pathlib在Windows上文件路徑里的反斜杠很容易引發(fā)轉(zhuǎn)義問題。寫C:\Users\test\data.txt時\U、\t都可能被當(dāng)成轉(zhuǎn)義字符。最簡單的解法是使用原始字符串rC:\Users\test\data.txt或者干脆統(tǒng)一用正斜杠C:/Users/test/data.txtPython在Windows下也認(rèn)正斜杠。更推薦的是直接用pathlibfrom pathlib import Path data_dir Path(data) file_path data_dir / result.csv content file_path.read_text(encodingutf-8)Path對象支持/拼接不需要關(guān)心當(dāng)前系統(tǒng)是Windows還是類Unix代碼可移植性大大提升。Path.read_text()、Path.write_text()是對open的封裝日常簡單讀寫用起來非常順手但要注意它們同樣依賴正確的編碼參數(shù)。4.4 大文件不能一次read用迭代逐行處理一個常見的性能事故是日志文件幾個GB直接f.read()導(dǎo)致內(nèi)存暴漲甚至進(jìn)程被殺掉。文件雖大逐行讀卻不難with open(huge_log.txt, r, encodingutf-8) as f: for line in f: # 處理每一行 if ERROR in line: print(line.strip())這里的for line in f是內(nèi)部實現(xiàn)了緩沖讀取不會一次性把所有行灌進(jìn)內(nèi)存。需要一次讀少量字符可以用f.read(1024)需要按行讀取并快速判斷是否繼續(xù)可以用readline。這些方式在面對幾個G的日志時差距不是幾秒而是“能不能跑完”的差別。5. 把四個問題串起來一個日志統(tǒng)計腳本的實戰(zhàn)改造5.1 需求統(tǒng)計一批日志里每個任務(wù)的處理耗時并輸出報告前面四塊內(nèi)容都很零散我習(xí)慣用一個綜合例子把它們焊在一起。假設(shè)現(xiàn)在有一份任務(wù)日志每行格式是2024-06-01 08:30:00|task_001|START 2024-06-01 08:36:15|task_001|END 2024-06-01 09:00:30|task_002|START 2024-06-01 09:05:10|task_002|END我要做的是讀取整個文件把相同task_id的START和END配對計算耗時然后把每個任務(wù)的task_id、開始時間、結(jié)束時間、耗時秒數(shù)寫進(jìn)一個新CSV文件耗時保留兩位小數(shù)并執(zhí)行嚴(yán)格四舍五入。5.2 第一版實現(xiàn)把范圍、舍入、時間差、文件讀寫全用上from datetime import datetime from pathlib import Path from decimal import Decimal, ROUND_HALF_UP TIME_FMT %Y-%m-%d %H:%M:%S log_path Path(tasks.log) out_path Path(task_report.csv) records {} with open(log_path, r, encodingutf-8) as f: for line in f: line line.strip() if not line: continue time_str, task_id, event line.split(|) dt datetime.strptime(time_str, TIME_FMT) if event START: records.setdefault(task_id, {})[start] dt elif event END: records.setdefault(task_id, {})[end] dt with open(out_path, w, encodingutf-8-sig, newline) as f: f.write(task_id,start_time,end_time,duration_seconds\n) for task_id, times in records.items(): if start not in times or end not in times: continue duration (times[end] - times[start]).total_seconds() rounded Decimal(str(duration)).quantize(Decimal(0.00), roundingROUND_HALF_UP) f.write(f{task_id},{times[start]},{times[end]},{rounded}\n)這個腳本覆蓋了本文前面所有的點range相關(guān)的循環(huán)在這里變成了for line in f不涉及小數(shù)步長但如果你后續(xù)需要按固定時間間隔做分組統(tǒng)計就可以用第一節(jié)里的float_range思路切窗口耗時用total_seconds()而不是seconds避免跨天任務(wù)統(tǒng)計錯耗時保留兩位小數(shù)用Decimal而不是直接round保證報表里的數(shù)字符合業(yè)務(wù)直覺文件讀寫全部用with和顯式編碼避免Windows下打開CSV出現(xiàn)亂碼。5.3 改造過程中最容易翻車的三個環(huán)節(jié)這個腳本看著簡單我實際跑了幾個版本才穩(wěn)定。第一處是分隔符|在split時要轉(zhuǎn)義嗎不用轉(zhuǎn)義task_001|START.split(|)完全正常但如果出現(xiàn)多個連續(xù)分隔符split會產(chǎn)生空字符串所以要先做line.strip()和空行判斷。第二處是字符串解析時的格式對齊。日志里的秒數(shù)如果有時有有時沒有比如部分行是2024-06-01 08:36:15部分是2024-06-01 08:36strptime就會拋異常。穩(wěn)妥做法是異常時嘗試多種格式for fmt in (%Y-%m-%d %H:%M:%S, %Y-%m-%d %H:%M): try: dt datetime.strptime(time_str, fmt) break except ValueError: continue第三處是CSV里時間字段直接用了datetime對象的字符串表示中間帶空格后續(xù)再讀回時要和解析格式保持一致。如果嫌空格麻煩可以改成ISO格式times[start].isoformat()這也是跨系統(tǒng)交換數(shù)據(jù)時更通用的寫法。5.4 這個例子的擴展方向步長、舍入和時間差還能怎么用同樣的日志統(tǒng)計需求再往前推一步就是性能監(jiān)控報表按小時統(tǒng)計任務(wù)的平均耗時需要生成一批時間窗口計算窗口的起點就可以用float_range或小時整數(shù)。數(shù)據(jù)量大了以后文件讀寫就可能要換成pandas的塊讀取計算分布后報表里要輸出百分比百分比的舍入又回到第二節(jié)的Decimal。換句話說范圍生成、精度控制、時間差計算、文件IO這四個點不是孤立的它們構(gòu)成了Python數(shù)據(jù)腳本的底座。最后再分享兩個習(xí)慣第一個習(xí)慣寫時間相關(guān)的代碼先在腦海里問一句“這個時間有沒有時區(qū)語義”不確定就統(tǒng)一轉(zhuǎn)UTC。第二個習(xí)慣寫文件讀寫的代碼先確認(rèn)編碼再考慮用不用with。這兩個習(xí)慣幫我在各種數(shù)據(jù)腳本里少踩了不計其數(shù)的坑。如果你在range、舍入、時間差、文件讀寫這幾個方向還有什么百思不解的現(xiàn)象建議自己寫個小腳本逐行打印中間變量用我上面的例子做對照。Python的報錯不算友好但每個報錯都是逐步排查的線索。今天的這些坑都是前人踩過、填平、又踩出來的希望這篇匯總能讓你少走其中幾條。 Python數(shù)據(jù)處理容易踩的5個坑：range、舍入、時間差、編碼詳解
寫Python的人大概都經(jīng)歷過這樣一幕想用for i in range(0, 1, 0.1)生成一組小數(shù)結(jié)果一運行直接TypeError費了半天勁把時間差算出來發(fā)現(xiàn)結(jié)果是個timedelta對象轉(zhuǎn)成小時又踩了坑四舍五入看起來是個小學(xué)問題Python 卻給你來個“銀行家舍入”讀寫文件更不用說了第一次遇到UnicodeDecodeError的人八成都在屏幕前懵了幾分鐘。這篇文章就把這些“誰寫誰踩”的Python處理細(xì)節(jié)集中過一遍range為什么不吃小數(shù)、真正的解決辦法是什么、四舍五入到底有幾種玩法、時間差怎么算才不出錯、文件讀寫有哪些必須記住的雷區(qū)。適合剛?cè)腴T不久、正在用Python處理數(shù)據(jù)和日常腳本的人也適合寫給那些總覺得“Python結(jié)果不對勁”的老哥做個排查參考。1. range里為什么不能直接寫小數(shù)——先搞懂range的邊界機制1.1 報錯的根源range只認(rèn)整數(shù)這是設(shè)計使然range(0, 1, 0.1)會直接拋出TypeError: float object cannot be interpreted as an integer很多人第一反應(yīng)是“Python不夠智能”其實這是有意為之。range底層是按整數(shù)步長做逐項生成它的核心邏輯依賴三個整數(shù)起點、終點、步長。在CPython的實現(xiàn)里range的成員判斷和長度計算都建立在整數(shù)算術(shù)之上一旦摻入浮點數(shù)長度的計算就會變得不精確甚至無法確定收斂方向。我最初也試圖給range傳入浮點數(shù)希望它“自動處理”后來才明白這是個數(shù)據(jù)結(jié)構(gòu)的邊界問題不是bug。range保證三個特性支持in判斷、支持len()、支持高效切片和索引這些操作在浮點步長下都做不到可靠。這也是為什么Python社區(qū)長期沒有給range增加浮點支持——改了它就可能破壞一堆依賴range整數(shù)語義的底層邏輯。1.2 用numpy.linspace生成小數(shù)序列這才是正路如果只是想在循環(huán)里生成一列小數(shù)最穩(wěn)的方案是numpy.linspace。它的用法是numpy.linspace(start, stop, num)按點的個數(shù)切分區(qū)間而不是按步長。比如我想生成0到1之間包括兩邊端點的11個數(shù)每個間隔是0.1代碼就是import numpy as np points np.linspace(0, 1, 11) for val in points: print(val)linspace的好處是端點可控endpointFalse可以去掉右端點。它內(nèi)部對浮點誤差也做了處理不會出現(xiàn)0.30000000000000004這種離譜值。適合需要“均分區(qū)間”的場景比如數(shù)值計算里的采樣點、繪圖坐標(biāo)軸刻度、插值算法的自變量序列。1.3 如果不想引入numpy自己寫一個浮點步長的生成器有些項目環(huán)境不允許隨便裝第三方庫或者只是臨時需要一個小數(shù)循環(huán)完全可以用生成器函數(shù)搞定def float_range(start, stop, step): cur start while cur stop: yield cur cur step for val in float_range(0, 1, 0.1): print(val)這個方案的原理是每次把當(dāng)前值累加步長然后判斷是否越過終點。它確實會累積浮點誤差步數(shù)多時末尾可能多出一個0.9999999999999999所以輸出時最好用round做一下格式化。如果想更嚴(yán)謹(jǐn)可以用Decimal來替代float這樣步長累加就不會出現(xiàn)二進(jìn)制浮點誤差。from decimal import Decimal def decimal_range(start, stop, step): cur Decimal(str(start)) step Decimal(str(step)) stop Decimal(str(stop)) while cur stop: yield cur cur step注意Decimal(str(start))而不是Decimal(start)用字符串構(gòu)造才能保留人類認(rèn)知里的十進(jìn)制度數(shù)。直接傳浮點數(shù)會把底層那個二進(jìn)制近似值也帶進(jìn)來反而更亂。1.4 循環(huán)邊界的一個常見誤解還有一個跟range類似的坑很多人以為range(0, 1, 0.1)報錯是因為步長不能是小數(shù)實際上哪怕是range(0.0, 1.0, 1)也會報錯因為起點、終點同樣必須是整數(shù)。也就是說只要三個參數(shù)里有一個是浮點數(shù)這個函數(shù)就罷工。理解這一點排查的時候就不會鉆牛角尖。2. 四舍五入的三種正確姿勢round、Decimal與format2.1 round的“銀行家舍入”為什么和你想象的不一樣Python內(nèi)置的round函數(shù)可能是被誤解最多的一個。執(zhí)行round(2.675, 2)得到的是2.67而不是2.68網(wǎng)上這個例子幾乎成了Python勸退名場面。原因有兩層第一2.675在二進(jìn)制浮點里實際存儲的是一個略小于理論值的數(shù)第二round采用的舍入規(guī)則是“banker’s rounding”也就是“四舍六入五成雙”——當(dāng)被舍位正好是5時要看前一位是奇數(shù)還是偶數(shù)偶數(shù)則不進(jìn)奇數(shù)才進(jìn)。print(round(2.5)) # 2 print(round(3.5)) # 4 print(round(4.5)) # 4 print(round(5.5)) # 6視覺上就是“奇數(shù)進(jìn)位、偶數(shù)舍掉”。這是IEEE 754推薦的做法目的是讓大量統(tǒng)計數(shù)據(jù)的舍入誤差在整體上趨于平衡不至于全部向上偏。但如果你做財務(wù)計算、成績統(tǒng)計、庫存核算業(yè)務(wù)規(guī)則往往明確要求“逢五進(jìn)一”這時候round就不合規(guī)。2.2 用Decimal獲得真正可控的舍入行為要讓舍入結(jié)果始終符合“四舍五入”的傳統(tǒng)語義應(yīng)該用decimal.Decimal并顯式指定舍入模式from decimal import Decimal, ROUND_HALF_UP val Decimal(2.675) result val.quantize(Decimal(0.00), roundingROUND_HALF_UP) print(result) # 2.68quantize的第一個參數(shù)是目標(biāo)精度模板Decimal(0.00)表示保留兩位小數(shù)。ROUND_HALF_UP就是傳統(tǒng)意義上的四舍五入而且這里用的是字符串構(gòu)造繞開了二進(jìn)制浮點導(dǎo)致的精度問題。涉及金額、費率、稅點這類需要精確到分的數(shù)據(jù)我基本都是走Decimal再配合rounding參數(shù)控制邊界行為。2.3 格式化輸出時會發(fā)生的“視錯覺”用format或 f-string 控制小數(shù)位時結(jié)果看起來像四舍五入但底層依然是浮點數(shù)格式化的規(guī)則比如print(f{2.675:.2f}) # 2.67 print(f{1.005:.2f}) # 1.00因為1.005和2.675在二進(jìn)制里的表示都不是精確的十進(jìn)制值格式化只是按存儲值舍入。要解決這種顯示層問題最直接的辦法是在格式化之前就先用Decimal做好舍入或者對這種誤差不敏感的場景接受它。我做報表的時候習(xí)慣統(tǒng)一規(guī)定所有數(shù)據(jù)在進(jìn)入格式化流程之前先統(tǒng)一精度避免每個輸出位置各自舍一次導(dǎo)致合計對不上。2.4 還有一個容易忽略的round陷阱負(fù)數(shù)round(-1.5)的結(jié)果是 -2而不是 -1這也是“五成雙”的規(guī)則在負(fù)數(shù)上的體現(xiàn)。如果業(yè)務(wù)上要求對負(fù)數(shù)的絕對值做四舍五入需要自己判斷符號def round_half_up_abs(value, digits0): from decimal import Decimal, ROUND_HALF_UP quantum Decimal(1).scaleb(-digits) if digits else Decimal(1) return Decimal(str(value)).quantize(quantum, roundingROUND_HALF_UP)這類邊角需求平時不常見但一旦遇到用abs加round的方式也能湊合只是要注意先取絕對值再還原符號。3. 處理時間差datetime、timedelta以及一個常被忽略的時區(qū)陷阱3.1 兩個時間怎么減出一個可用的間隔Python里計算時間差最基礎(chǔ)的方式是兩個datetime對象直接相減得到timedeltafrom datetime import datetime start datetime(2024, 6, 1, 8, 30, 0) end datetime(2024, 6, 1, 14, 45, 30) diff end - start print(diff) # 6:15:30 print(diff.total_seconds()) # 22530.0timedelta只有days、seconds、microseconds三個底層屬性沒有直接的hours或minutes字段。想要小時數(shù)、分鐘數(shù)得用total_seconds()再做除法。這里的經(jīng)典錯誤是直接訪問diff.seconds當(dāng)時間差超過一天時seconds只代表“不滿一天的那部分秒數(shù)”并不是總秒數(shù)。我之前排查過一段監(jiān)控腳本明明任務(wù)耗時兩天算出來的耗時卻只有幾個小時就是因為用了diff.seconds而不是total_seconds()。3.2 字符串轉(zhuǎn)時間對象strptime的格式對照從日志或接口拿到的時間字符串需要先轉(zhuǎn)成datetime才能參與計算。常用的轉(zhuǎn)換是datetime.strptimetime_str 2024-06-01 14:45:30 dt datetime.strptime(time_str, %Y-%m-%d %H:%M:%S)%Y是四位年份%m是兩位月份%d是兩位日期%H是24小時制小時%M是分鐘%S是秒。最容易出問題的是月份和分鐘都用%M還是%m的區(qū)別月份是小寫m分鐘是大寫M寫反了要么解析報錯要么解析出錯誤的時間。如果字符串里帶毫秒加上.%f帶時區(qū)則需要考慮fromisoformat或第三方庫因為標(biāo)準(zhǔn)strptime對某些時區(qū)格式兼容性不好。3.3 時區(qū)問題為什么你的時間差忽大忽小時間差計算里最隱蔽的坑是“本地時間”和“UTC時間”混用。如果你先拿到兩個本地字符串直接用strptime解析Python會把這它們當(dāng)作“沒有時區(qū)信息的naive datetime”然后相減。程序看起來沒問題可一旦跨夏令時切換、跨時區(qū)部署結(jié)果就可能差出一個小時甚至一整天。我在某自動化任務(wù)里見識過這個問題的真實影響服務(wù)器日志記錄的時間是UTC數(shù)據(jù)庫里存的是本地時間腳本把兩者直接相減算任務(wù)耗時上線后每逢夏令時切換耗時就魔幻地多了一個小時。正確的做法是統(tǒng)一先轉(zhuǎn)成含時區(qū)的aware datetime在計算前全部轉(zhuǎn)到UTC再做減法。Python 3.9及以上可以用zoneinfofrom datetime import datetime, timezone from zoneinfo import ZoneInfo local_tz ZoneInfo(Asia/Shanghai) # 解析本地時間并綁定時區(qū) local_dt datetime(2024, 6, 1, 14, 45, 30, tzinfolocal_tz) # 拿到UTC中的應(yīng)用時間戳去參與計算 utc_dt local_dt.astimezone(timezone.utc)跨系統(tǒng)對接數(shù)據(jù)時更省心的方案是全部用帶時區(qū)的時間戳字符串或者UTC時間字符串展示層再轉(zhuǎn)本地時間。這也是為什么很多日志系統(tǒng)內(nèi)部統(tǒng)一存UTC的原因。3.4 量代碼耗時別用time.time用perf_counter計算兩個時間點之間的差除了處理業(yè)務(wù)數(shù)據(jù)還有一個高頻場景是測腳本性能。有人喜歡用time.time()打點相減但time.time()是墻上時鐘時間進(jìn)程可能被系統(tǒng)調(diào)度打斷也可能被NTP校時跳變結(jié)果并不穩(wěn)定。更準(zhǔn)確的是time.perf_counter()它統(tǒng)計的是CPU高精度計數(shù)器專門用于測量短時間間隔import time t0 time.perf_counter() # 這里放要測量的代碼 time.sleep(0.2) t1 time.perf_counter() print(f耗時: {t1 - t0:.4f} 秒)需要特別說明的是perf_counter的零點沒有絕對意義它只適合做差值比較不適合推算當(dāng)前時刻。要拿到“現(xiàn)在的具體時間”還是用datetime.now()。4. 文件讀寫編碼、路徑與with語句的完整避坑指南4.1 open的mode矩陣讀、寫、追加、二進(jìn)制別搞混文件讀寫基礎(chǔ)的不能再基礎(chǔ)但mode選錯造成的數(shù)據(jù)覆蓋事故我見過不止一次。open(filename, w)會清空原文件后寫入a是在末尾追加r是只讀rb讀二進(jìn)制。如果只想更新部分內(nèi)容別用w正確做法往往是讀進(jìn)來改完再整體寫回或者用r做原地修改。原地修改有偏移量問題通常不如先讀后寫安全。我建議所有習(xí)慣性打開文件的操作都寫成with open(data.txt, r, encodingutf-8) as f: content f.read()with語句保證文件用完自動關(guān)閉哪怕中途拋異常也不會泄漏文件句柄。不用with而手動f.close()如果前面某行代碼拋了異常close就可能執(zhí)行不到文件句柄被占用后續(xù)刪除或重命名文件都會失敗。4.2 編碼問題UnicodeDecodeError是怎么來的讀到一半突然拋出UnicodeDecodeError幾乎總是編碼不匹配。文件本身是GBK/GB2312編碼你用默認(rèn)的UTF-8去讀自然解析失敗。特別是從Windows環(huán)境的Excel導(dǎo)出、老系統(tǒng)導(dǎo)出的文件很容易出現(xiàn)這種情況。處理方式有兩種一是顯式指定正確編碼with open(data.txt, r, encodinggbk) as f: content f.read()二是在不確定編碼時用errorsignore或errorsreplace防止程序崩潰with open(data.txt, r, encodingutf-8, errorsreplace) as f: content f.read()replace會把無法解析的字節(jié)替換成數(shù)據(jù)不全但程序能跑完ignore則直接丟棄。這兩種都只適合對數(shù)據(jù)精度要求不高的兜底場景如果你在做一個數(shù)據(jù)清洗任務(wù)最好不要靜默忽略錯誤否則臟數(shù)據(jù)會一路污染到最終結(jié)果。還有一個細(xì)節(jié)UTF-8編碼的文件可能有帶BOM的變體比如記事本保存的UTF-8文件開頭會帶\ufeff。用encodingutf-8-sig讀取會自動去掉BOM寫文件時如果指定utf-8-sig會主動寫入BOM方便某些老舊Windows程序識別。4.3 路徑問題反斜杠、正斜杠和pathlib在Windows上文件路徑里的反斜杠很容易引發(fā)轉(zhuǎn)義問題。寫C:\Users\test\data.txt時\U、\t都可能被當(dāng)成轉(zhuǎn)義字符。最簡單的解法是使用原始字符串rC:\Users\test\data.txt或者干脆統(tǒng)一用正斜杠C:/Users/test/data.txtPython在Windows下也認(rèn)正斜杠。更推薦的是直接用pathlibfrom pathlib import Path data_dir Path(data) file_path data_dir / result.csv content file_path.read_text(encodingutf-8)Path對象支持/拼接不需要關(guān)心當(dāng)前系統(tǒng)是Windows還是類Unix代碼可移植性大大提升。Path.read_text()、Path.write_text()是對open的封裝日常簡單讀寫用起來非常順手但要注意它們同樣依賴正確的編碼參數(shù)。4.4 大文件不能一次read用迭代逐行處理一個常見的性能事故是日志文件幾個GB直接f.read()導(dǎo)致內(nèi)存暴漲甚至進(jìn)程被殺掉。文件雖大逐行讀卻不難with open(huge_log.txt, r, encodingutf-8) as f: for line in f: # 處理每一行 if ERROR in line: print(line.strip())這里的for line in f是內(nèi)部實現(xiàn)了緩沖讀取不會一次性把所有行灌進(jìn)內(nèi)存。需要一次讀少量字符可以用f.read(1024)需要按行讀取并快速判斷是否繼續(xù)可以用readline。這些方式在面對幾個G的日志時差距不是幾秒而是“能不能跑完”的差別。5. 把四個問題串起來一個日志統(tǒng)計腳本的實戰(zhàn)改造5.1 需求統(tǒng)計一批日志里每個任務(wù)的處理耗時并輸出報告前面四塊內(nèi)容都很零散我習(xí)慣用一個綜合例子把它們焊在一起。假設(shè)現(xiàn)在有一份任務(wù)日志每行格式是2024-06-01 08:30:00|task_001|START 2024-06-01 08:36:15|task_001|END 2024-06-01 09:00:30|task_002|START 2024-06-01 09:05:10|task_002|END我要做的是讀取整個文件把相同task_id的START和END配對計算耗時然后把每個任務(wù)的task_id、開始時間、結(jié)束時間、耗時秒數(shù)寫進(jìn)一個新CSV文件耗時保留兩位小數(shù)并執(zhí)行嚴(yán)格四舍五入。5.2 第一版實現(xiàn)把范圍、舍入、時間差、文件讀寫全用上from datetime import datetime from pathlib import Path from decimal import Decimal, ROUND_HALF_UP TIME_FMT %Y-%m-%d %H:%M:%S log_path Path(tasks.log) out_path Path(task_report.csv) records {} with open(log_path, r, encodingutf-8) as f: for line in f: line line.strip() if not line: continue time_str, task_id, event line.split(|) dt datetime.strptime(time_str, TIME_FMT) if event START: records.setdefault(task_id, {})[start] dt elif event END: records.setdefault(task_id, {})[end] dt with open(out_path, w, encodingutf-8-sig, newline) as f: f.write(task_id,start_time,end_time,duration_seconds\n) for task_id, times in records.items(): if start not in times or end not in times: continue duration (times[end] - times[start]).total_seconds() rounded Decimal(str(duration)).quantize(Decimal(0.00), roundingROUND_HALF_UP) f.write(f{task_id},{times[start]},{times[end]},{rounded}\n)這個腳本覆蓋了本文前面所有的點range相關(guān)的循環(huán)在這里變成了for line in f不涉及小數(shù)步長但如果你后續(xù)需要按固定時間間隔做分組統(tǒng)計就可以用第一節(jié)里的float_range思路切窗口耗時用total_seconds()而不是seconds避免跨天任務(wù)統(tǒng)計錯耗時保留兩位小數(shù)用Decimal而不是直接round保證報表里的數(shù)字符合業(yè)務(wù)直覺文件讀寫全部用with和顯式編碼避免Windows下打開CSV出現(xiàn)亂碼。5.3 改造過程中最容易翻車的三個環(huán)節(jié)這個腳本看著簡單我實際跑了幾個版本才穩(wěn)定。第一處是分隔符|在split時要轉(zhuǎn)義嗎不用轉(zhuǎn)義task_001|START.split(|)完全正常但如果出現(xiàn)多個連續(xù)分隔符split會產(chǎn)生空字符串所以要先做line.strip()和空行判斷。第二處是字符串解析時的格式對齊。日志里的秒數(shù)如果有時有有時沒有比如部分行是2024-06-01 08:36:15部分是2024-06-01 08:36strptime就會拋異常。穩(wěn)妥做法是異常時嘗試多種格式for fmt in (%Y-%m-%d %H:%M:%S, %Y-%m-%d %H:%M): try: dt datetime.strptime(time_str, fmt) break except ValueError: continue第三處是CSV里時間字段直接用了datetime對象的字符串表示中間帶空格后續(xù)再讀回時要和解析格式保持一致。如果嫌空格麻煩可以改成ISO格式times[start].isoformat()這也是跨系統(tǒng)交換數(shù)據(jù)時更通用的寫法。5.4 這個例子的擴展方向步長、舍入和時間差還能怎么用同樣的日志統(tǒng)計需求再往前推一步就是性能監(jiān)控報表按小時統(tǒng)計任務(wù)的平均耗時需要生成一批時間窗口計算窗口的起點就可以用float_range或小時整數(shù)。數(shù)據(jù)量大了以后文件讀寫就可能要換成pandas的塊讀取計算分布后報表里要輸出百分比百分比的舍入又回到第二節(jié)的Decimal。換句話說范圍生成、精度控制、時間差計算、文件IO這四個點不是孤立的它們構(gòu)成了Python數(shù)據(jù)腳本的底座。最后再分享兩個習(xí)慣第一個習(xí)慣寫時間相關(guān)的代碼先在腦海里問一句“這個時間有沒有時區(qū)語義”不確定就統(tǒng)一轉(zhuǎn)UTC。第二個習(xí)慣寫文件讀寫的代碼先確認(rèn)編碼再考慮用不用with。這兩個習(xí)慣幫我在各種數(shù)據(jù)腳本里少踩了不計其數(shù)的坑。如果你在range、舍入、時間差、文件讀寫這幾個方向還有什么百思不解的現(xiàn)象建議自己寫個小腳本逐行打印中間變量用我上面的例子做對照。Python的報錯不算友好但每個報錯都是逐步排查的線索。今天的這些坑都是前人踩過、填平、又踩出來的希望這篇匯總能讓你少走其中幾條。