第一次被系綜平均Ensemble Average也常被叫作集平均這個(gè)概念真正絆住是在我做一批雷達(dá)回波數(shù)據(jù)處理的時(shí)候。手里握著128個(gè)脈沖重復(fù)周期的采樣矩陣導(dǎo)師只說(shuō)了一句“做集平均”我當(dāng)時(shí)的反應(yīng)是平均誰(shuí)把128條曲線逐點(diǎn)相加除以128這不就是普通平均嗎后來(lái)才明白這個(gè)操作背后藏著一整套關(guān)于隨機(jī)過(guò)程的假設(shè)而我當(dāng)時(shí)對(duì)這套假設(shè)一無(wú)所知結(jié)果在一個(gè)非平穩(wěn)的實(shí)測(cè)數(shù)據(jù)集上直接把有用信號(hào)給平均沒(méi)了。系綜平均說(shuō)的是面對(duì)一個(gè)隨機(jī)過(guò)程我們?cè)谕粋€(gè)時(shí)刻 t對(duì)“所有可能發(fā)生的實(shí)現(xiàn)”取期望。它衡量的是統(tǒng)計(jì)意義上的中心趨勢(shì)而不是某一次觀測(cè)的走勢(shì)。與之相對(duì)的是時(shí)間平均也就是對(duì)單條樣本在時(shí)間軸上做平均。這兩者什么時(shí)候能互相替代、什么時(shí)候絕對(duì)不能是工程里最容易翻車的地方之一。不管你是做信號(hào)處理、通信、金融建模、分子動(dòng)力學(xué)仿真還是搞機(jī)器學(xué)習(xí)的 BatchNorm這個(gè)概念都會(huì)在某個(gè)環(huán)節(jié)跳出來(lái)攔住你。下面這些內(nèi)容適合三類人看剛接觸隨機(jī)過(guò)程、被“期望”“遍歷性”這些詞繞暈的學(xué)生做仿真和實(shí)驗(yàn)數(shù)據(jù)、需要判斷樣本量夠不夠的工程師以及已經(jīng)會(huì)用均值方差、但沒(méi)深究過(guò)背后假設(shè)的從業(yè)者。我會(huì)從概念拆解一路講到代碼實(shí)現(xiàn)和踩坑記錄盡量說(shuō)人話。1. 系綜平均到底在平均什么1.1 一次實(shí)驗(yàn)、一條曲線和一個(gè)系綜的關(guān)系先把最容易被混淆的一點(diǎn)掰開(kāi)一次實(shí)驗(yàn)產(chǎn)生一條數(shù)據(jù)曲線這條曲線叫一個(gè)“實(shí)現(xiàn)”或者一個(gè)“樣本函數(shù)”。而系綜ensemble是所有這些可能實(shí)現(xiàn)的集合配上它們的概率分布。注意概率分布是這個(gè)集合不可分割的一部分沒(méi)有分布的“一堆曲線”不構(gòu)成系綜。打個(gè)生活化的比方。你想知道某城市十月份下午三點(diǎn)的平均氣溫。系綜視角的做法是想象有無(wú)數(shù)個(gè)平行世界每個(gè)世界里都有同一個(gè)城市、同一個(gè)十月份、同一個(gè)下午三點(diǎn)每個(gè)世界的氣溫是一個(gè)樣本。把所有平行世界的氣溫加起來(lái)求期望這就是系綜平均。你現(xiàn)實(shí)里能拿到的只有我們這個(gè)世界里從10月1日到10月31日這31個(gè)觀測(cè)值那是時(shí)間序列是某一個(gè)實(shí)現(xiàn)上的31個(gè)采樣點(diǎn)。這個(gè)區(qū)別為什么重要因?yàn)榻^大多數(shù)工程問(wèn)題的答案都藏在系綜里而你能觀測(cè)到的永遠(yuǎn)只是時(shí)間軸上的切片。你能不能從切片里推斷整體取決于一個(gè)非常強(qiáng)的假設(shè)——平穩(wěn)性和遍歷性。這也是后面要反復(fù)講的核心。我在實(shí)際項(xiàng)目里見(jiàn)過(guò)太多人把“對(duì)多條曲線取平均”就叫系綜平均但對(duì)“多條曲線”的來(lái)源完全不設(shè)條件。如果這128條曲線來(lái)自同一個(gè)確定性信號(hào)加同一個(gè)確定性干擾那平均之后剩下的東西跟統(tǒng)計(jì)期望沒(méi)什么關(guān)系只是簡(jiǎn)單的相干疊加或者抵消。判斷依據(jù)永遠(yuǎn)是數(shù)據(jù)生成機(jī)制而不是平均這個(gè)動(dòng)作本身。1.2 嚴(yán)格定義概率空間、隨機(jī)變量族、期望算子從數(shù)學(xué)上講隨機(jī)過(guò)程是定義在概率空間 (Ω, F, P) 上的一族隨機(jī)變量 {X(t, ω) : t ∈ T, ω ∈ Ω}。這里 Ω 是樣本空間每個(gè) ω 是一個(gè)基本結(jié)果也就是一個(gè)“實(shí)現(xiàn)”t 是參數(shù)通常是時(shí)間。系綜平均的定義非常簡(jiǎn)單固定 t把 X(t, ·) 看成一個(gè)普通隨機(jī)變量取它的數(shù)學(xué)期望連續(xù)情形m(t) E[X(t)] ∫ x · f_{X(t)}(x) dx離散取值情形m(t) Σ x_k · P(X(t) x_k)如果 Ω 是離散且等概率的仿真里最常見(jiàn)m(t) (1/N) Σ_{i1}^{N} X_i(t)第三個(gè)式子就是工程中真正落地的東西用 N 個(gè)獨(dú)立同分布的樣本函數(shù)在固定時(shí)刻 t 上取算術(shù)平均。這里有兩個(gè)隱含要求一是每個(gè)樣本函數(shù)的“權(quán)重”由概率決定等概率才能簡(jiǎn)單取算術(shù)平均二是這 N 個(gè)實(shí)現(xiàn)必須來(lái)自同一個(gè)分布也就是統(tǒng)計(jì)上可交換。注意仿真里“跑1000次蒙特卡洛”得到的集合平均只有在隨機(jī)數(shù)種子設(shè)置正確、每次獨(dú)立采樣、模型參數(shù)完全一致的前提下才等于系綜平均。任何一次跑偏比如用了不同的初始條件分布平均值就失去了統(tǒng)計(jì)意義。很多人忽略的一點(diǎn)是m(t) 是 t 的函數(shù)不一定是常數(shù)。只有當(dāng)過(guò)程是寬平穩(wěn)的時(shí)候一階矩才與時(shí)間無(wú)關(guān)。所以嚴(yán)格來(lái)說(shuō)“把128條曲線逐點(diǎn)平均得到一條曲線”得到的是 m(t) 的估計(jì)而不是一個(gè)常數(shù)。這個(gè)細(xì)節(jié)在非平穩(wěn)場(chǎng)景比如瞬態(tài)響應(yīng)、調(diào)制信號(hào)里非常關(guān)鍵。1.3 為什么工程上繞不開(kāi)這個(gè)量均值本身信息量有限但它是幾乎所有二階統(tǒng)計(jì)量的地基。協(xié)方差函數(shù) C(t1, t2) E[(X(t1) - m(t1))(X(t2) - m(t2))]功率譜密度、相關(guān)矩陣、信噪比、最小均方誤差估計(jì)器全部要先把均值減干凈。均值估計(jì)不準(zhǔn)后面全部帶偏。更本質(zhì)的原因是真實(shí)系統(tǒng)的輸出幾乎總帶隨機(jī)性。器件的熱噪聲、信道的多徑散射、材料參數(shù)的批次差異、金融資產(chǎn)的波動(dòng)、分子的熱運(yùn)動(dòng)這些都不是可以被單次觀測(cè)精確描述的。要給出“典型值”“期望性能”“置信區(qū)間”只能用統(tǒng)計(jì)語(yǔ)言。系綜平均就是這套語(yǔ)言里最基本的一個(gè)詞。我在做一個(gè)微弱信號(hào)檢測(cè)項(xiàng)目時(shí)的體會(huì)特別深。單次采集的信噪比低到 -20 dB肉眼完全看不出信號(hào)但做2000次同步平均之后周期性成分以大約 √N(yùn) 的速率浮出噪聲底。那次我真正意識(shí)到平均不是“平滑一下”而是用樣本數(shù)的平方根去換取信噪比的提升。前提是信號(hào)在每次實(shí)驗(yàn)中嚴(yán)格對(duì)齊且噪聲在各次實(shí)現(xiàn)之間不相關(guān)——這兩條又回到了系綜的假設(shè)上。2. 系綜平均與時(shí)間平均遍歷性這根救命稻草2.1 時(shí)間平均為什么在實(shí)踐中更常用時(shí)間平均的定義是_T (1/T) ∫_0^T X(t) dt連續(xù)或者N (1/N) Σ{n1}^{N} X[n]離散它是工程數(shù)據(jù)的天然形態(tài)。示波器抓一段波形傳感器記錄一天的溫度麥克風(fēng)錄一段語(yǔ)音得到的就是一條時(shí)間序列?，F(xiàn)實(shí)里誰(shuí)也沒(méi)法真的去遍歷平行世界所以時(shí)間平均才是唯一可動(dòng)手實(shí)現(xiàn)的路徑。問(wèn)題的關(guān)鍵在于時(shí)間平均是隨機(jī)變量不同實(shí)驗(yàn)會(huì)得到不同的值而系綜平均在定義上是確定性的期望是一個(gè)固定的數(shù)字或函數(shù)。要把這兩個(gè)東西劃等號(hào)必須請(qǐng)出遍歷性定理。這也是初學(xué)者最容易忽略的一步很多人直接假設(shè)自己手上那條曲線算出來(lái)的均值就等于理論均值卻從沒(méi)問(wèn)過(guò)“這個(gè)假設(shè)成立嗎”。2.2 均方遍歷、均值遍歷和相關(guān)遍歷的區(qū)別遍歷性不是一個(gè)非此即彼的開(kāi)關(guān)而是分層次的工程上有幾個(gè)層次最常用遍歷類型含義常見(jiàn)應(yīng)用均值遍歷時(shí)間均值依概率收斂到系綜均值直流分量估計(jì)、偏置校正均方遍歷二階時(shí)間自相關(guān)收斂到系綜自相關(guān)功率譜估計(jì)、自適應(yīng)濾波分布遍歷時(shí)間直方圖收斂到邊緣分布直方圖統(tǒng)計(jì)、概率密度建模均值遍歷是最弱的要求相關(guān)遍歷則強(qiáng)得多。一個(gè)過(guò)程可能均值遍歷但自相關(guān)并不遍歷。比如某些長(zhǎng)記憶過(guò)程均值看著收斂了但二階統(tǒng)計(jì)量一直在飄。如果拿它去做譜估計(jì)或者協(xié)方差矩陣估計(jì)結(jié)果會(huì)非常不穩(wěn)。提示判斷一個(gè)過(guò)程是否能做遍歷假設(shè)先查它是不是平穩(wěn)。非平穩(wěn)過(guò)程幾乎談不上遍歷因?yàn)橄稻C均值本身隨時(shí)間變化時(shí)間平均只有一個(gè)數(shù)根本無(wú)法對(duì)應(yīng)一個(gè)隨時(shí)間變化的函數(shù)。2.3 平穩(wěn)性與遍歷性的關(guān)系與判據(jù)嚴(yán)格平穩(wěn)要求任意階聯(lián)合分布不隨時(shí)間平移變化這在工程里幾乎無(wú)法驗(yàn)證。所以實(shí)踐中基本都用寬平穩(wěn)均值恒定、自相關(guān)只依賴時(shí)間差 τ。寬平穩(wěn)是遍歷性的必要條件但不是充分條件。一個(gè)反例是 X(t) AA 是一個(gè)固定的隨機(jī)變量每次實(shí)驗(yàn)抽一次 A 之后就不再變。這個(gè)過(guò)程均值恒定E[A] 是常數(shù)自相關(guān)只依賴 τ恒等于 Var(A)但它完全不遍歷單條曲線的時(shí)間平均恒等于 A而系綜平均是 E[A]兩者一般不等。這個(gè)反例在工程里對(duì)應(yīng)一種非常真實(shí)的情形批次差異。假設(shè)你測(cè)試100個(gè)芯片每個(gè)芯片的失調(diào)電壓是固定值芯片內(nèi)部還疊加了隨機(jī)噪聲。如果你只測(cè)一個(gè)芯片一整天你測(cè)到的均值是“這個(gè)芯片的失調(diào) 零”而不是“整批芯片的失調(diào)期望”。這時(shí)候必須跨芯片做系綜平均時(shí)間平均救不了你。我判斷遍歷性時(shí)通常問(wèn)三個(gè)問(wèn)題第一均值有沒(méi)有隨時(shí)間的系統(tǒng)性漂移畫(huà)個(gè)滑動(dòng)平均看看第二不同時(shí)間段的直方圖是否明顯不同疊加對(duì)比第三把長(zhǎng)序列切成若干段段間均值是否落在合理的統(tǒng)計(jì)漲落內(nèi)段均值序列做方差檢驗(yàn)。三個(gè)問(wèn)題都過(guò)關(guān)才有可能安全地用時(shí)間平均替代。2.4 常見(jiàn)誤區(qū)把單次長(zhǎng)觀測(cè)當(dāng)成系綜這個(gè)坑我自己踩過(guò)。做某類器件穩(wěn)定性測(cè)試我采集了連續(xù)8小時(shí)的數(shù)據(jù)算了一個(gè)均值報(bào)告里寫(xiě)著“平均響應(yīng)”。審稿人問(wèn)了一句你這8小時(shí)里的溫度漂移怎么處理的我才發(fā)現(xiàn)那段時(shí)間環(huán)境溫度上升了3度器件響應(yīng)有單調(diào)漂移整個(gè)過(guò)程的均值根本不是任何一個(gè)時(shí)刻的期望它是個(gè)四不像。解決辦法有兩類。一是把漂移建模進(jìn)去做趨勢(shì)項(xiàng)分離對(duì)去趨勢(shì)后的殘差做時(shí)間平均二是按環(huán)境條件分層在每個(gè)溫度點(diǎn)上分別做時(shí)間平均得到條件均值再按環(huán)境分布做加權(quán)這個(gè)加權(quán)其實(shí)就是系綜平均的離散近似。還有一種是“用不同初始條件跑同一條軌跡”的偽系綜。分子動(dòng)力學(xué)里很常見(jiàn)有人跑100次不同初速度的模擬然后說(shuō)這是系綜平均。嚴(yán)格講如果初速度從麥克斯韋分布采樣、積分時(shí)間足夠長(zhǎng)、體系達(dá)到了平衡這個(gè)做法是成立的這其實(shí)就是多副本采樣。但如果初條件全部從一個(gè)極端區(qū)域出發(fā)那這100條軌跡都在同一個(gè)非平衡態(tài)里平均出來(lái)的不是平衡系綜平均。3. 樣本量、方差與收斂速度怎么算3.1 估計(jì)量的無(wú)偏性與方差衰減規(guī)律用 N 個(gè)獨(dú)立樣本估計(jì)系綜均值估計(jì)量 m? (1/N) Σ X_i。它的期望等于真值是無(wú)偏的。它的方差是 Var(m?) σ2 / N標(biāo)準(zhǔn)差是 σ/√N(yùn)。這兩條式子直接決定了工程上的預(yù)算。想讓誤差條減半樣本數(shù)要翻4倍。這是最反直覺(jué)也最常被低估的一點(diǎn)精度提升是平方根關(guān)系不是線性關(guān)系。我做粒子濾波的蒙特卡洛實(shí)驗(yàn)時(shí)從1000個(gè)粒子加到4000個(gè)粒子均值曲線才明顯變光滑而計(jì)算時(shí)間漲了4倍。對(duì)應(yīng)地誤差條標(biāo)準(zhǔn)誤寫(xiě)作 SE σ? / √N(yùn)置信區(qū)間在正態(tài)近似下大約是 m? ± 1.96 · SE。注意這里的 σ? 是從同一批樣本里估出來(lái)的樣本標(biāo)準(zhǔn)差如果 N 很小比如小于30要用 t 分布而不是正態(tài)分布否則置信區(qū)間會(huì)偏窄給人一種虛假的精確感。3.2 有效樣本數(shù)與自相關(guān)時(shí)間上面的公式前提是樣本獨(dú)立。仿真里如果每次重跑都重新播種獨(dú)立性一般沒(méi)問(wèn)題。但時(shí)間平均場(chǎng)景下相鄰采樣點(diǎn)高度相關(guān)直接套 σ/√N(yùn) 會(huì)嚴(yán)重高估精度。工程上的做法是定義積分自相關(guān)時(shí)間τ_int 1 2 · Σ_{k1}^{K} ρ(k)其中 ρ(k) 是歸一化自相關(guān)函數(shù)求和到 ρ 基本衰減到零為止一般截到 1/e 或者 0.05。然后定義有效樣本數(shù)N_eff N / (2 · τ_int)舉個(gè)例子一條長(zhǎng)10000點(diǎn)的時(shí)間序列算出來(lái) τ_int 25那 N_eff 只有200左右。你以為自己有10000個(gè)自由度實(shí)際只有200個(gè)。這時(shí)候的誤差條要按 SE σ / √200 來(lái)算而不是 σ / √10000兩者差了7倍。這個(gè)錯(cuò)誤在論文里出現(xiàn)的頻率高得離譜。注意自相關(guān)時(shí)間估計(jì)本身也帶誤差而且對(duì) K 的選取敏感。穩(wěn)妥做法是畫(huà)幾條不同截?cái)嘞碌?τ_int 曲線看它是否穩(wěn)定或者直接用自舉法繞開(kāi)顯式估計(jì)。3.3 表格不同場(chǎng)景下的樣本量經(jīng)驗(yàn)值場(chǎng)景獨(dú)立性來(lái)源典型樣本量備注蒙特卡洛仿真獨(dú)立重播種1e3 ~ 1e6按目標(biāo)相對(duì)誤差定1% 通常需1e4以上圖像多幀集平均去噪幀間獨(dú)立噪聲20 ~ 500信噪比隨 √幀數(shù)提升受漂移限制分子動(dòng)力學(xué)時(shí)間采樣需 N_eff 1e3必須扣除自相關(guān)時(shí)間通信誤碼率測(cè)試獨(dú)立碼塊至少100個(gè)錯(cuò)誤事件錯(cuò)誤數(shù)比總比特?cái)?shù)更能決定精度金融歷史回測(cè)時(shí)間序列取決于自相關(guān)非平穩(wěn)性通常比樣本量更致命第三列只是量級(jí)參考真正的判斷標(biāo)準(zhǔn)永遠(yuǎn)是目標(biāo)精度和數(shù)據(jù)的自相關(guān)結(jié)構(gòu)。3.4 方差縮減在有限算力下把誤差壓下去算力永遠(yuǎn)是有限的所以方差縮減技術(shù)值得花時(shí)間。幾個(gè)實(shí)用的對(duì)偶變量法如果被估計(jì)量關(guān)于某個(gè)輸入是單調(diào)的用 X 和它的鏡像 1-X 成對(duì)采樣兩者的偏差負(fù)相關(guān)平均后方差下降?？刂谱兞糠ㄕ乙粋€(gè)已知均值的相關(guān)量 Y用 m? - β(Y - E[Y]) 作為估計(jì)選好 β 能把方差砍掉一大截。分層抽樣把輸入空間劃成若干層層內(nèi)采樣層間按比例加權(quán)能消除層間差異帶來(lái)的方差。公共隨機(jī)數(shù)比較兩個(gè)方案時(shí)用同一批隨機(jī)數(shù)把差分量的方差降下來(lái)。做A/B方案對(duì)比時(shí)特別有效我做過(guò)一組實(shí)驗(yàn)用了公共隨機(jī)數(shù)后相同樣本數(shù)下方案差異的置信區(qū)間縮短了約60%。這些方法有個(gè)共同前提你必須對(duì)問(wèn)題的結(jié)構(gòu)有理解。盲目套用不會(huì)有效果甚至可能引入偏差。用之前先畫(huà)一下被估計(jì)量對(duì)輸入的響應(yīng)曲線判斷單調(diào)性和相關(guān)性方向。4. 從零實(shí)現(xiàn)一個(gè)系綜平均估計(jì)器4.1 數(shù)據(jù)布局為什么要把系綜放在第一維做批量計(jì)算時(shí)數(shù)據(jù)布局直接決定性能。我的習(xí)慣是讓第一個(gè)維度是系綜樣本序號(hào)第二個(gè)維度是時(shí)間或空間坐標(biāo)。這樣 numpy 的 axis0 平均就是系綜平均內(nèi)存訪問(wèn)也是連續(xù)的。import numpy as np rng np.random.default_rng(20240517) N_ENS 4000 # 系綜樣本數(shù) N_T 512 # 每條的采樣長(zhǎng)度 # 構(gòu)造一個(gè)寬平穩(wěn)過(guò)程均值恒定 相關(guān)噪聲 # 用 AR(1) 生成有色噪聲r(shí)ho 控制相關(guān)強(qiáng)度 rho 0.85 sigma 1.0 noise np.zeros((N_ENS, N_T)) noise[:, 0] rng.normal(0.0, sigma, sizeN_ENS) for k in range(1, N_T): noise[:, k] rho * noise[:, k - 1] np.sqrt(1 - rho**2) * \ rng.normal(0.0, sigma, sizeN_ENS) signal 2.0 0.0 * noise # 恒定均值 2.0 data signal noise # 每行是一個(gè)實(shí)現(xiàn) # 系綜平均固定 t對(duì)所有實(shí)現(xiàn)求期望 m_hat data.mean(axis0) se data.std(axis0, ddof1) / np.sqrt(N_ENS) print(m_hat[:5]) print(se[:5])這段代碼里 data.mean(axis0) 就是系綜平均的離散形式。為什么用 ddof1因?yàn)闃颖緲?biāo)準(zhǔn)差用 N-1 歸一化才是總體方差的無(wú)偏估計(jì)N 小的時(shí)候差別明顯N 大以后無(wú)所謂但養(yǎng)成習(xí)慣沒(méi)有壞處。4.2 在線算法Welford 增量更新系綜樣本數(shù)很大的時(shí)候把所有數(shù)據(jù)堆在內(nèi)存里不現(xiàn)實(shí)。Welford 算法可以邊讀邊算數(shù)值穩(wěn)定性也遠(yuǎn)好于樸素的兩遍法或 Σx2 公式。import math class RunningStats: 在線計(jì)算均值與無(wú)偏方差單遍掃描數(shù)值穩(wěn)定 __slots__ (n, mean, M2) def __init__(self): self.n 0 self.mean 0.0 self.M2 0.0 def update(self, x: float) - None: self.n 1 delta x - self.mean self.mean delta / self.n self.M2 delta * (x - self.mean) property def var(self) - float: return self.M2 / (self.n - 1) if self.n 1 else 0.0 property def sem(self) - float: 均值的標(biāo)準(zhǔn)誤 return math.sqrt(self.var / self.n) if self.n 1 else float(nan) rs RunningStats() for v in rng.normal(3.0, 2.0, size100000): rs.update(v) print(rs.mean, rs.var, rs.sem)為什么不用 Σx 和 Σx2 的公式當(dāng)數(shù)據(jù)量很大且數(shù)值尺度差異明顯時(shí)Σx2 和 (Σx)2/N 兩個(gè)大數(shù)相減會(huì)造成災(zāi)難性抵消方差可能算出負(fù)數(shù)。Welford 每次只用增量和均值更新規(guī)避了這個(gè)問(wèn)題。做長(zhǎng)時(shí)間漂移實(shí)驗(yàn)或者流式傳感器數(shù)據(jù)時(shí)這個(gè)差別非常真實(shí)。4.3 收斂診斷誤差條、塊平均和自舉法只看一條平均值曲線不夠必須給出不確定度。三個(gè)我常用的手段第一是誤差條曲線把 m?(t) ± 1.96·SE(t) 畫(huà)出來(lái)觀察區(qū)間寬度是否隨 N 合理收縮。如果 N 從1000加到4000區(qū)間寬度應(yīng)該縮小到一半左右偏差太大說(shuō)明有相關(guān)性或非平穩(wěn)。第二是塊平均block averaging。把 N 個(gè)樣本切成 B 個(gè)塊每塊算一個(gè)均值看塊均值的方差隨塊長(zhǎng)度的變化。當(dāng)塊長(zhǎng)超過(guò)自相關(guān)時(shí)間后塊均值方差應(yīng)該趨于平坦這個(gè)平臺(tái)值就是真實(shí)方差。這招在做分子動(dòng)力學(xué)和長(zhǎng)時(shí)仿真時(shí)是標(biāo)配代碼不超過(guò)20行但能救命。第三是自舉法bootstrap。對(duì)系綜樣本做有放回重采樣重復(fù) R 次一般1000到10000每次算一個(gè)均值得到經(jīng)驗(yàn)分布直接讀分位數(shù)作為置信區(qū)間。它不依賴正態(tài)假設(shè)對(duì)偏態(tài)分布特別友好。def bootstrap_ci(samples, stat_fnnp.mean, R5000, alpha0.05, seed0): rng np.random.default_rng(seed) n samples.shape[0] idx rng.integers(0, n, size(R, n)) stats stat_fn(samples[idx], axis1) lo np.quantile(stats, alpha / 2) hi np.quantile(stats, 1 - alpha / 2) return stats.mean(), lo, hi提示塊長(zhǎng)和自舉重采樣次數(shù)都要做敏感性測(cè)試。塊長(zhǎng)選太短會(huì)低估方差選太長(zhǎng)則塊數(shù)不足方差估計(jì)本身不穩(wěn)。我的經(jīng)驗(yàn)是保證至少30個(gè)塊同時(shí)塊長(zhǎng)大于3倍自相關(guān)時(shí)間。4.4 與 BatchNorm 的對(duì)照一個(gè)被工程化的系綜平均深度網(wǎng)絡(luò)里的 BatchNorm 值得單獨(dú)說(shuō)一句。訓(xùn)練時(shí)它對(duì)一個(gè) mini-batch 內(nèi)的樣本計(jì)算均值和方差做歸一化同時(shí)用滑動(dòng)平均維護(hù)一組全局統(tǒng)計(jì)量推理時(shí)用這組統(tǒng)計(jì)量。這里的 mini-batch 就是一個(gè)小系綜每一步的批量統(tǒng)計(jì)是系綜平均的有噪估計(jì)而滑動(dòng)平均維護(hù)的是對(duì)整體分布的逼近。這也解釋了一個(gè)常見(jiàn)故障如果訓(xùn)練時(shí)的批量分布和推理時(shí)的真實(shí)分布不一致batch size 太小、數(shù)據(jù)有強(qiáng)序列相關(guān)、任務(wù)域偏移滑動(dòng)平均給出的統(tǒng)計(jì)量就不代表推理樣本的分布性能會(huì)掉。調(diào)大 batch size 或者改用 GroupNorm、LayerNorm本質(zhì)都是在調(diào)整“系綜”的構(gòu)造方式讓它更匹配真實(shí)數(shù)據(jù)分布。5. 典型場(chǎng)景下的落地方式5.1 蒙特卡洛與不確定性量化蒙特卡洛的本質(zhì)就是用大數(shù)定律把積分變成系綜平均。要估計(jì) E[f(X)]就從 p(x) 里采樣 N 次算 (1/N) Σ f(x_i)。誤差以 1/√N(yùn) 收斂和維度無(wú)關(guān)這是它相對(duì)確定性數(shù)值積分的最大優(yōu)勢(shì)。但要注意兩個(gè)陷阱。一是偽隨機(jī)數(shù)的質(zhì)量低質(zhì)量的線性同余發(fā)生器在高維下會(huì)產(chǎn)生格點(diǎn)結(jié)構(gòu)導(dǎo)致估計(jì)有偏。現(xiàn)在優(yōu)先用 PCG64 或者 Philox 這類現(xiàn)代生成器。二是重要抽樣當(dāng)目標(biāo)事件概率極低時(shí)樸素平均幾乎采不到有效樣本必須換分布采樣再乘似然比權(quán)重。金融里給深度虛值期權(quán)定價(jià)靠的就是這套。5.2 圖像多幀集平均去噪這個(gè)場(chǎng)景把系綜平均的物理意義體現(xiàn)得很直觀。同一場(chǎng)景連續(xù)拍攝多幀靜態(tài)內(nèi)容在每幀里位置不變隨機(jī)噪聲在幀間獨(dú)立。把 N 幀對(duì)齊、逐像素平均噪聲標(biāo)準(zhǔn)差下降 √N(yùn) 倍。我做過(guò)一組天文暗弱目標(biāo)的處理。單幀信噪比只有1.5左右目標(biāo)完全淹沒(méi)在噪聲里。對(duì)齊疊加200幀后信噪比到了20以上結(jié)構(gòu)清晰可見(jiàn)。幾個(gè)關(guān)鍵約束幀間要做亞像素配準(zhǔn)否則對(duì)齊誤差會(huì)把細(xì)節(jié)糊掉傳感器暗電流和熱噪聲是慢變偏置不能靠平均消除得單獨(dú)標(biāo)定圖像本身有亮度漂移時(shí)要么先做歸一化要么用加權(quán)平均權(quán)重取各幀的曝光時(shí)間或信噪比。順帶說(shuō)一句這里的“平均”如果換成“中位數(shù)”抗離群點(diǎn)的能力更強(qiáng)代價(jià)是收斂速度稍慢、計(jì)算量大。宇宙射線擊中這類稀疏強(qiáng)干擾用中位數(shù)組合效果明顯更好。5.3 陣列信號(hào)處理與自適應(yīng)波束形成天線陣列天然構(gòu)成本身的系綜M 個(gè)陣元就是 M 個(gè)空間采樣。樣本協(xié)方差矩陣 R? (1/K) Σ x_k x_k^H 就是對(duì)系綜協(xié)方差矩陣的估計(jì)其中 K 是快拍數(shù)。這里有一個(gè)經(jīng)典的工程權(quán)衡。K 太少R? 是病態(tài)的奇異求逆會(huì)爆炸K 太多如果信號(hào)源在移動(dòng)快拍之間就不再同分布估計(jì)有偏。經(jīng)驗(yàn)規(guī)則是 K ≥ 2M 起步通常取 3M 到 5M。如果信源數(shù)接近或超過(guò)陣元數(shù)還要上對(duì)角加載或者收縮估計(jì)把 R? 往單位陣方向拉一點(diǎn)犧牲一點(diǎn)分辨率換取數(shù)值穩(wěn)定。我做過(guò)的實(shí)測(cè)里K/M 從 2 提到 5波束形成的零陷深度改善了大約8 dB但到了8以后收益就很小了反而因?yàn)榉瞧椒€(wěn)性開(kāi)始變差。所以不是越多越好得結(jié)合場(chǎng)景找拐點(diǎn)。5.4 統(tǒng)計(jì)物理與分子動(dòng)力學(xué)統(tǒng)計(jì)力學(xué)是系綜概念的故鄉(xiāng)。微正則系綜NVE、正則系綜NVT、等溫等壓系綜NPT、巨正則系綜本質(zhì)上是不同的約束條件下對(duì)應(yīng)的不同概率分布。系綜平均就是在這個(gè)分布下求物理量的期望。實(shí)踐中最麻煩的是各態(tài)歷經(jīng)問(wèn)題。如果體系的能量面上有高勢(shì)壘模擬時(shí)間不夠長(zhǎng)軌跡被困在一個(gè)局部區(qū)域時(shí)間平均就代表不了系綜平均。蛋白質(zhì)折疊、玻璃態(tài)轉(zhuǎn)變這類問(wèn)題特別容易出問(wèn)題。常見(jiàn)對(duì)策有副本交換replica exchange、傘形采樣、元?jiǎng)恿W(xué)本質(zhì)都是人為加速遍歷過(guò)程。判斷是否收斂我最?？吹牧渴莿?shì)能和回旋半徑的時(shí)間序列畫(huà)出它們隨時(shí)間塊平均的變化看是否穩(wěn)定。另外用不同初始條件跑多組獨(dú)立軌跡看結(jié)果是否一致這是最直接的交叉驗(yàn)證。5.5 量子力學(xué)里的密度矩陣量子力學(xué)的混合態(tài)也是系綜平均的直接體現(xiàn)。純態(tài)是單個(gè)實(shí)現(xiàn)混合態(tài)是純態(tài)的統(tǒng)計(jì)系綜密度矩陣 ρ Σ p_i |ψ_iψ_i| 就帶著系綜平均的味道。任意可觀測(cè)量的期望是 tr(ρA)。相干與退相干的區(qū)別很有意思純態(tài)疊加里不同分支之間還存在相位關(guān)系測(cè)量時(shí)會(huì)發(fā)生干涉而系綜平均把相位信息抹掉了只剩強(qiáng)度求和。很多新手會(huì)把“經(jīng)典系綜平均”和“量子疊加”混為一談結(jié)果在解釋干涉實(shí)驗(yàn)時(shí)講不清楚。區(qū)別的關(guān)鍵在于是否有相位信息保留這一點(diǎn)在密度矩陣的非對(duì)角元上體現(xiàn)得很清楚。6. 常見(jiàn)問(wèn)題與排查技巧實(shí)錄6.1 平均值不收斂或緩慢漂移現(xiàn)象隨著樣本數(shù)增加均值曲線一直在緩慢爬升或下降誤差條不收縮。排查順序我一般這樣走。先畫(huà)滑動(dòng)平均和原始數(shù)據(jù)看有沒(méi)有明顯趨勢(shì)項(xiàng)。有趨勢(shì)項(xiàng)意味著過(guò)程非平穩(wěn)繼續(xù)加樣本只會(huì)讓估計(jì)收斂到一個(gè)沒(méi)有物理意義的“歷史平均”。其次是看數(shù)據(jù)生成過(guò)程是不是有參數(shù)在慢變比如溫度、供電電壓、負(fù)載狀態(tài)。最后檢查采樣機(jī)制本身比如采樣的觸發(fā)條件是不是跟信號(hào)相關(guān)這種選擇偏差會(huì)引入系統(tǒng)性的偏移。解決辦法分兩層。一是分離趨勢(shì)做去趨勢(shì)或者差分然后對(duì)殘差做統(tǒng)計(jì)。二是分層把非平穩(wěn)維度當(dāng)作條件變量在每個(gè)條件下做時(shí)間平均最后按條件分布加權(quán)。6.2 方差估計(jì)偏小置信區(qū)間過(guò)窄這是最隱蔽也最危險(xiǎn)的問(wèn)題因?yàn)樗粓?bào)錯(cuò)只是讓你過(guò)度自信。典型原因有三個(gè)樣本間存在正相關(guān)但沒(méi)有扣除、樣本數(shù)少于30還用了正態(tài)分位數(shù)、方差估計(jì)用了有偏公式。最快的診斷方法是塊平均。把序列切成 B 個(gè)塊算塊均值看塊均值的方差乘上塊數(shù)是否和逐點(diǎn)方差一致。如果塊方差的估計(jì)顯著大于逐點(diǎn)方差除以N恭喜你你的真實(shí)不確定度被低估了。論文審稿里被點(diǎn)名最多的統(tǒng)計(jì)問(wèn)題就是這個(gè)。我的習(xí)慣是只要檢驗(yàn)的是時(shí)間序列一律先用塊平均或者自舉法算誤差然后再畫(huà)誤差條寧可保守也不要虛假精確。6.3 遍歷性假設(shè)被悄悄打破的信號(hào)有些信號(hào)比均值漂移更隱蔽段均值序列存在明顯的長(zhǎng)程相關(guān)段與段之間不是獨(dú)立的直方圖隨窗口位置緩慢變化尤其是尾部二階統(tǒng)計(jì)量自相關(guān)、譜密度的形狀在不同時(shí)間段不一致?lián)Q一組初始條件重跑結(jié)果落在置信區(qū)間之外出現(xiàn)這些現(xiàn)象說(shuō)明你的單條軌跡不能代表整個(gè)系綜。要么加長(zhǎng)模擬時(shí)間直到跨越所有相關(guān)的慢尺度要么做多副本采樣要么改用更合適的系綜比如換控溫方法、換采樣算法。6.4 常見(jiàn)問(wèn)題速查表現(xiàn)象可能原因快速驗(yàn)證方法處理方式均值不收斂非平穩(wěn)、趨勢(shì)項(xiàng)畫(huà)滑動(dòng)平均去趨勢(shì)或分層處理誤差條太窄自相關(guān)未扣除塊平均對(duì)照用 N_eff 或自舉法換種子結(jié)果差別大樣本量不足跑5組不同種子增加樣本量平均后信號(hào)被抹平各實(shí)現(xiàn)間相位/時(shí)延未對(duì)齊檢查互相關(guān)峰值位置先對(duì)齊再平均方差出現(xiàn)負(fù)值公式數(shù)值不穩(wěn)定檢查量級(jí)差改用 Welford批量統(tǒng)計(jì)與全局不符系綜構(gòu)成不一致對(duì)比批內(nèi)和全局直方圖換歸一化方式6.5 幾條我踩過(guò)之后才明白的經(jīng)驗(yàn)第一條平均之前先對(duì)齊。這句話我說(shuō)給過(guò)好幾個(gè)人但真正吃虧才會(huì)記住。做超聲檢測(cè)時(shí)我直接對(duì)100次采集做平均結(jié)果信號(hào)反而比單次更模糊。原因是各次的回波到達(dá)時(shí)刻有微小抖動(dòng)直接平均相當(dāng)于做了低通濾波把高頻成分抹掉了。后來(lái)做了亞采樣級(jí)的時(shí)延校正再平均效果立刻出來(lái)。移動(dòng)的、有時(shí)延的、有相位變化的東西平均前必須配準(zhǔn)。第二條別用“樣本數(shù)”欺騙自己要用“有效樣本數(shù)”。我見(jiàn)過(guò)有人拿100萬(wàn)點(diǎn)的仿真數(shù)據(jù)算誤差條用了 √1000000 這個(gè)因子最后置信區(qū)間小到萬(wàn)分之一結(jié)論是“精度極高”。實(shí)際上數(shù)據(jù)是AR(1)過(guò)程自相關(guān)時(shí)間25有效樣本才兩萬(wàn)真實(shí)誤差是報(bào)告值的7倍。報(bào)告看起來(lái)漂亮但經(jīng)不起任何復(fù)現(xiàn)。第三條獨(dú)立性和平穩(wěn)性要用數(shù)據(jù)說(shuō)話。不要因?yàn)槟恪坝X(jué)得”噪聲是獨(dú)立的就默認(rèn)它可以平均掉。做一個(gè)自相關(guān)圖做一個(gè)游程檢驗(yàn)花不了十分鐘但能省掉幾天返工。第四條平均會(huì)掩蓋問(wèn)題不總是好事。有些異?，F(xiàn)象只在單次記錄里出現(xiàn)一旦做系綜平均就消失了。如果你做的是故障診斷、異常檢測(cè)這類任務(wù)系綜平均可能會(huì)把你要找的東西一起平均掉。這時(shí)候應(yīng)該反過(guò)來(lái)看樣本間的離散度把方差當(dāng)信號(hào)而不是當(dāng)噪聲。7. 一點(diǎn)后續(xù)可以延展的方向這套東西往下走可以接到幾個(gè)挺有意思的方向。一是貝葉斯推斷里的后驗(yàn)期望那就是對(duì)參數(shù)分布做系綜平均MCMC 采樣出來(lái)的鏈就是近似的系綜樣本收斂診斷和系綜平均的收斂判斷是同一套邏輯。二是隨機(jī)微分方程的數(shù)值解伊藤積分和斯特拉托諾維奇積分給出不同結(jié)果根源就在于對(duì)積分和的取法不同本質(zhì)是系綜平均里極限過(guò)程的定義差異。三是機(jī)器學(xué)習(xí)里的集成學(xué)習(xí)多個(gè)模型預(yù)測(cè)的平均可以看作對(duì)假設(shè)空間的系綜平均偏差方差分解那套分析講的就是這個(gè)。我自己最近在折騰的是把系綜平均的思想用到設(shè)備老化建模上。同一型號(hào)的一批設(shè)備各自的老化軌跡不同用多設(shè)備數(shù)據(jù)構(gòu)建設(shè)計(jì)矩陣做統(tǒng)計(jì)推斷本質(zhì)上就是在做系綜意義上的一致性估計(jì)。后面如果把這個(gè)流程整理清楚了再來(lái)寫(xiě)一篇更細(xì)的。