測：DeepAR、Informer、Transformer與RNN實(shí)戰(zhàn)對比)
簡介這份資源面向時間序列預(yù)測方向的研究者、算法工程師與高年級學(xué)生聚焦用PyTorch復(fù)現(xiàn)并改進(jìn)DeepAR、Informer、Transformer、RNN等經(jīng)典模型解決多變量時序分析與預(yù)測問題覆蓋金融、氣象、工業(yè)等場景。壓縮包共61個文件約55.25MB以49個Python實(shí)現(xiàn)文件為主配套4個gz數(shù)據(jù)集、4張png結(jié)果圖以及txt說明、docx附贈文檔、json與md說明代碼按data、models、exp、test等模塊組織便于按實(shí)驗(yàn)?zāi)_本逐項(xiàng)復(fù)現(xiàn)。已有95人學(xué)習(xí)下載。讀者可拿到各模型的完整實(shí)現(xiàn)與訓(xùn)練腳本、概率預(yù)測與點(diǎn)預(yù)測的對比實(shí)驗(yàn)、多變量數(shù)據(jù)加載與特征工程工具以及指標(biāo)計算、概率預(yù)測可視化等輔助模塊適合在此基礎(chǔ)上做二次開發(fā)與模型改進(jìn)。1. 從一份「模型全家桶」說起多變量時間序列預(yù)測到底難在哪電力負(fù)荷曲線、交通流量、工業(yè)設(shè)備振動、零售銷量這些數(shù)據(jù)有一個共同點(diǎn)它們不是孤立的一列數(shù)而是多個變量互相糾纏著隨時間演化。你拿到的往往是一張[時間步, 變量數(shù)]的表想預(yù)測未來一段時間的走勢。單變量預(yù)測那套「一列歷史推一列未來」的做法在多變量場景下會立刻暴露問題——變量之間的相關(guān)性被丟掉了而恰恰是這些相關(guān)性里藏著預(yù)測的線索。這份標(biāo)題里提到的方案本質(zhì)是把 DeepAR、Informer、Transformer、RNN 這幾類經(jīng)典模型放進(jìn)同一個 PyTorch 工程里用統(tǒng)一的數(shù)據(jù)接口和訓(xùn)練流程做多變量時間序列分析與預(yù)測。它解決的不是「哪個模型最強(qiáng)」這種問題而是「我手上這批多變量數(shù)據(jù)到底該用哪類模型、怎么快速橫向?qū)Ρ取?。適合已經(jīng)會寫 PyTorch 訓(xùn)練循環(huán)、但面對時間序列時不知道從哪下手的工程師也適合想把 LSTM 時間序列預(yù)測 Python 那套老流程升級到注意力機(jī)制的人。下面按「先立住原理、再動手復(fù)現(xiàn)、最后講坑」的順序拆開講。2. 四類模型的分工DeepAR、Informer、Transformer、RNN 各自解決什么2.1 先搞清楚它們不是同一層的替代品很多人一上來就問「Informer 和 Transformer 哪個準(zhǔn)」這個問題本身就問偏了。這幾類模型的差異不在精度高低而在它們對時間序列的建模假設(shè)不同。RNN含 LSTM、GRU是自回歸的逐點(diǎn)遞推結(jié)構(gòu)隱狀態(tài)沿時間軸傳遞天然適合捕捉短期依賴和序列順序。它的短板是長序列上梯度傳播路徑太長且無法并行訓(xùn)練慢。LSTM 時間序列預(yù)測 Python 生態(tài)里最成熟的方案就是它代碼簡單、調(diào)參直觀作為基線非常合適。Transformer 用自注意力一次性看到整個序列任意兩個時間步之間的依賴路徑長度都是 1長程依賴建模能力強(qiáng)且可并行。但標(biāo)準(zhǔn)自注意力的計算復(fù)雜度是序列長度的平方長序列上顯存和耗時都會爆炸。Informer 是針對長序列預(yù)測做的改進(jìn)版核心是 ProbSparse 稀疏注意力把注意力復(fù)雜度從 O(L2) 降到 O(L log L)同時用蒸餾機(jī)制逐層壓縮序列長度。它適合輸入序列很長比如上千步的預(yù)測任務(wù)。DeepAR 是另一條路線它不直接輸出點(diǎn)預(yù)測而是輸出概率分布的參數(shù)比如高斯分布的均值和方差用自回歸方式逐點(diǎn)采樣天然給出預(yù)測區(qū)間。多變量場景下它把所有變量的歷史一起喂進(jìn)去共享一個網(wǎng)絡(luò)適合需要不確定性量化的業(yè)務(wù)。模型建模方式長序列能力是否輸出概率并行訓(xùn)練RNN/LSTM逐點(diǎn)遞推弱否否Transformer全局自注意力中否是Informer稀疏注意力蒸餾強(qiáng)否是DeepAR自回歸分布輸出中是否2.2 統(tǒng)一數(shù)據(jù)接口是復(fù)現(xiàn)的前提四類模型要放在一個工程里對比第一件事不是寫模型而是把數(shù)據(jù)格式統(tǒng)一。多變量時間序列的常見組織方式是滑動窗口給定歷史長度context_length和預(yù)測長度pred_length從原始序列上切出[context_length, num_vars]的輸入和[pred_length, num_vars]的目標(biāo)。import torch from torch.utils.data import Dataset class MultiVarWindowDataset(Dataset): def __init__(self, data, context_length168, pred_length24): # data: [total_steps, num_vars] 的 float32 張量 self.data torch.as_tensor(data, dtypetorch.float32) self.context_length context_length self.pred_length pred_length self.num_samples len(self.data) - context_length - pred_length 1 def __len__(self): return self.num_samples def __getitem__(self, idx): x self.data[idx : idx self.context_length] # 歷史窗口 y self.data[idx self.context_length : idx self.context_length self.pred_length] # 預(yù)測目標(biāo) return x, y這段代碼的關(guān)鍵在num_samples的計算總長度減去窗口長度再減預(yù)測長度加一少加這個一就會在最后一個樣本上越界。context_length和pred_length是最需要根據(jù)業(yè)務(wù)調(diào)整的兩個參數(shù)——電力負(fù)荷常用 168一周小時數(shù)預(yù)測 24交通流量常用 96 預(yù)測 12。窗口切好后RNN 類模型直接按時間維喂入Transformer 和 Informer 需要額外做位置編碼DeepAR 則要在目標(biāo)上做分布假設(shè)。提示多變量數(shù)據(jù)務(wù)必先做標(biāo)準(zhǔn)化且標(biāo)準(zhǔn)化參數(shù)只能用訓(xùn)練集統(tǒng)計驗(yàn)證和測試集復(fù)用訓(xùn)練集的均值和方差否則會引入未來信息。3. 用 PyTorch 把四類模型跑通從環(huán)境到訓(xùn)練循環(huán)3.1 環(huán)境搭建與依賴確認(rèn)PyTorch 環(huán)境搭建是繞不過去的第一步。CUDA 和 PyTorch 版本必須對齊裝錯了要么用不上 GPU要么直接報錯。常見做法是用 conda 建獨(dú)立環(huán)境再按官方命令裝對應(yīng) CUDA 版本的包。conda create -n ts_pred python3.10 -y conda activate ts_pred # 按本機(jī) CUDA 版本選擇下面以 CUDA 11.8 為例 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install numpy pandas scikit-learn matplotlib裝完先驗(yàn)證 GPU 是否可用這一步別省import torch print(torch.__version__) print(torch.cuda.is_available()) # 必須為 True 才走 GPU print(torch.cuda.get_device_name(0)) # 確認(rèn)識別到正確顯卡如果cuda.is_available()返回 False八成是 CUDA 版本和 PyTorch 包不匹配或者驅(qū)動太舊。Ubuntu 安裝 PyTorch 和 WSL 環(huán)境下排查思路一樣先看nvidia-smi輸出的 CUDA 版本再對照 PyTorch 官網(wǎng)的版本矩陣重裝。Anaconda 配置 PyTorch 環(huán)境時別在 base 環(huán)境里裝污染了很難清理。3.2 RNN 基線最短路徑先跑出一個能看的數(shù)任何對比都要有基線。LSTM 結(jié)構(gòu)簡單、收斂穩(wěn)定先用它把整條鏈路跑通確認(rèn)數(shù)據(jù)管道、損失函數(shù)、評估指標(biāo)都沒問題再去上復(fù)雜模型。import torch.nn as nn class LSTMForecaster(nn.Module): def __init__(self, num_vars, hidden_size64, num_layers2, pred_length24): super().__init__() self.lstm nn.LSTM( input_sizenum_vars, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, ) self.head nn.Linear(hidden_size, num_vars * pred_length) self.pred_length pred_length self.num_vars num_vars def forward(self, x): # x: [batch, context_length, num_vars] out, _ self.lstm(x) last out[:, -1, :] # 取最后時間步的隱狀態(tài) y self.head(last) # [batch, num_vars * pred_length] return y.view(-1, self.pred_length, self.num_vars)hidden_size從 64 起步num_layers兩層通常夠用再深容易過擬合小數(shù)據(jù)集。head一次性輸出整個預(yù)測窗口比逐點(diǎn)遞推快很多代價是丟掉了預(yù)測步之間的自回歸依賴。如果業(yè)務(wù)對多步一致性要求高可以改成逐點(diǎn)輸出再滾動但訓(xùn)練會慢一個量級。3.3 Transformer 與 Informer位置編碼和注意力掩碼是重點(diǎn)Transformer 用在時間序列上位置編碼不能照搬 NLP 那套固定正弦編碼就完事因?yàn)闀r間序列的周期性和絕對位置都重要。常見做法是把位置編碼和可學(xué)習(xí)的時間特征小時、星期、月份拼接。class PositionalEncoding(nn.Module): def __init__(self, d_model, max_len5000): super().__init__() pe torch.zeros(max_len, d_model) position torch.arange(0, max_len).unsqueeze(1).float() div torch.exp(torch.arange(0, d_model, 2).float() * (-torch.log(torch.tensor(10000.0)) / d_model)) pe[:, 0::2] torch.sin(position * div) pe[:, 1::2] torch.cos(position * div) self.register_buffer(pe, pe.unsqueeze(0)) # [1, max_len, d_model] def forward(self, x): return x self.pe[:, :x.size(1)]register_buffer讓pe跟著模型走 GPU 但不參與梯度更新這是標(biāo)準(zhǔn)寫法。Informer 的 ProbSparse 注意力實(shí)現(xiàn)要復(fù)雜得多核心是只對「查詢稀疏性」高的那部分 query 做注意力計算其余用均值填充。自己手寫容易出錯建議先用標(biāo)準(zhǔn) Transformer 跑通再替換注意力模塊做對比。Transformer 預(yù)測正弦數(shù)據(jù)是驗(yàn)證實(shí)現(xiàn)正確性的經(jīng)典手段如果模型連正弦都擬合不了說明位置編碼或掩碼寫錯了。訓(xùn)練時注意解碼器輸入要右移一位且用因果掩碼防止看到未來。3.4 DeepAR把點(diǎn)預(yù)測換成分布預(yù)測DeepAR 的輸出不是一條線而是一個分布的參數(shù)。以高斯為例網(wǎng)絡(luò)輸出均值和標(biāo)準(zhǔn)差損失用負(fù)對數(shù)似然。class DeepARHead(nn.Module): def __init__(self, hidden_size, num_vars): super().__init__() self.mu nn.Linear(hidden_size, num_vars) self.sigma nn.Linear(hidden_size, num_vars) def forward(self, h): mu self.mu(h) sigma torch.nn.functional.softplus(self.sigma(h)) 1e-6 # 保證正數(shù) return mu, sigma def gaussian_nll(y, mu, sigma): # y, mu, sigma: [batch, pred_length, num_vars] return (torch.log(sigma) 0.5 * torch.log(2 * torch.tensor(3.14159)) 0.5 * ((y - mu) / sigma) ** 2).mean()softplus加一個小常數(shù)是為了防止標(biāo)準(zhǔn)差趨近 0 導(dǎo)致數(shù)值爆炸這個1e-6是血淚經(jīng)驗(yàn)去掉之后訓(xùn)練到中期很容易出 NaN。DeepAR 訓(xùn)練時每個時間步都算一次損失推理時從分布里采樣再喂回下一步所以推理速度比一次性輸出的模型慢。4. 多變量預(yù)測的避坑清單五個真實(shí)翻車現(xiàn)場4.1 現(xiàn)象驗(yàn)證損失比訓(xùn)練損失低很多原因數(shù)據(jù)泄漏。最常見的是標(biāo)準(zhǔn)化用了全量數(shù)據(jù)的均值方差或者滑動窗口切分時訓(xùn)練集和驗(yàn)證集有重疊。時間序列不能隨機(jī)劃分必須按時間先后切。解決先切分再標(biāo)準(zhǔn)化訓(xùn)練集算出的均值方差存下來給驗(yàn)證測試用。窗口切分時在訓(xùn)練集和驗(yàn)證集之間留出至少一個context_length的間隔。4.2 現(xiàn)象模型預(yù)測出來是一條直線原因多變量里某些變量量綱差異太大比如一個變量范圍是 0 到 1另一個是 0 到 10000梯度被大量綱變量主導(dǎo)小量綱變量學(xué)不動。解決每個變量單獨(dú)標(biāo)準(zhǔn)化或者用 RobustScaler 抗異常值。檢查輸入張量的每個通道統(tǒng)計量確認(rèn)沒有某個通道方差異常大。4.3 現(xiàn)象Informer 訓(xùn)練顯存爆掉原因序列長度設(shè)得太長或者 batch size 沒跟著調(diào)。稀疏注意力雖然降了復(fù)雜度但常數(shù)項(xiàng)不小序列上千步時顯存占用依然可觀。解決先把context_length降到 336 或 512 試跑確認(rèn)能跑通再往上加。開啟混合精度訓(xùn)練torch.cuda.amp能省不少顯存。4.4 現(xiàn)象Transformer 訓(xùn)練不收斂損失震蕩原因?qū)W習(xí)率太大或者沒用 warmup。Transformer 對學(xué)習(xí)率敏感直接上 1e-3 很容易發(fā)散。解決用 AdamW學(xué)習(xí)率從 1e-4 起步加線性 warmup 前 10% 步數(shù)。梯度裁剪設(shè) 1.0防止梯度爆炸。4.5 現(xiàn)象DeepAR 推理結(jié)果每次都不一樣原因這是設(shè)計如此DeepAR 是概率模型每次從分布采樣結(jié)果都不同。解決需要確定性輸出時取多次采樣的均值或中位數(shù)。評估時用分位數(shù)損失或 CRPS不要用 MSE 直接比否則對概率模型不公平。5. 進(jìn)階技巧怎么判斷一個模型值不值得上生產(chǎn)跑通不等于能用。我一般會做三件事來判斷一個時間序列模型是否值得投入生產(chǎn)。第一做滾動預(yù)測驗(yàn)證。不要只在一個固定測試集上算一次指標(biāo)而是模擬真實(shí)場景用前 N 步預(yù)測后 M 步然后窗口往后滑重復(fù)幾十次看指標(biāo)的均值和方差。方差大的模型上線后表現(xiàn)會很不穩(wěn)定。第二和樸素基線比。季節(jié)性樸素法拿去年同期的值當(dāng)預(yù)測在很多業(yè)務(wù)上強(qiáng)得離譜。如果你的 Transformer 打不過它說明模型沒學(xué)到真東西先回去查數(shù)據(jù)和特征。第三看預(yù)測區(qū)間的覆蓋率。如果業(yè)務(wù)需要不確定性量化DeepAR 這類概率模型要檢查 80% 和 95% 預(yù)測區(qū)間的實(shí)際覆蓋率是否接近名義值。覆蓋率嚴(yán)重偏低說明分布假設(shè)不對可能要換負(fù)二項(xiàng)或 Student-t。驗(yàn)證項(xiàng)合格標(biāo)準(zhǔn)不達(dá)標(biāo)先查滾動預(yù)測指標(biāo)方差相對均值小于 20%數(shù)據(jù)平穩(wěn)性、窗口長度對比樸素基線至少提升 10%特征工程、模型容量預(yù)測區(qū)間覆蓋率與名義值偏差小于 5%分布假設(shè)、損失函數(shù)最后說個習(xí)慣我每次換模型前都會把基線結(jié)果和隨機(jī)種子固定下來存成文件不然調(diào)了兩周回頭發(fā)現(xiàn)還不如第一版連后悔藥都沒得吃。多變量時間序列預(yù)測沒有銀彈DeepAR、Informer、Transformer、RNN 各有各的適用面把數(shù)據(jù)管道和評估流程做扎實(shí)比追新模型重要得多。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取 PyTorch多變量時間序列預(yù)測：DeepAR、Informer、Transformer與RNN實(shí)戰(zhàn)對比
簡介這份資源面向時間序列預(yù)測方向的研究者、算法工程師與高年級學(xué)生聚焦用PyTorch復(fù)現(xiàn)并改進(jìn)DeepAR、Informer、Transformer、RNN等經(jīng)典模型解決多變量時序分析與預(yù)測問題覆蓋金融、氣象、工業(yè)等場景。壓縮包共61個文件約55.25MB以49個Python實(shí)現(xiàn)文件為主配套4個gz數(shù)據(jù)集、4張png結(jié)果圖以及txt說明、docx附贈文檔、json與md說明代碼按data、models、exp、test等模塊組織便于按實(shí)驗(yàn)?zāi)_本逐項(xiàng)復(fù)現(xiàn)。已有95人學(xué)習(xí)下載。讀者可拿到各模型的完整實(shí)現(xiàn)與訓(xùn)練腳本、概率預(yù)測與點(diǎn)預(yù)測的對比實(shí)驗(yàn)、多變量數(shù)據(jù)加載與特征工程工具以及指標(biāo)計算、概率預(yù)測可視化等輔助模塊適合在此基礎(chǔ)上做二次開發(fā)與模型改進(jìn)。1. 從一份「模型全家桶」說起多變量時間序列預(yù)測到底難在哪電力負(fù)荷曲線、交通流量、工業(yè)設(shè)備振動、零售銷量這些數(shù)據(jù)有一個共同點(diǎn)它們不是孤立的一列數(shù)而是多個變量互相糾纏著隨時間演化。你拿到的往往是一張[時間步, 變量數(shù)]的表想預(yù)測未來一段時間的走勢。單變量預(yù)測那套「一列歷史推一列未來」的做法在多變量場景下會立刻暴露問題——變量之間的相關(guān)性被丟掉了而恰恰是這些相關(guān)性里藏著預(yù)測的線索。這份標(biāo)題里提到的方案本質(zhì)是把 DeepAR、Informer、Transformer、RNN 這幾類經(jīng)典模型放進(jìn)同一個 PyTorch 工程里用統(tǒng)一的數(shù)據(jù)接口和訓(xùn)練流程做多變量時間序列分析與預(yù)測。它解決的不是「哪個模型最強(qiáng)」這種問題而是「我手上這批多變量數(shù)據(jù)到底該用哪類模型、怎么快速橫向?qū)Ρ取?。適合已經(jīng)會寫 PyTorch 訓(xùn)練循環(huán)、但面對時間序列時不知道從哪下手的工程師也適合想把 LSTM 時間序列預(yù)測 Python 那套老流程升級到注意力機(jī)制的人。下面按「先立住原理、再動手復(fù)現(xiàn)、最后講坑」的順序拆開講。2. 四類模型的分工DeepAR、Informer、Transformer、RNN 各自解決什么2.1 先搞清楚它們不是同一層的替代品很多人一上來就問「Informer 和 Transformer 哪個準(zhǔn)」這個問題本身就問偏了。這幾類模型的差異不在精度高低而在它們對時間序列的建模假設(shè)不同。RNN含 LSTM、GRU是自回歸的逐點(diǎn)遞推結(jié)構(gòu)隱狀態(tài)沿時間軸傳遞天然適合捕捉短期依賴和序列順序。它的短板是長序列上梯度傳播路徑太長且無法并行訓(xùn)練慢。LSTM 時間序列預(yù)測 Python 生態(tài)里最成熟的方案就是它代碼簡單、調(diào)參直觀作為基線非常合適。Transformer 用自注意力一次性看到整個序列任意兩個時間步之間的依賴路徑長度都是 1長程依賴建模能力強(qiáng)且可并行。但標(biāo)準(zhǔn)自注意力的計算復(fù)雜度是序列長度的平方長序列上顯存和耗時都會爆炸。Informer 是針對長序列預(yù)測做的改進(jìn)版核心是 ProbSparse 稀疏注意力把注意力復(fù)雜度從 O(L2) 降到 O(L log L)同時用蒸餾機(jī)制逐層壓縮序列長度。它適合輸入序列很長比如上千步的預(yù)測任務(wù)。DeepAR 是另一條路線它不直接輸出點(diǎn)預(yù)測而是輸出概率分布的參數(shù)比如高斯分布的均值和方差用自回歸方式逐點(diǎn)采樣天然給出預(yù)測區(qū)間。多變量場景下它把所有變量的歷史一起喂進(jìn)去共享一個網(wǎng)絡(luò)適合需要不確定性量化的業(yè)務(wù)。模型建模方式長序列能力是否輸出概率并行訓(xùn)練RNN/LSTM逐點(diǎn)遞推弱否否Transformer全局自注意力中否是Informer稀疏注意力蒸餾強(qiáng)否是DeepAR自回歸分布輸出中是否2.2 統(tǒng)一數(shù)據(jù)接口是復(fù)現(xiàn)的前提四類模型要放在一個工程里對比第一件事不是寫模型而是把數(shù)據(jù)格式統(tǒng)一。多變量時間序列的常見組織方式是滑動窗口給定歷史長度context_length和預(yù)測長度pred_length從原始序列上切出[context_length, num_vars]的輸入和[pred_length, num_vars]的目標(biāo)。import torch from torch.utils.data import Dataset class MultiVarWindowDataset(Dataset): def __init__(self, data, context_length168, pred_length24): # data: [total_steps, num_vars] 的 float32 張量 self.data torch.as_tensor(data, dtypetorch.float32) self.context_length context_length self.pred_length pred_length self.num_samples len(self.data) - context_length - pred_length 1 def __len__(self): return self.num_samples def __getitem__(self, idx): x self.data[idx : idx self.context_length] # 歷史窗口 y self.data[idx self.context_length : idx self.context_length self.pred_length] # 預(yù)測目標(biāo) return x, y這段代碼的關(guān)鍵在num_samples的計算總長度減去窗口長度再減預(yù)測長度加一少加這個一就會在最后一個樣本上越界。context_length和pred_length是最需要根據(jù)業(yè)務(wù)調(diào)整的兩個參數(shù)——電力負(fù)荷常用 168一周小時數(shù)預(yù)測 24交通流量常用 96 預(yù)測 12。窗口切好后RNN 類模型直接按時間維喂入Transformer 和 Informer 需要額外做位置編碼DeepAR 則要在目標(biāo)上做分布假設(shè)。提示多變量數(shù)據(jù)務(wù)必先做標(biāo)準(zhǔn)化且標(biāo)準(zhǔn)化參數(shù)只能用訓(xùn)練集統(tǒng)計驗(yàn)證和測試集復(fù)用訓(xùn)練集的均值和方差否則會引入未來信息。3. 用 PyTorch 把四類模型跑通從環(huán)境到訓(xùn)練循環(huán)3.1 環(huán)境搭建與依賴確認(rèn)PyTorch 環(huán)境搭建是繞不過去的第一步。CUDA 和 PyTorch 版本必須對齊裝錯了要么用不上 GPU要么直接報錯。常見做法是用 conda 建獨(dú)立環(huán)境再按官方命令裝對應(yīng) CUDA 版本的包。conda create -n ts_pred python3.10 -y conda activate ts_pred # 按本機(jī) CUDA 版本選擇下面以 CUDA 11.8 為例 pip install torch torchvision --index-url https://download.pytorch.org/whl/cu118 pip install numpy pandas scikit-learn matplotlib裝完先驗(yàn)證 GPU 是否可用這一步別省import torch print(torch.__version__) print(torch.cuda.is_available()) # 必須為 True 才走 GPU print(torch.cuda.get_device_name(0)) # 確認(rèn)識別到正確顯卡如果cuda.is_available()返回 False八成是 CUDA 版本和 PyTorch 包不匹配或者驅(qū)動太舊。Ubuntu 安裝 PyTorch 和 WSL 環(huán)境下排查思路一樣先看nvidia-smi輸出的 CUDA 版本再對照 PyTorch 官網(wǎng)的版本矩陣重裝。Anaconda 配置 PyTorch 環(huán)境時別在 base 環(huán)境里裝污染了很難清理。3.2 RNN 基線最短路徑先跑出一個能看的數(shù)任何對比都要有基線。LSTM 結(jié)構(gòu)簡單、收斂穩(wěn)定先用它把整條鏈路跑通確認(rèn)數(shù)據(jù)管道、損失函數(shù)、評估指標(biāo)都沒問題再去上復(fù)雜模型。import torch.nn as nn class LSTMForecaster(nn.Module): def __init__(self, num_vars, hidden_size64, num_layers2, pred_length24): super().__init__() self.lstm nn.LSTM( input_sizenum_vars, hidden_sizehidden_size, num_layersnum_layers, batch_firstTrue, ) self.head nn.Linear(hidden_size, num_vars * pred_length) self.pred_length pred_length self.num_vars num_vars def forward(self, x): # x: [batch, context_length, num_vars] out, _ self.lstm(x) last out[:, -1, :] # 取最后時間步的隱狀態(tài) y self.head(last) # [batch, num_vars * pred_length] return y.view(-1, self.pred_length, self.num_vars)hidden_size從 64 起步num_layers兩層通常夠用再深容易過擬合小數(shù)據(jù)集。head一次性輸出整個預(yù)測窗口比逐點(diǎn)遞推快很多代價是丟掉了預(yù)測步之間的自回歸依賴。如果業(yè)務(wù)對多步一致性要求高可以改成逐點(diǎn)輸出再滾動但訓(xùn)練會慢一個量級。3.3 Transformer 與 Informer位置編碼和注意力掩碼是重點(diǎn)Transformer 用在時間序列上位置編碼不能照搬 NLP 那套固定正弦編碼就完事因?yàn)闀r間序列的周期性和絕對位置都重要。常見做法是把位置編碼和可學(xué)習(xí)的時間特征小時、星期、月份拼接。class PositionalEncoding(nn.Module): def __init__(self, d_model, max_len5000): super().__init__() pe torch.zeros(max_len, d_model) position torch.arange(0, max_len).unsqueeze(1).float() div torch.exp(torch.arange(0, d_model, 2).float() * (-torch.log(torch.tensor(10000.0)) / d_model)) pe[:, 0::2] torch.sin(position * div) pe[:, 1::2] torch.cos(position * div) self.register_buffer(pe, pe.unsqueeze(0)) # [1, max_len, d_model] def forward(self, x): return x self.pe[:, :x.size(1)]register_buffer讓pe跟著模型走 GPU 但不參與梯度更新這是標(biāo)準(zhǔn)寫法。Informer 的 ProbSparse 注意力實(shí)現(xiàn)要復(fù)雜得多核心是只對「查詢稀疏性」高的那部分 query 做注意力計算其余用均值填充。自己手寫容易出錯建議先用標(biāo)準(zhǔn) Transformer 跑通再替換注意力模塊做對比。Transformer 預(yù)測正弦數(shù)據(jù)是驗(yàn)證實(shí)現(xiàn)正確性的經(jīng)典手段如果模型連正弦都擬合不了說明位置編碼或掩碼寫錯了。訓(xùn)練時注意解碼器輸入要右移一位且用因果掩碼防止看到未來。3.4 DeepAR把點(diǎn)預(yù)測換成分布預(yù)測DeepAR 的輸出不是一條線而是一個分布的參數(shù)。以高斯為例網(wǎng)絡(luò)輸出均值和標(biāo)準(zhǔn)差損失用負(fù)對數(shù)似然。class DeepARHead(nn.Module): def __init__(self, hidden_size, num_vars): super().__init__() self.mu nn.Linear(hidden_size, num_vars) self.sigma nn.Linear(hidden_size, num_vars) def forward(self, h): mu self.mu(h) sigma torch.nn.functional.softplus(self.sigma(h)) 1e-6 # 保證正數(shù) return mu, sigma def gaussian_nll(y, mu, sigma): # y, mu, sigma: [batch, pred_length, num_vars] return (torch.log(sigma) 0.5 * torch.log(2 * torch.tensor(3.14159)) 0.5 * ((y - mu) / sigma) ** 2).mean()softplus加一個小常數(shù)是為了防止標(biāo)準(zhǔn)差趨近 0 導(dǎo)致數(shù)值爆炸這個1e-6是血淚經(jīng)驗(yàn)去掉之后訓(xùn)練到中期很容易出 NaN。DeepAR 訓(xùn)練時每個時間步都算一次損失推理時從分布里采樣再喂回下一步所以推理速度比一次性輸出的模型慢。4. 多變量預(yù)測的避坑清單五個真實(shí)翻車現(xiàn)場4.1 現(xiàn)象驗(yàn)證損失比訓(xùn)練損失低很多原因數(shù)據(jù)泄漏。最常見的是標(biāo)準(zhǔn)化用了全量數(shù)據(jù)的均值方差或者滑動窗口切分時訓(xùn)練集和驗(yàn)證集有重疊。時間序列不能隨機(jī)劃分必須按時間先后切。解決先切分再標(biāo)準(zhǔn)化訓(xùn)練集算出的均值方差存下來給驗(yàn)證測試用。窗口切分時在訓(xùn)練集和驗(yàn)證集之間留出至少一個context_length的間隔。4.2 現(xiàn)象模型預(yù)測出來是一條直線原因多變量里某些變量量綱差異太大比如一個變量范圍是 0 到 1另一個是 0 到 10000梯度被大量綱變量主導(dǎo)小量綱變量學(xué)不動。解決每個變量單獨(dú)標(biāo)準(zhǔn)化或者用 RobustScaler 抗異常值。檢查輸入張量的每個通道統(tǒng)計量確認(rèn)沒有某個通道方差異常大。4.3 現(xiàn)象Informer 訓(xùn)練顯存爆掉原因序列長度設(shè)得太長或者 batch size 沒跟著調(diào)。稀疏注意力雖然降了復(fù)雜度但常數(shù)項(xiàng)不小序列上千步時顯存占用依然可觀。解決先把context_length降到 336 或 512 試跑確認(rèn)能跑通再往上加。開啟混合精度訓(xùn)練torch.cuda.amp能省不少顯存。4.4 現(xiàn)象Transformer 訓(xùn)練不收斂損失震蕩原因?qū)W習(xí)率太大或者沒用 warmup。Transformer 對學(xué)習(xí)率敏感直接上 1e-3 很容易發(fā)散。解決用 AdamW學(xué)習(xí)率從 1e-4 起步加線性 warmup 前 10% 步數(shù)。梯度裁剪設(shè) 1.0防止梯度爆炸。4.5 現(xiàn)象DeepAR 推理結(jié)果每次都不一樣原因這是設(shè)計如此DeepAR 是概率模型每次從分布采樣結(jié)果都不同。解決需要確定性輸出時取多次采樣的均值或中位數(shù)。評估時用分位數(shù)損失或 CRPS不要用 MSE 直接比否則對概率模型不公平。5. 進(jìn)階技巧怎么判斷一個模型值不值得上生產(chǎn)跑通不等于能用。我一般會做三件事來判斷一個時間序列模型是否值得投入生產(chǎn)。第一做滾動預(yù)測驗(yàn)證。不要只在一個固定測試集上算一次指標(biāo)而是模擬真實(shí)場景用前 N 步預(yù)測后 M 步然后窗口往后滑重復(fù)幾十次看指標(biāo)的均值和方差。方差大的模型上線后表現(xiàn)會很不穩(wěn)定。第二和樸素基線比。季節(jié)性樸素法拿去年同期的值當(dāng)預(yù)測在很多業(yè)務(wù)上強(qiáng)得離譜。如果你的 Transformer 打不過它說明模型沒學(xué)到真東西先回去查數(shù)據(jù)和特征。第三看預(yù)測區(qū)間的覆蓋率。如果業(yè)務(wù)需要不確定性量化DeepAR 這類概率模型要檢查 80% 和 95% 預(yù)測區(qū)間的實(shí)際覆蓋率是否接近名義值。覆蓋率嚴(yán)重偏低說明分布假設(shè)不對可能要換負(fù)二項(xiàng)或 Student-t。驗(yàn)證項(xiàng)合格標(biāo)準(zhǔn)不達(dá)標(biāo)先查滾動預(yù)測指標(biāo)方差相對均值小于 20%數(shù)據(jù)平穩(wěn)性、窗口長度對比樸素基線至少提升 10%特征工程、模型容量預(yù)測區(qū)間覆蓋率與名義值偏差小于 5%分布假設(shè)、損失函數(shù)最后說個習(xí)慣我每次換模型前都會把基線結(jié)果和隨機(jī)種子固定下來存成文件不然調(diào)了兩周回頭發(fā)現(xiàn)還不如第一版連后悔藥都沒得吃。多變量時間序列預(yù)測沒有銀彈DeepAR、Informer、Transformer、RNN 各有各的適用面把數(shù)據(jù)管道和評估流程做扎實(shí)比追新模型重要得多。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取