從事光伏功率預(yù)測(cè)這行的朋友應(yīng)該都有同感模型跑通不難難的是讓預(yù)測(cè)結(jié)果真正經(jīng)得起實(shí)際天氣的考驗(yàn)。很多入門者直接把歷史功率數(shù)據(jù)丟進(jìn)LSTM訓(xùn)練出來(lái)效果看著還行一遇到多云突變天氣就全線崩潰誤差大到電網(wǎng)考核直接扣錢。這個(gè)“改進(jìn)LSTM的光伏發(fā)電功率預(yù)測(cè)”項(xiàng)目做的就是解決這件事——用多特征注意力機(jī)制和誤差補(bǔ)償思路改造標(biāo)準(zhǔn)LSTM讓模型在陰晴轉(zhuǎn)換、輻照劇烈波動(dòng)時(shí)依然保持穩(wěn)定的預(yù)測(cè)精度。先說(shuō)項(xiàng)目本身包含什么完整可復(fù)現(xiàn)的源碼、配套的萬(wàn)字分析報(bào)告以及講解演示用的材料支持資料和圖片參考也支持針對(duì)特定電站數(shù)據(jù)做定制。如果你正準(zhǔn)備做光伏預(yù)測(cè)相關(guān)的畢業(yè)設(shè)計(jì)、論文實(shí)驗(yàn)或者工程落地這篇文章會(huì)把整個(gè)項(xiàng)目的技術(shù)拆解、實(shí)現(xiàn)細(xì)節(jié)、報(bào)告寫作套路和調(diào)試經(jīng)驗(yàn)全部講透按圖索驥就能白嫖到一套完整的方法論。1. 光伏發(fā)電功率預(yù)測(cè)的核心難點(diǎn)與任務(wù)定義1.1 預(yù)測(cè)結(jié)果到底給誰(shuí)用為什么不能隨便糊弄光伏功率預(yù)測(cè)不是一個(gè)單純算著玩的算法題它直接連著真金白銀。電網(wǎng)調(diào)度需要提前知道電站未來(lái)幾小時(shí)能發(fā)多少電從而安排火電、水電、儲(chǔ)能等其它電源的出力計(jì)劃。光伏出力一旦劇烈波動(dòng)電網(wǎng)頻率和電壓都會(huì)受到?jīng)_擊所以很多省份對(duì)光伏電站都有功率預(yù)測(cè)準(zhǔn)確率考核預(yù)測(cè)偏差超過(guò)一定閾值會(huì)面臨罰款或者影響發(fā)電優(yōu)先級(jí)。實(shí)際場(chǎng)景里預(yù)測(cè)對(duì)象通常是一座具體的光伏電站數(shù)據(jù)來(lái)自電站的SCADA系統(tǒng)和氣象站。預(yù)測(cè)的時(shí)間尺度分為超短期未來(lái)0-4小時(shí)、短期未來(lái)1-3天和中長(zhǎng)期月度、季度。工程里最常做、也最體現(xiàn)算法水平的是超短期預(yù)測(cè)因?yàn)闀r(shí)間窗口越短突變的天氣影響越明顯模型的即時(shí)響應(yīng)能力越關(guān)鍵。1.2 光伏出力數(shù)據(jù)的四個(gè)典型特征光伏功率數(shù)據(jù)有四個(gè)繞不開的特征直接決定了模型設(shè)計(jì)的方向第一強(qiáng)周期性。每天太陽(yáng)東升西落功率曲線呈典型的鐘形分布中午高、早晚低、夜間幾乎為0。這個(gè)周期讓模型可以依賴時(shí)間規(guī)律做基本推斷。第二強(qiáng)隨機(jī)性。云層遮擋、陰雨天氣、沙塵、霧霾都會(huì)讓輻照度斷崖式下降功率輸出可能在幾分鐘內(nèi)從80%跌到20%這是純時(shí)間序列模型最難處理的部分。第三非平穩(wěn)性。冬天和夏天的出力模式完全不同不同季節(jié)的日出日落時(shí)刻也在變模型必須能感知季節(jié)位置和日期信息。第四非線性耦合。功率并不只是輻照度的簡(jiǎn)單線性函數(shù)溫度升高反而會(huì)降低光伏板發(fā)電效率風(fēng)速對(duì)組件散熱有影響因此特征之間是相互耦合的非線性關(guān)系不是簡(jiǎn)單加權(quán)就能解決。行業(yè)里大多數(shù)預(yù)測(cè)方法都逃不開這四點(diǎn)。傳統(tǒng)的時(shí)間序列方法ARIMA、灰色模型對(duì)隨機(jī)性和非線性處理能力弱。普通的機(jī)器學(xué)習(xí)方法SVR、隨機(jī)森林、XGBoost能把特征非線性映射做到不錯(cuò)但缺乏對(duì)時(shí)序依賴的建模。LSTM這類循環(huán)神經(jīng)網(wǎng)絡(luò)天然適合時(shí)間序列但對(duì)突變的天氣變化響應(yīng)慢且對(duì)多特征重要性的區(qū)分不足——這就是改進(jìn)LSTM這個(gè)方向成立的根本原因。1.3 形式化的預(yù)測(cè)任務(wù)建模做模型之前先把任務(wù)定義清楚。以某電站15分鐘一個(gè)采樣點(diǎn)為例假設(shè)我們要預(yù)測(cè)未來(lái)4小時(shí)也就是16個(gè)點(diǎn)。可以定義輸入為過(guò)去96個(gè)時(shí)間步對(duì)應(yīng)1整天的多維特征向量每個(gè)時(shí)間步包含歷史功率、輻照度、溫度、濕度、風(fēng)速、風(fēng)向等特征外加時(shí)間編碼特征。X [x_{t-95}, x_{t-94}, ..., x_t]每個(gè)x_i是一個(gè)多維特征向量輸出為未來(lái)16個(gè)時(shí)間步的功率值Y [p_{t1}, p_{t2}, ..., p_{t16}]這就是一個(gè)典型的多變量輸入、多步預(yù)測(cè)的監(jiān)督學(xué)習(xí)問(wèn)題。數(shù)據(jù)組織成滑動(dòng)窗口的方式每滑動(dòng)一個(gè)時(shí)間步生成一個(gè)樣本。但要注意樣本之間不能打亂順序隨機(jī)切分訓(xùn)練集和測(cè)試集否則會(huì)引入未來(lái)信息泄漏我們后面詳細(xì)講。2. 數(shù)據(jù)工程預(yù)測(cè)模型的地基2.1 原始數(shù)據(jù)有哪些怎么整理特征數(shù)據(jù)工程占整個(gè)項(xiàng)目工作量的一半以上這句話我每次都會(huì)強(qiáng)調(diào)。拿到一堆積的電站數(shù)據(jù)通常包括以下字段時(shí)間戳通常精確到分鐘或15分鐘光伏功率電站并網(wǎng)點(diǎn)有功功率單位kW或MW這是目標(biāo)變量水平輻照度GHI核心預(yù)測(cè)特征組件溫度和環(huán)境溫度影響發(fā)電效率濕度、風(fēng)速、風(fēng)向影響散熱和灰塵沉積對(duì)功率有間接影響還有一些電站會(huì)記錄直流側(cè)電流電壓、逆變器狀態(tài)等做深度分析時(shí)可以用但做預(yù)測(cè)模型時(shí)一般用聚合后的有功功率就好。數(shù)據(jù)整理的第一步是對(duì)齊時(shí)間軸。不同設(shè)備記錄的間隔可能不同SCADA的功率數(shù)據(jù)是15分鐘上報(bào)一次氣象站的數(shù)據(jù)可能是10分鐘或者5分鐘一次需要統(tǒng)一重采樣到同一個(gè)時(shí)間間隔。我習(xí)慣用15分鐘作為基準(zhǔn)間隔向上取整或線性插值對(duì)齊避免出現(xiàn)時(shí)間錯(cuò)位導(dǎo)致特征和標(biāo)簽對(duì)不上。2.2 缺失值、異常值和夜間數(shù)據(jù)的處理技巧光伏數(shù)據(jù)臟是常態(tài)。常見(jiàn)問(wèn)題包括通訊中斷導(dǎo)致的整段缺失、逆變器停機(jī)導(dǎo)致的功率突變、輻照儀被遮擋導(dǎo)致的異常偏低值。處理時(shí)不能簡(jiǎn)單粗暴地用全部數(shù)據(jù)的均值填充因?yàn)楣夥鼣?shù)據(jù)強(qiáng)烈的晝夜周期性會(huì)讓均值填充結(jié)果嚴(yán)重失真。我的處理順序是第一步把輻照度小于閾值但功率大于0的數(shù)據(jù)篩查出來(lái)。輻照度接近0意味著夜間或陰天陰影遮擋此時(shí)功率理論上應(yīng)該很低如果功率很高大概率是輻照儀故障或者組件其他原因這類異常點(diǎn)直接剔除或置為缺失。第二步對(duì)缺失值做線性插值。短時(shí)間缺失1-2個(gè)點(diǎn)用前后時(shí)間的線性插值足夠穩(wěn)定長(zhǎng)時(shí)間缺失超過(guò)一個(gè)小時(shí)則要用前一天同時(shí)刻的數(shù)據(jù)作為參考來(lái)填補(bǔ)因?yàn)楣夥€的日內(nèi)相似性比線性假設(shè)更符合物理規(guī)律。第三步對(duì)功率值本身做異常檢測(cè)。如果功率超出當(dāng)日輻照度上限對(duì)應(yīng)的理論最大功率太多就要懷疑數(shù)據(jù)記錄錯(cuò)誤。這里有一個(gè)細(xì)節(jié)值得新手注意夜間功率為0是正常值不要把0值當(dāng)成缺失來(lái)處理更不能把夜間樣本刪掉之后再納入模型訓(xùn)練否則模型沒(méi)見(jiàn)過(guò)零出力模式預(yù)測(cè)夜間功率時(shí)會(huì)輸出一個(gè)奇怪的中間值。2.3 歸一化的關(guān)鍵細(xì)節(jié)防止數(shù)據(jù)泄漏做過(guò)幾輪實(shí)驗(yàn)后你會(huì)深刻體會(huì)到歸一化步驟看似簡(jiǎn)單卻是最容易犯錯(cuò)的坑。最常見(jiàn)的錯(cuò)誤是對(duì)全部數(shù)據(jù)一起做歸一化包括測(cè)試集數(shù)據(jù)然后才劃分訓(xùn)練集和測(cè)試集。這屬于典型的技術(shù)數(shù)據(jù)泄漏實(shí)際部署時(shí)看不到未來(lái)數(shù)據(jù)模型卻已經(jīng)在訓(xùn)練時(shí)通過(guò)min/max信息偷看了未來(lái)數(shù)據(jù)的分布范圍測(cè)試分?jǐn)?shù)虛高一到在線預(yù)測(cè)就原形畢露。正確的做法是先用訓(xùn)練集擬合歸一化器的參數(shù)例如MinMaxScaler的min和max然后再用訓(xùn)練集擬合好的scaler分別去transform訓(xùn)練集、驗(yàn)證集和測(cè)試集。如果后期有新數(shù)據(jù)進(jìn)來(lái)也要復(fù)用同一個(gè)scaler而不是重新擬合。光伏數(shù)據(jù)的歸一化還要考慮特征的量綱差異。輻照度通常是0-1000W/m2量級(jí)溫度可能是-10到50度功率可能是0到幾兆瓦。不同量級(jí)直接輸入LSTM會(huì)讓梯度被數(shù)值大的特征主導(dǎo)所有特征都建議歸一化到0-1區(qū)間對(duì)于時(shí)間編碼特征如cos/sin編碼后的值本身就在-1到1可以保持原值或統(tǒng)一歸一化具體看模型的輸入設(shè)計(jì)。2.4 滑動(dòng)窗口構(gòu)造與特征增強(qiáng)監(jiān)督學(xué)習(xí)的樣本通過(guò)滑動(dòng)窗口構(gòu)造。設(shè)定window_size96一天96個(gè)15分鐘點(diǎn)和horizon16預(yù)測(cè)未來(lái)4小時(shí)每滑動(dòng)一步生成一個(gè)樣本X和對(duì)應(yīng)的Y?；瑒?dòng)步長(zhǎng)可以設(shè)置為1這樣樣本數(shù)量足夠大也可以設(shè)置為4或8來(lái)降低樣本重疊度加快訓(xùn)練速度減少過(guò)擬合。除了原始物理量我強(qiáng)烈建議增加時(shí)間特征。用年積日和一天內(nèi)時(shí)刻做周期編碼比如hour_feature 2 * π * (hour / 24)hour_cos cos(hour_feature)hour_sin sin(hour_feature)day_cos cos(2 * π * (day_of_year / 365))day_sin sin(2 * π * (day_of_year / 365))這樣把時(shí)間中的周期信息映射到連續(xù)空間模型能學(xué)到冬天中午輻照不如夏天高深夜一定沒(méi)有功率這類規(guī)律。而且這些特征未來(lái)時(shí)刻的值是已知的因?yàn)闀r(shí)間規(guī)律是確定的這就給了模型一個(gè)重要的錨點(diǎn)。3. 從基線LSTM到多特征注意力改進(jìn)模型3.1 基線LSTM的痛點(diǎn)改進(jìn)的出發(fā)點(diǎn)標(biāo)準(zhǔn)LSTM作為循環(huán)神經(jīng)網(wǎng)絡(luò)每個(gè)時(shí)間步接收當(dāng)前輸入和上一時(shí)間步的隱狀態(tài)通過(guò)輸入門、遺忘門、輸出門控制信息流動(dòng)。理論上有能力記住長(zhǎng)期依賴但實(shí)際訓(xùn)練中面對(duì)96步的輸入序列模型對(duì)早期時(shí)間步的記憶會(huì)逐漸被稀釋注意力機(jī)制缺失導(dǎo)致它無(wú)法鎖定某個(gè)關(guān)鍵歷史時(shí)刻比如昨天上午10點(diǎn)的一次云層遮擋對(duì)今天10點(diǎn)預(yù)測(cè)的影響。除了長(zhǎng)依賴問(wèn)題標(biāo)準(zhǔn)LSTM把所有輸入特征一視同仁地塞進(jìn)同一個(gè)門控單元但實(shí)際情況下輻照度突變比溫度變化重要得多歷史功率的趨勢(shì)比風(fēng)速重要得多。模型需要一種機(jī)制去區(qū)分不同特征、不同時(shí)間步的重要性這正是注意力機(jī)制要補(bǔ)的位置。另一個(gè)問(wèn)題是預(yù)測(cè)的滯后性直接讓LSTM端到端輸出未來(lái)16個(gè)點(diǎn)往往預(yù)測(cè)曲線相對(duì)真實(shí)曲線有輕微的時(shí)間滯后通俗講就是慢半拍需要從結(jié)構(gòu)和損失函數(shù)兩個(gè)層面去修正。3.2 三個(gè)改進(jìn)方向多特征、注意力與誤差補(bǔ)償我采用的改進(jìn)方案可以拆成三條線每一條都對(duì)應(yīng)基線LSTM的一個(gè)明確缺陷。第一多分支并行輸入。把特征分成兩類一類是時(shí)序過(guò)程特征包括歷史功率、輻照度、溫度等隨采樣時(shí)刻變化的物理量另一類是外生靜態(tài)或慢變特征包括時(shí)間編碼、當(dāng)天的氣象預(yù)報(bào)值、季節(jié)編碼等。兩條分支各自先用獨(dú)立的特征提取層處理再融合輸入LSTM。這樣做的結(jié)果是模型對(duì)不同類型的特征有了不同的“感知通道”不會(huì)把強(qiáng)時(shí)序特征和弱時(shí)序特征混在一起處理。第二注意力機(jī)制。在時(shí)間維度上給每個(gè)歷史時(shí)間步分配一個(gè)權(quán)重讓模型動(dòng)態(tài)決定回頭看多遠(yuǎn)的哪個(gè)時(shí)段。晴天時(shí)注意力會(huì)集中在近期半小時(shí)內(nèi)有強(qiáng)相關(guān)的時(shí)間步遇到輻照突變時(shí)注意力會(huì)被引導(dǎo)到同類型天氣的歷史片段上。注意力權(quán)重的計(jì)算可以放在LSTM的輸出層之后也可以放在輸入層對(duì)時(shí)間步加權(quán)兩種位置各有側(cè)重后面會(huì)仔細(xì)講。第三誤差補(bǔ)償分支。在LSTM頂層預(yù)測(cè)輸出之后疊加上一個(gè)獨(dú)立的回歸補(bǔ)償項(xiàng)。這個(gè)補(bǔ)償項(xiàng)用當(dāng)前時(shí)刻的天氣突變指標(biāo)比如輻照度的變化率、最近幾個(gè)點(diǎn)輻照度的方差和預(yù)測(cè)殘差的映射把第一版預(yù)測(cè)中系統(tǒng)性偏低的誤差補(bǔ)回來(lái)。這個(gè)思路很像殘差學(xué)習(xí)幫助模型主動(dòng)修正對(duì)突變響應(yīng)慢的通病。注意這三個(gè)方向不是必須全部疊加項(xiàng)目實(shí)驗(yàn)里我測(cè)過(guò)單加注意力的版本效果能提升5%-8%的RMSE疊加誤差補(bǔ)償后再提升3%左右。實(shí)際做定制時(shí)可以根據(jù)數(shù)據(jù)量評(píng)估數(shù)據(jù)量不大時(shí)優(yōu)先加注意力數(shù)據(jù)充足時(shí)三個(gè)一起上。3.3 多特征注意力改進(jìn)LSTM的完整網(wǎng)絡(luò)結(jié)構(gòu)下面給出我在項(xiàng)目里最終使用的網(wǎng)絡(luò)結(jié)構(gòu)你可以直接按照這個(gè)結(jié)構(gòu)搭模型。整體流程分為四段。第一段是輸入分支處理分支A歷史時(shí)序特征96個(gè)時(shí)間步的功率、輻照度、溫度、濕度、風(fēng)速輸入一維卷積層。Conv1D的卷積核數(shù)量設(shè)為32卷積核大小為3步長(zhǎng)為1對(duì)序列做局部特征提取相當(dāng)于在時(shí)間維度上做濾波平滑短時(shí)噪聲強(qiáng)化局部趨勢(shì)。卷積輸出再經(jīng)過(guò)一個(gè)時(shí)序注意力層計(jì)算每個(gè)時(shí)間步的注意力得分α_i對(duì)卷積特征做加權(quán)求和得到上下文向量c。分支B外生特征時(shí)刻cos/sin、年積日cos/sin、未來(lái)時(shí)刻天氣預(yù)報(bào)輻照度等輸入全連接層映射到32維特征向量。第二段是融合和時(shí)序建模。將上下文向量c和分支B的32維向量拼接作為L(zhǎng)STM每個(gè)時(shí)間步的輸入。LSTM層設(shè)置兩個(gè)堆疊的LSTM單元隱藏單元數(shù)各為64dropout設(shè)為0.2。如果是雙向LSTM可以再接一個(gè)BiLSTM層來(lái)捕捉前向和后向的上下文但實(shí)際訓(xùn)練速度會(huì)翻倍不建議入門階段一上來(lái)就用。第三段是輸出和殘差補(bǔ)償。LSTM最后一個(gè)時(shí)間步的隱狀態(tài)通過(guò)全連接層輸出16維的未來(lái)功率預(yù)測(cè)。與此同時(shí)把最近幾個(gè)時(shí)間步的輻照度變化率和輻照度方差拼接成突變特征向量通過(guò)另一個(gè)全連接分支輸出16維補(bǔ)償值。最終的預(yù)測(cè)結(jié)果是第一版預(yù)測(cè)與補(bǔ)償值的和。這個(gè)結(jié)構(gòu)的好處在于每個(gè)分支的職責(zé)單一網(wǎng)絡(luò)能學(xué)習(xí)到什么時(shí)候該走歷史趨勢(shì)、什么時(shí)候該靠突變修正的切換邏輯。訓(xùn)練時(shí)補(bǔ)償分支的梯度只影響它自己的參數(shù)不會(huì)干擾LSTM主體學(xué)習(xí)穩(wěn)定的周期模式。4. 訓(xùn)練策略、損失函數(shù)與評(píng)估體系4.1 損失函數(shù)不是只有MSE一種選項(xiàng)光伏預(yù)測(cè)任務(wù)的損失函數(shù)選擇和普通回歸任務(wù)不太一樣。MSE對(duì)大的預(yù)測(cè)誤差非常敏感這本來(lái)是好事因?yàn)殡娋W(wǎng)考核確實(shí)看重極端誤差。但光伏數(shù)據(jù)夜間長(zhǎng)時(shí)間為0值如果全序列都用MSE模型會(huì)把大量梯度用在把夜間預(yù)測(cè)壓到接近0上白天的關(guān)鍵誤差反而沒(méi)有被充分優(yōu)化。因此我最終采用的是分段加權(quán)的Huber損失。Huber損失的公式是如果 |y_true - y_pred| ≤ δ 時(shí)loss為0.5 * (y_true - y_pred)2否則為 δ * (|y_true - y_pred| - 0.5 * δ)。也就是說(shuō)小誤差時(shí)用平方項(xiàng)加速收斂大誤差時(shí)退化為線性項(xiàng)降低異常值的梯度沖擊。然后對(duì)白天時(shí)段例如上午6點(diǎn)到下午18點(diǎn)的樣本額外乘以1.2倍的權(quán)重對(duì)夜間時(shí)段乘以0.6倍的權(quán)重把優(yōu)化焦點(diǎn)引向白天出力波動(dòng)最大的時(shí)間段。如果你用的是MSE作為基線可以這樣對(duì)比MSE會(huì)把一次陰天突變的大誤差平方放大梯度爆發(fā)導(dǎo)致訓(xùn)練震蕩Huber在δ1.0時(shí)對(duì)這類異常值更穩(wěn)訓(xùn)練收斂快且最終RMSE通常更低。4.2 優(yōu)化器、學(xué)習(xí)率調(diào)度與早停優(yōu)化器用Adam比較省心初始學(xué)習(xí)率設(shè)置在1e-3附近。我調(diào)試多次后發(fā)現(xiàn)光伏預(yù)測(cè)這種數(shù)據(jù)量不大幾萬(wàn)到十幾萬(wàn)樣本的場(chǎng)景Adam配合余弦退火學(xué)習(xí)率調(diào)度效果不錯(cuò)。前半程用較高的學(xué)習(xí)率快速收斂后半程學(xué)習(xí)率逐步降低讓模型在最優(yōu)解附近精細(xì)調(diào)整。訓(xùn)練期間監(jiān)控驗(yàn)證集RMSE連續(xù)15個(gè)epoch不下降就提前停止并恢復(fù)最佳模型權(quán)重。一個(gè)實(shí)戰(zhàn)心得可以嘗試對(duì)LSTM層和全連接層使用不同的學(xué)習(xí)率。LSTM層因?yàn)樘荻嚷窂介L(zhǎng)適合稍小的學(xué)習(xí)率比如0.5倍主學(xué)習(xí)率全連接輸出層因?yàn)樘荻韧范炭梢员３种鲗W(xué)習(xí)率。這樣能緩解LSTM訓(xùn)練后期收斂慢的問(wèn)題。不用特別復(fù)雜的分層學(xué)習(xí)率庫(kù)只需要在優(yōu)化器里給不同參數(shù)組設(shè)置不同的lr值即可。4.3 評(píng)價(jià)指標(biāo)的選擇與光伏場(chǎng)景特化通用回歸任務(wù)常用RMSE、MAE、MAPE和R2但光伏預(yù)測(cè)在計(jì)算MAPE時(shí)要特別注意。功率為0的夜間樣本會(huì)讓MAPE變成無(wú)窮大所以必須限定只計(jì)算白天功率大于某個(gè)閾值例如大于電站額定功率的5%的樣本。否則你報(bào)告上的MAPE會(huì)是一個(gè)被0值主宰的異常數(shù)字看起來(lái)很高其實(shí)并不能反映模型真實(shí)水平。我建議至少報(bào)告四類指標(biāo)整體RMSEkW、白天時(shí)段RMSEkW、白天時(shí)段MAEkW、白天時(shí)段R2。再加上按天氣類型拆分的誤差統(tǒng)計(jì)——晴天、多云、陰雨三類分別統(tǒng)計(jì)RMSE這樣能更精細(xì)地判斷模型的短板在哪里。下面是一個(gè)典型的實(shí)驗(yàn)結(jié)果表格模板不同電站的數(shù)值會(huì)有差異但對(duì)比的相對(duì)關(guān)系通常是一樣的。模型整體RMSE(kW)白天空MAE(kW)擬合R2晴天RMSE突變天氣RMSE標(biāo)準(zhǔn)LSTM126.595.30.91238.6184.2LSTM注意力112.482.70.93134.2152.7改進(jìn)LSTM(本項(xiàng)目)98.671.30.94830.4128.94.4 訓(xùn)練中的兩個(gè)重要開關(guān)第一個(gè)開關(guān)是梯度裁剪。LSTM展開96個(gè)時(shí)間步之后反向傳播的梯度范數(shù)可能高達(dá)數(shù)百尤其是輸序列里有異常尖峰時(shí)很容易梯度爆炸導(dǎo)致loss變成NaN。我設(shè)置max_grad_norm1.0問(wèn)題基本不再出現(xiàn)。第二個(gè)開關(guān)是隨機(jī)種子固定。數(shù)據(jù)劃分、模型初始化和訓(xùn)練過(guò)程都需要固定隨機(jī)種子否則每次實(shí)驗(yàn)的結(jié)果會(huì)有幾個(gè)點(diǎn)的浮動(dòng)你很難判斷改進(jìn)到底來(lái)自算法還是運(yùn)氣。5. 實(shí)驗(yàn)對(duì)比與天氣場(chǎng)景深度分析5.1 整體誤差下降的構(gòu)成拆解從上一節(jié)的表格可以看到改進(jìn)模型相對(duì)標(biāo)準(zhǔn)LSTM的整體RMSE下降了約22%但更好奇的是這22%從哪來(lái)。我拆解每一類樣本的誤差分布后發(fā)現(xiàn)改進(jìn)最大的不是晴天平穩(wěn)時(shí)段而是輻照度變化率高的時(shí)間段。換句話說(shuō)注意力機(jī)制和補(bǔ)償分支真正解決的是突變天氣下的響應(yīng)速度而不是平穩(wěn)時(shí)段的擬合精度。這一點(diǎn)非常重要因?yàn)樗f(shuō)明了改進(jìn)工作是有針對(duì)性的而不是模型復(fù)雜度提升帶來(lái)的萬(wàn)能效果。如果你的預(yù)測(cè)對(duì)象本身天氣很穩(wěn)定比如常年晴天的某個(gè)地區(qū)標(biāo)準(zhǔn)LSTM已經(jīng)夠用加注意力機(jī)制的收益會(huì)很有限。反過(guò)來(lái)如果你的對(duì)象是多云多雨地區(qū)注意力機(jī)制的改進(jìn)效果會(huì)非常明顯。5.2 晴天、多云、陰雨三類天氣的表現(xiàn)差異晴天場(chǎng)景下功率曲線平滑主要誤差來(lái)自中午組件溫度升高導(dǎo)致的效率下降。模型在晴天的誤差大幅低于其它場(chǎng)景RMSE通常在30kW量級(jí)。標(biāo)準(zhǔn)LSTM在晴天表現(xiàn)也不錯(cuò)因?yàn)闅v史數(shù)據(jù)的可參考性很強(qiáng)這驗(yàn)證了周期性信息的重要性。多云場(chǎng)景是最考驗(yàn)?zāi)Ｐ偷膱?chǎng)景輻照度受碎云影響頻繁跳動(dòng)功率曲線像鋸齒一樣。改進(jìn)后的模型因?yàn)橛卸喾种л斎牒妥⒁饬訖?quán)能對(duì)輻照度的突變做出更快的跟隨雖然后期補(bǔ)償分支對(duì)誤差的修正幅度有限但整體的RMSE提升非常顯著。這種情況下如果只用標(biāo)準(zhǔn)的LSTM預(yù)測(cè)曲線會(huì)明顯削峰填谷把劇烈的波動(dòng)平滑成一條遲鈍的曲線。陰雨場(chǎng)景相對(duì)多云反而好預(yù)測(cè)一些因?yàn)檩椪斩日w低且變化相對(duì)平緩。但要注意低輻照度下組件的小幅波動(dòng)可能被傳感器噪聲淹沒(méi)此時(shí)模型容易輕微高估實(shí)際功率誤差以系統(tǒng)偏差為主。針對(duì)這個(gè)特點(diǎn)可以在訓(xùn)練集里對(duì)低輻照度樣本單獨(dú)加權(quán)讓模型減少在陰天的系統(tǒng)性偏差。5.3 不同預(yù)測(cè)時(shí)長(zhǎng)下的表現(xiàn)退化超短期預(yù)測(cè)中往往預(yù)測(cè)時(shí)間越久遠(yuǎn)誤差越大。實(shí)測(cè)下來(lái)前4個(gè)點(diǎn)未來(lái)1小時(shí)的RMSE最低中間4個(gè)點(diǎn)未來(lái)1-2小時(shí)誤差開始增加最后8個(gè)點(diǎn)未來(lái)2-4小時(shí)誤差明顯偏高。原因很直觀預(yù)測(cè)越靠后依賴的輸入信息越陳舊而天氣的不確定性隨時(shí)間累積放大。如果你需要做更長(zhǎng)時(shí)間尺度的預(yù)測(cè)改進(jìn)策略要考慮兩步走一是把輸出改為直接預(yù)測(cè)16個(gè)點(diǎn)而不是滾動(dòng)預(yù)測(cè)避免滾動(dòng)中誤差累積二是在外生特征里加入未來(lái)時(shí)刻的天氣預(yù)報(bào)輻照度讓模型在超過(guò)4小時(shí)的時(shí)間尺度上有外部信息可用。大部分人的失敗經(jīng)驗(yàn)是拿純歷史數(shù)據(jù)硬預(yù)測(cè)未來(lái)4小時(shí)以上效果不好不是模型的錯(cuò)而是信息本身就不夠。6. 萬(wàn)字報(bào)告與講解材料的組織和寫作6.1 報(bào)告結(jié)構(gòu)從摘要到結(jié)論的完整骨架項(xiàng)目配套的萬(wàn)字報(bào)告不是簡(jiǎn)單的代碼說(shuō)明文檔它需要呈現(xiàn)一個(gè)完整的科研敘事。我的報(bào)告結(jié)構(gòu)參考了高校學(xué)位論文的經(jīng)典框架但做了精簡(jiǎn)適合本科畢業(yè)設(shè)計(jì)和工程匯報(bào)。目錄大致如下摘要與關(guān)鍵詞第一章研究背景與意義光伏發(fā)電的現(xiàn)狀與預(yù)測(cè)必要性第二章國(guó)內(nèi)外研究現(xiàn)狀傳統(tǒng)預(yù)測(cè)方法、統(tǒng)計(jì)方法、機(jī)器學(xué)習(xí)方法、深度學(xué)習(xí)方法分別的優(yōu)勢(shì)劣勢(shì)第三章理論基礎(chǔ)LSTM的結(jié)構(gòu)原理、注意力機(jī)制的原理、Conv1D的原理這些內(nèi)容可以從經(jīng)典文獻(xiàn)里提煉第四章數(shù)據(jù)處理與特征工程細(xì)節(jié)第五章改進(jìn)LSTM模型的結(jié)構(gòu)設(shè)計(jì)、設(shè)計(jì)動(dòng)機(jī)和具體參數(shù)第六章實(shí)驗(yàn)配置與結(jié)果分析包括數(shù)據(jù)描述、對(duì)比實(shí)驗(yàn)、消融實(shí)驗(yàn)、典型天氣案例分析第七章總結(jié)與展望。寫作時(shí)有一個(gè)關(guān)鍵技巧報(bào)告的重點(diǎn)應(yīng)該放在第五章和第六章這兩章占報(bào)告總篇幅的40%以上因?yàn)樵u(píng)審關(guān)注的是你的改進(jìn)點(diǎn)在哪里、證據(jù)是什么。前面的基礎(chǔ)理論部分不需要太長(zhǎng)引用公式和相關(guān)文獻(xiàn)即可。6.2 圖表規(guī)范哪些圖最加分理工報(bào)告里圖表的說(shuō)服力遠(yuǎn)大于文字描述。我整理幾張項(xiàng)目必配的圖表你照著做就行。第一張?jiān)脊β是€與預(yù)測(cè)功率曲線的對(duì)比圖。選取連續(xù)一周的數(shù)據(jù)把真實(shí)值和預(yù)測(cè)值畫在同一個(gè)坐標(biāo)系下折線顏色區(qū)分圖例清晰一眼能看出模型跟真實(shí)曲線的擬合程度。第二張某一天多云突變場(chǎng)景的局部放大圖著重展示注意力機(jī)制模型的預(yù)測(cè)比基線模型更快跟隨輻照度下降。第三張誤差分布直方圖或箱線圖展示模型在白天不同時(shí)段的誤差分布直觀暴露什么時(shí)候最不準(zhǔn)。第四張消融實(shí)驗(yàn)對(duì)比柱狀圖柱子的高度代表不同配置的RMSE分別標(biāo)準(zhǔn)LSTM、加注意力、加注意力加補(bǔ)償分支柱子高度遞減非常直觀。6.3 講解演示怎么準(zhǔn)備項(xiàng)目配套講解的主要目的是把整個(gè)思路講清楚讓聽眾理解你的工作為什么有價(jià)值。建議準(zhǔn)備15-20頁(yè)的PPT結(jié)構(gòu)第1-2頁(yè)介紹問(wèn)題和痛點(diǎn)第3-4頁(yè)介紹預(yù)測(cè)任務(wù)的定義和數(shù)據(jù)第5-7頁(yè)介紹LSTM基線及其局限第8-12頁(yè)重點(diǎn)講解改進(jìn)模型的三個(gè)模塊特別是注意力機(jī)制和誤差補(bǔ)償分支的設(shè)計(jì)動(dòng)機(jī)第13-15頁(yè)放實(shí)驗(yàn)結(jié)果和對(duì)比第16-17頁(yè)放典型場(chǎng)景分析圖最后一頁(yè)總結(jié)。講解時(shí)的表達(dá)要避免念公式堆名詞。解釋注意力機(jī)制時(shí)可以說(shuō)讓模型像人一樣看歷史曲線時(shí)重點(diǎn)關(guān)注有決策價(jià)值的時(shí)段而不是所有歷史時(shí)間一視同仁地平均利用。解釋誤差補(bǔ)償分支時(shí)可以說(shuō)相當(dāng)于預(yù)報(bào)員先做一版常規(guī)預(yù)報(bào)再根據(jù)雷達(dá)圖的突變修正一下最終預(yù)報(bào)是兩者相加。類比講明白了公式才有意義。7. 常見(jiàn)問(wèn)題排查與調(diào)試實(shí)錄7.1 數(shù)據(jù)歸一化泄漏導(dǎo)致的假高分這是我見(jiàn)過(guò)最多人踩的坑也是我最早踩過(guò)的坑。一開始我把整個(gè)數(shù)據(jù)集放在MinMaxScaler里擬合并轉(zhuǎn)換然后才切分訓(xùn)練集和測(cè)試集結(jié)果是測(cè)試集R2高到嚇人覺(jué)得模型簡(jiǎn)直完美。但把模型用到在線新數(shù)據(jù)后預(yù)測(cè)值經(jīng)常溢出到0或1效果一塌糊涂。排查時(shí)才發(fā)現(xiàn)是把測(cè)試集的最大最小值泄漏給了訓(xùn)練過(guò)程模型在訓(xùn)練時(shí)見(jiàn)過(guò)未來(lái)數(shù)據(jù)的邊界泛化能力差是必然的。解決辦法前面已經(jīng)說(shuō)了訓(xùn)練集擬合scaler驗(yàn)證集和測(cè)試集只transform。你可以在代碼里專門寫一個(gè)數(shù)據(jù)管道類保證任何新數(shù)據(jù)進(jìn)來(lái)走的都是同一個(gè)scaler。7.2 預(yù)測(cè)曲線滯后半拍用LSTM做時(shí)序預(yù)測(cè)輸出曲線相對(duì)真實(shí)曲線出現(xiàn)一個(gè)時(shí)間步的偏移這是反復(fù)出現(xiàn)的問(wèn)題原因是模型被訓(xùn)練成參考上一個(gè)時(shí)間步的值來(lái)預(yù)測(cè)下一個(gè)值相當(dāng)于把上一時(shí)刻的觀測(cè)值往后搬了一下而沒(méi)有真正學(xué)到底層動(dòng)態(tài)。解決辦法有兩個(gè)方向。一是在損失函數(shù)里對(duì)一階差分項(xiàng)施加懲罰讓預(yù)測(cè)序列的斜率變化和真實(shí)序列接近二是在特征里把輻照度變化率明確作為輸入增強(qiáng)模型對(duì)趨勢(shì)的感知能力。我實(shí)測(cè)下來(lái)兩個(gè)方向疊加可以明顯降低滯后。7.3 訓(xùn)練過(guò)程loss震蕩不收斂光伏數(shù)據(jù)本身噪聲大加上模型結(jié)構(gòu)里有卷積和注意力模塊訓(xùn)練初期loss震蕩是正常的。但如果震蕩幅度過(guò)大且長(zhǎng)期不下降首先檢查學(xué)習(xí)率是否偏高把初始學(xué)習(xí)率降到3e-4再試。其次是檢查輸入數(shù)據(jù)的量綱是否統(tǒng)一我遇到過(guò)輸入特征里有一個(gè)風(fēng)速特征單位是m/s數(shù)值范圍0-30與歸一化后的特征混在一起導(dǎo)致梯度被支配的問(wèn)題。最后是確認(rèn)dropout設(shè)置合理太高的dropout會(huì)收斂極慢。7.4 預(yù)測(cè)結(jié)果在夜間出現(xiàn)非零值夜間功率理論上為0但模型輸出可能會(huì)有一些漏光的小數(shù)值看起來(lái)不自然。出現(xiàn)這個(gè)現(xiàn)象說(shuō)明模型沒(méi)有把時(shí)間特征和功率的對(duì)應(yīng)關(guān)系學(xué)充分通常是因?yàn)橐归g樣本在損失函數(shù)里占的比重過(guò)高或者過(guò)低。我在前面提到的分段加權(quán)損失能有效處理這個(gè)問(wèn)題再不行就在預(yù)測(cè)后處理時(shí)加一條規(guī)則當(dāng)輻照度為0時(shí)把預(yù)測(cè)功率直接置為0。這個(gè)規(guī)則在工程上是合理的不算是作弊因?yàn)樗诿鞔_的物理?xiàng)l件。7.5 訓(xùn)練顯存占用過(guò)大LSTM展開長(zhǎng)度較長(zhǎng)時(shí)顯存占用隨序列長(zhǎng)度線性增加。如果你在GPU上訓(xùn)練96步的序列長(zhǎng)度配64個(gè)隱藏單元batch_size設(shè)置64顯存占用通常在4G以內(nèi)大部分消費(fèi)級(jí)顯卡都能勝任。如果發(fā)現(xiàn)顯存不夠優(yōu)先減小batch_size其次是減小隱藏單元數(shù)而不是強(qiáng)行縮短輸入窗口因?yàn)榇翱陂L(zhǎng)度直接影響預(yù)測(cè)效果的穩(wěn)定性。實(shí)在不行還可以用梯度累積用多個(gè)小batch的梯度疊加實(shí)現(xiàn)大batch的效果。寫在最后這個(gè)項(xiàng)目做下來(lái)我最深刻的體會(huì)是光伏功率預(yù)測(cè)的瓶頸往往不在模型結(jié)構(gòu)本身而在數(shù)據(jù)理解的深度和實(shí)驗(yàn)設(shè)計(jì)的嚴(yán)謹(jǐn)性。改進(jìn)LSTM之所以比標(biāo)準(zhǔn)LSTM效果更好不是因?yàn)長(zhǎng)STM本身不夠好而是因?yàn)樗环诺搅烁m合它的位置——用注意力機(jī)制引導(dǎo)模型關(guān)注真正重要的歷史時(shí)刻用誤差補(bǔ)償彌補(bǔ)模型對(duì)突變過(guò)程的響應(yīng)滯后。如果你拿到自己電站的數(shù)據(jù)我建議先不急著跑模型花兩三天時(shí)間把數(shù)據(jù)梳理明白哪些特征是有效預(yù)測(cè)變量、哪些是噪聲、缺失和異常發(fā)生在什么時(shí)段。數(shù)據(jù)工作做扎實(shí)了模型的提升才是扎實(shí)的。這個(gè)項(xiàng)目的源碼和報(bào)告也完全可以復(fù)用擴(kuò)展比如把LSTM換成GRU做對(duì)比實(shí)驗(yàn)或者引入注意力變體做進(jìn)一步改版這些方向我都試過(guò)有需要再單獨(dú)寫文章細(xì)聊。