概述訓(xùn)練模型可能花幾分鐘也可能花幾天。訓(xùn)練結(jié)果如果只存在內(nèi)存里程序一結(jié)束就丟了。Paddle 中常用paddle.save()和paddle.load()保存、加載模型相關(guān)狀態(tài)。常見(jiàn)保存對(duì)象包括模型參數(shù)model.state_dict()。優(yōu)化器狀態(tài)optimizer.state_dict()。當(dāng)前 epoch、best accuracy、訓(xùn)練配置等元信息。對(duì)應(yīng)場(chǎng)景場(chǎng)景保存內(nèi)容只做推理模型參數(shù)繼續(xù)訓(xùn)練模型參數(shù) 優(yōu)化器狀態(tài) epoch保存最佳模型驗(yàn)證集指標(biāo)最好的模型參數(shù)完整恢復(fù)實(shí)驗(yàn)參數(shù)、優(yōu)化器、指標(biāo)、配置讀完本文你應(yīng)該能保存和加載 Paddle 模型參數(shù)保存最佳模型并用 checkpoint 完整恢復(fù)訓(xùn)練。state_dict模型參數(shù)的字典每個(gè)nn.Layer都可以通過(guò)state_dict()獲取參數(shù)狀態(tài)statemodel.state_dict()它本質(zhì)上是一個(gè)字典key 是參數(shù)名value 是 Tensor。示例forname,tensorinmodel.state_dict().items():print(name,tensor.shape)你會(huì)看到類似net.0.weight [2, 16] net.0.bias [16] net.2.weight [16, 2] net.2.bias [2]state_dict保存的是參數(shù)數(shù)值不保存模型類定義。因此加載時(shí)需要先創(chuàng)建同樣結(jié)構(gòu)的模型。保存模型參數(shù)保存paddle.save(model.state_dict(),model.pdparams)加載modelClassifier()state_dictpaddle.load(model.pdparams)model.set_state_dict(state_dict)model.eval()推理withpaddle.no_grad():logitsmodel(x)注意模型結(jié)構(gòu)必須和保存時(shí)一致。如果層名、參數(shù) shape 不一致加載會(huì)失敗或行為不符合預(yù)期。保存最佳模型訓(xùn)練過(guò)程中常根據(jù)驗(yàn)證集指標(biāo)保存最佳模型best_val_acc0.0forepochinrange(num_epochs):train_loss,train_acctrain_one_epoch(model,train_loader,optimizer)val_loss,val_accevaluate(model,val_loader)ifval_accbest_val_acc:best_val_accval_acc paddle.save(model.state_dict(),best_model.pdparams)print(epoch,val_acc,best_val_acc)這樣最終得到的是驗(yàn)證集表現(xiàn)最好的模型而不一定是最后一個(gè) epoch 的模型。為什么不總保存最后一輪后期可能過(guò)擬合。驗(yàn)證集指標(biāo)可能先升后降。最佳模型可能出現(xiàn)在中間 epoch。加載最佳模型并測(cè)試訓(xùn)練結(jié)束后best_modelClassifier()best_model.set_state_dict(paddle.load(best_model.pdparams))best_model.eval()test_loss,test_accevaluate(best_model,test_loader)print(test_acc:,test_acc)測(cè)試集評(píng)估應(yīng)該在模型選擇結(jié)束后進(jìn)行。不要用測(cè)試集決定是否保存最佳模型最佳模型應(yīng)由驗(yàn)證集選擇。保存優(yōu)化器狀態(tài)如果要中斷后繼續(xù)訓(xùn)練僅保存模型參數(shù)不夠。Adam、Momentum 等優(yōu)化器內(nèi)部有動(dòng)量、二階矩估計(jì)等狀態(tài)。保存優(yōu)化器狀態(tài)paddle.save(optimizer.state_dict(),optimizer.pdopt)加載optimizer.set_state_dict(paddle.load(optimizer.pdopt))注意加載順序先創(chuàng)建模型 再創(chuàng)建優(yōu)化器并傳入 model.parameters() 再加載模型參數(shù) 再加載優(yōu)化器狀態(tài)完整 checkpoint恢復(fù)訓(xùn)練現(xiàn)場(chǎng)更推薦保存一個(gè)完整 checkpointcheckpoint{epoch:epoch,model:model.state_dict(),optimizer:optimizer.state_dict(),best_val_acc:best_val_acc,}paddle.save(checkpoint,checkpoint.pdckpt)加載checkpointpaddle.load(checkpoint.pdckpt)modelClassifier()optimizerpaddle.optimizer.Adam(learning_rate0.01,parametersmodel.parameters(),)model.set_state_dict(checkpoint[model])optimizer.set_state_dict(checkpoint[optimizer])start_epochcheckpoint[epoch]1best_val_acccheckpoint[best_val_acc]這樣可以從中斷位置繼續(xù)訓(xùn)練。完整示例保存最佳模型和 checkpointbest_val_acc0.0num_epochs20forepochinrange(num_epochs):train_loss,train_acctrain_one_epoch(model,train_loader,optimizer)val_loss,val_accevaluate(model,val_loader)ifval_accbest_val_acc:best_val_accval_acc paddle.save(model.state_dict(),best_model.pdparams)checkpoint{epoch:epoch,model:model.state_dict(),optimizer:optimizer.state_dict(),best_val_acc:best_val_acc,}paddle.save(checkpoint,last_checkpoint.pdckpt)print(epoch:,epoch,train_loss:,train_loss,val_acc:,val_acc,best_val_acc:,best_val_acc,)這段代碼同時(shí)保存best_model.pdparams驗(yàn)證集最好的模型參數(shù)。last_checkpoint.pdckpt最近一次完整訓(xùn)練狀態(tài)。恢復(fù)訓(xùn)練示例defresume_training(checkpoint_path):modelClassifier()optimizerpaddle.optimizer.Adam(learning_rate0.01,parametersmodel.parameters(),)checkpointpaddle.load(checkpoint_path)model.set_state_dict(checkpoint[model])optimizer.set_state_dict(checkpoint[optimizer])start_epochcheckpoint[epoch]1best_val_acccheckpoint[best_val_acc]returnmodel,optimizer,start_epoch,best_val_acc繼續(xù)訓(xùn)練model,optimizer,start_epoch,best_val_accresume_training(last_checkpoint.pdckpt)forepochinrange(start_epoch,30):train_loss,train_acctrain_one_epoch(model,train_loader,optimizer)val_loss,val_accevaluate(model,val_loader)推理保存和訓(xùn)練恢復(fù)的區(qū)別推理只需要模型結(jié)構(gòu)代碼 模型參數(shù)繼續(xù)訓(xùn)練需要模型結(jié)構(gòu)代碼 模型參數(shù) 優(yōu)化器狀態(tài) 當(dāng)前 epoch 訓(xùn)練配置如果只加載模型參數(shù)訓(xùn)練也能繼續(xù)但 Adam 等優(yōu)化器內(nèi)部狀態(tài)會(huì)重新開(kāi)始訓(xùn)練軌跡可能和原來(lái)不一致。常見(jiàn)問(wèn)題問(wèn)題一模型結(jié)構(gòu)不一致保存時(shí)nn.Linear(2,16)加載時(shí)改成nn.Linear(2,32)參數(shù) shape 不匹配無(wú)法正確加載。問(wèn)題二只保存了模型忘記保存優(yōu)化器如果要完整恢復(fù)訓(xùn)練必須保存optimizer.state_dict()。問(wèn)題三加載后忘記 eval推理前model.eval()并配合withpaddle.no_grad():...問(wèn)題四覆蓋了最佳模型最佳模型和最后 checkpoint 最好分開(kāi)命名best_model.pdparams last_checkpoint.pdckpt問(wèn)題五沒(méi)有保存訓(xùn)練配置建議 checkpoint 中保存關(guān)鍵配置config:{hidden_dim:16,learning_rate:0.01,batch_size:64,}否則以后可能不知道該用什么結(jié)構(gòu)加載。文件命名建議常見(jiàn)后綴文件含義.pdparams模型參數(shù).pdopt優(yōu)化器狀態(tài).pdckpt自定義 checkpoint示例best_model.pdparams last_optimizer.pdopt epoch_010.pdckpt命名不影響 Paddle 讀取本質(zhì)上是你團(tuán)隊(duì)的約定。清晰比炫技重要。建議練習(xí)把訓(xùn)練恢復(fù)跑通訓(xùn)練 5 個(gè) epoch 后保存模型參數(shù)。新建同結(jié)構(gòu)模型加載參數(shù)并驗(yàn)證 accuracy。保存optimizer.state_dict()。保存完整 checkpoint包括 epoch 和 best_val_acc。從 checkpoint 恢復(fù)繼續(xù)訓(xùn)練到 10 個(gè) epoch。故意修改 hidden_dim觀察加載失敗信息?？偨Y(jié)這一篇講了 Paddle 模型保存與加載model.state_dict()保存模型參數(shù)。model.set_state_dict()加載模型參數(shù)。optimizer.state_dict()保存優(yōu)化器狀態(tài)。最佳模型應(yīng)根據(jù)驗(yàn)證集指標(biāo)保存。完整恢復(fù)訓(xùn)練需要 checkpoint。推理前應(yīng)使用model.eval()和paddle.no_grad()。如果只能記住一句話那就是只做推理保存模型參數(shù)想完整恢復(fù)訓(xùn)練就必須同時(shí)保存模型、優(yōu)化器和訓(xùn)練進(jìn)度。