簡(jiǎn)介這份資源是面向深度學(xué)習(xí)與生成模型學(xué)習(xí)者的 ACGAN PyTorch 實(shí)現(xiàn)代碼包適合已掌握 GAN 基礎(chǔ)、希望進(jìn)一步理解條件生成與類(lèi)別可控圖像生成的開(kāi)發(fā)者。ACGAN 在傳統(tǒng)生成對(duì)抗網(wǎng)絡(luò)基礎(chǔ)上引入輔助分類(lèi)器使生成器能依據(jù) one-hot 類(lèi)別標(biāo)簽生成指定類(lèi)別的樣本常用于圖像生成、數(shù)據(jù)增強(qiáng)與半監(jiān)督學(xué)習(xí)等場(chǎng)景。資源包共 4 個(gè)文件包含 3 個(gè) py 腳本與 1 個(gè) md 說(shuō)明文檔壓縮包約 3KB其中 py 文件分別對(duì)應(yīng)訓(xùn)練入口、模型定義與判別邏輯md 文檔用于補(bǔ)充項(xiàng)目說(shuō)明結(jié)構(gòu)精簡(jiǎn)便于快速閱讀與二次修改。目前已有 823 人學(xué)習(xí)下載。通過(guò)該實(shí)現(xiàn)讀者可掌握生成器、判別器與輔助分類(lèi)器的網(wǎng)絡(luò)搭建方式理解對(duì)抗損失與類(lèi)別條件損失的組合設(shè)計(jì)并參考交替訓(xùn)練策略完成模型調(diào)試與生成效果監(jiān)控。1. ACGAN Pytorch實(shí)現(xiàn)從「生成得像」到「生成得準(zhǔn)」的那一步很多人做生成模型時(shí)都遇到過(guò)這個(gè)尷尬用 DCGAN 生成手寫(xiě)數(shù)字圖看著挺像但你想讓它專(zhuān)門(mén)生成「數(shù)字 7」它不聽(tīng)使喚——你沒(méi)法控制它生成什么類(lèi)別。ACGANAuxiliary Classifier GAN解決的正是這個(gè)問(wèn)題在生成器里同時(shí)喂進(jìn)噪聲和類(lèi)別標(biāo)簽在判別器里除了判斷真假再加一個(gè)輔助分類(lèi)頭去預(yù)測(cè)類(lèi)別。這樣一來(lái)生成器不僅要騙過(guò)判別器還得讓判別器相信它生成的圖屬于指定類(lèi)別。落到 Pytorch 實(shí)現(xiàn)上核心改動(dòng)其實(shí)只有三處生成器輸入維度加一個(gè) embedding、判別器輸出拆成真假和類(lèi)別兩路、損失函數(shù)多一項(xiàng)分類(lèi)交叉熵。這篇筆記按「先講清為什么這么設(shè)計(jì)再給能直接跑的代碼最后說(shuō)清參數(shù)和踩坑」的順序展開(kāi)適合已經(jīng)跑通過(guò)基礎(chǔ) GAN、想進(jìn)一步做條件生成的從業(yè)者。2. 先把 ACGAN 的結(jié)構(gòu)拆開(kāi)生成器和判別器各改哪里2.1 為什么判別器要加一個(gè)分類(lèi)頭普通 GAN 的判別器只輸出一個(gè)標(biāo)量表示輸入圖像為真的概率。ACGAN 的判別器輸出兩個(gè)東西一個(gè)是真假判別 logits一個(gè)是類(lèi)別分類(lèi) logits。這里有個(gè)容易混淆的點(diǎn)——判別器對(duì)真實(shí)圖像和生成圖像都要做類(lèi)別預(yù)測(cè)。真實(shí)圖像的類(lèi)別標(biāo)簽是已知的生成圖像的類(lèi)別標(biāo)簽就是生成時(shí)喂進(jìn)去的那個(gè)標(biāo)簽。所以判別器的分類(lèi)損失由兩部分組成真實(shí)圖的分類(lèi)損失加上生成圖的分類(lèi)損失。生成器的損失則包含兩部分欺騙判別器的對(duì)抗損失以及讓判別器把生成圖分到正確類(lèi)別的分類(lèi)損失。這種設(shè)計(jì)的直覺(jué)是如果生成器只想著騙過(guò)真假判別它可能生成一些「模棱兩可」的圖但加上分類(lèi)約束后它必須生成類(lèi)別特征足夠明確的圖否則分類(lèi)頭會(huì)給出高損失。反過(guò)來(lái)判別器的分類(lèi)頭也迫使它學(xué)到類(lèi)間有區(qū)分度的特征而不是只學(xué)「像不像真實(shí)圖」這種粗粒度判斷。2.2 生成器里類(lèi)別標(biāo)簽怎么注入類(lèi)別標(biāo)簽的注入方式直接影響生成質(zhì)量和訓(xùn)練穩(wěn)定性。常見(jiàn)做法有兩種一種是把標(biāo)簽做 embedding 后與噪聲向量拼接一起送進(jìn)全連接層另一種是把標(biāo)簽 embedding 后作為額外的通道拼到特征圖上。對(duì)于 32×32 或 64×64 這種小分辨率圖像拼接后進(jìn)全連接層再 reshape 的方式最直接也最容易調(diào)通。下面這段代碼用 embedding 維度 100、噪聲維度 100拼接后總輸入維度 200。import torch import torch.nn as nn class Generator(nn.Module): def __init__(self, noise_dim100, num_classes10, embed_dim100, img_channels1): super().__init__() self.noise_dim noise_dim # 類(lèi)別 embedding把離散標(biāo)簽映射成連續(xù)向量 self.label_embed nn.Embedding(num_classes, embed_dim) # 拼接后輸入維度 噪聲維度 embedding 維度 self.fc nn.Sequential( nn.Linear(noise_dim embed_dim, 256), nn.BatchNorm1d(256), nn.LeakyReLU(0.2, inplaceTrue), nn.Linear(256, 512), nn.BatchNorm1d(512), nn.LeakyReLU(0.2, inplaceTrue), nn.Linear(512, 1024), nn.BatchNorm1d(1024), nn.LeakyReLU(0.2, inplaceTrue), # 假設(shè)輸出 64x64 灰度圖 nn.Linear(1024, img_channels * 64 * 64), nn.Tanh() # 輸出歸一化到 [-1, 1] ) self.img_channels img_channels def forward(self, noise, labels): # labels: (batch,) 的整數(shù)張量 label_vec self.label_embed(labels) # (batch, embed_dim) x torch.cat([noise, label_vec], dim1) # (batch, noise_dimembed_dim) x self.fc(x) return x.view(-1, self.img_channels, 64, 64)這段代碼里nn.Embedding(num_classes, embed_dim)是可學(xué)習(xí)參數(shù)訓(xùn)練過(guò)程中會(huì)逐漸把每個(gè)類(lèi)別映射到一個(gè)有區(qū)分度的向量。nn.Tanh()把輸出壓到 [-1,1]與后面判別器輸入前把真實(shí)圖像也歸一化到 [-1,1] 保持一致。如果換成彩色圖把img_channels改成 3 即可但要注意最后一層全連接輸出維度相應(yīng)變成3*64*64。2.3 判別器的雙頭輸出怎么寫(xiě)判別器前半部分是共享的特征提取層后半部分分成兩個(gè)頭一個(gè)輸出真假 logits一個(gè)輸出類(lèi)別 logits。注意真假判別用nn.Linear(feat_dim, 1)類(lèi)別分類(lèi)用nn.Linear(feat_dim, num_classes)。兩個(gè)頭都從同一份特征出發(fā)這樣分類(lèi)任務(wù)能反過(guò)來(lái)幫助特征提取器學(xué)到更細(xì)粒度的表示。class Discriminator(nn.Module): def __init__(self, num_classes10, img_channels1): super().__init__() self.feature nn.Sequential( nn.Linear(img_channels * 64 * 64, 1024), nn.LeakyReLU(0.2, inplaceTrue), nn.Dropout(0.3), nn.Linear(1024, 512), nn.LeakyReLU(0.2, inplaceTrue), nn.Dropout(0.3), nn.Linear(512, 256), nn.LeakyReLU(0.2, inplaceTrue), ) # 真假判別頭輸出 1 維 logit self.adv_head nn.Linear(256, 1) # 類(lèi)別分類(lèi)頭輸出 num_classes 維 logit self.cls_head nn.Linear(256, num_classes) def forward(self, img): feat self.feature(img.view(img.size(0), -1)) adv_logit self.adv_head(feat) # (batch, 1) cls_logit self.cls_head(feat) # (batch, num_classes) return adv_logit, cls_logit這里用Dropout(0.3)是為了防止判別器過(guò)強(qiáng)導(dǎo)致生成器梯度消失這是小數(shù)據(jù)集上比較穩(wěn)的經(jīng)驗(yàn)值。如果發(fā)現(xiàn)判別器損失迅速降到接近 0可以把 dropout 提高到 0.4 或 0.5。兩個(gè)頭共享self.feature所以反向傳播時(shí)分類(lèi)損失也會(huì)更新特征提取層這正是 ACGAN 能學(xué)到類(lèi)別相關(guān)特征的關(guān)鍵。3. 訓(xùn)練循環(huán)與損失函數(shù)兩個(gè)優(yōu)化器、三項(xiàng)損失怎么配3.1 損失函數(shù)的選擇與權(quán)重ACGAN 的判別器損失由兩部分相加對(duì)抗損失真假二分類(lèi)和分類(lèi)損失多分類(lèi)。生成器損失同樣由兩部分相加對(duì)抗損失希望判別器把假圖判為真和分類(lèi)損失希望判別器把假圖分到正確類(lèi)別。對(duì)抗損失用nn.BCEWithLogitsLoss分類(lèi)損失用nn.CrossEntropyLoss。這里有個(gè)細(xì)節(jié)判別器對(duì)真實(shí)圖的分類(lèi)損失和生成圖的分類(lèi)損失都要算而生成器只關(guān)心生成圖的分類(lèi)損失。import torch.nn.functional as F def train_step(real_imgs, real_labels, G, D, opt_G, opt_D, criterion_adv, criterion_cls, device, num_classes10): batch_size real_imgs.size(0) real_imgs real_imgs.to(device) real_labels real_labels.to(device) # 構(gòu)造生成器輸入 noise torch.randn(batch_size, 100, devicedevice) fake_labels torch.randint(0, num_classes, (batch_size,), devicedevice) # ---------- 訓(xùn)練判別器 ---------- opt_D.zero_grad() # 真實(shí)圖前向 real_adv, real_cls D(real_imgs) # 生成圖前向detach 防止梯度傳到生成器 fake_imgs G(noise, fake_labels).detach() fake_adv, fake_cls D(fake_imgs) # 對(duì)抗損失真實(shí)圖標(biāo)簽為 1生成圖標(biāo)簽為 0 loss_real_adv criterion_adv(real_adv, torch.ones_like(real_adv)) loss_fake_adv criterion_adv(fake_adv, torch.zeros_like(fake_adv)) # 分類(lèi)損失真實(shí)圖用真實(shí)標(biāo)簽生成圖用生成時(shí)指定的標(biāo)簽 loss_real_cls criterion_cls(real_cls, real_labels) loss_fake_cls criterion_cls(fake_cls, fake_labels) loss_D loss_real_adv loss_fake_adv loss_real_cls loss_fake_cls loss_D.backward() opt_D.step() # ---------- 訓(xùn)練生成器 ---------- opt_G.zero_grad() # 重新前向這次不 detach fake_imgs G(noise, fake_labels) fake_adv, fake_cls D(fake_imgs) # 生成器希望判別器把假圖判為真 loss_G_adv criterion_adv(fake_adv, torch.ones_like(fake_adv)) # 生成器希望分類(lèi)頭把假圖分到 fake_labels loss_G_cls criterion_cls(fake_cls, fake_labels) loss_G loss_G_adv loss_G_cls loss_G.backward() opt_G.step() return loss_D.item(), loss_G.item()這段代碼里判別器訓(xùn)練時(shí)對(duì)生成圖做了.detach()這是必須的否則梯度會(huì)回傳到生成器導(dǎo)致生成器被「提前更新」。生成器訓(xùn)練時(shí)重新前向了一次而不是復(fù)用判別器訓(xùn)練時(shí)的fake_imgs因?yàn)槟桥呀?jīng) detach 了。兩個(gè)優(yōu)化器分別用opt_D和opt_G學(xué)習(xí)率通常設(shè) 0.0002beta1 設(shè) 0.5這是 DCGAN 以來(lái)比較通用的配置。3.2 訓(xùn)練循環(huán)的完整骨架與日志觀(guān)察把上面的train_step放進(jìn) epoch 循環(huán)里配合數(shù)據(jù)加載和日志打印就是一個(gè)可運(yùn)行的訓(xùn)練腳本。關(guān)鍵是要觀(guān)察兩個(gè)損失的變化趨勢(shì)如果loss_D很快降到 0.1 以下而loss_G持續(xù)上升說(shuō)明判別器太強(qiáng)需要降低判別器學(xué)習(xí)率或增加 dropout如果loss_D和loss_G都在 0.6 到 1.0 之間震蕩通常是健康狀態(tài)。from torch.utils.data import DataLoader from torchvision import datasets, transforms # 數(shù)據(jù)準(zhǔn)備MNIST 歸一化到 [-1,1] transform transforms.Compose([ transforms.Resize(64), transforms.ToTensor(), transforms.Normalize([0.5], [0.5]) ]) dataset datasets.MNIST(root./data, trainTrue, downloadTrue, transformtransform) loader DataLoader(dataset, batch_size64, shuffleTrue, drop_lastTrue) device torch.device(cuda if torch.cuda.is_available() else cpu) G Generator().to(device) D Discriminator().to(device) opt_G torch.optim.Adam(G.parameters(), lr0.0002, betas(0.5, 0.999)) opt_D torch.optim.Adam(D.parameters(), lr0.0002, betas(0.5, 0.999)) criterion_adv nn.BCEWithLogitsLoss() criterion_cls nn.CrossEntropyLoss() for epoch in range(50): for i, (imgs, labels) in enumerate(loader): loss_D, loss_G train_step(imgs, labels, G, D, opt_G, opt_D, criterion_adv, criterion_cls, device) if i % 100 0: print(fEpoch [{epoch}] Step [{i}] loss_D{loss_D:.4f} loss_G{loss_G:.4f})這里drop_lastTrue很重要因?yàn)樯善骼锏腂atchNorm1d在 batch size 為 1 時(shí)會(huì)報(bào)錯(cuò)。如果顯存不夠把 batch size 降到 32仍然要保證drop_lastTrue。另外transforms.Resize(64)把 MNIST 從 28×28 放大到 64×64是為了配合生成器輸出尺寸如果不想放大把生成器最后一層改成28*28并去掉 Resize 即可但那樣全連接層的維度也要同步改。4. ACGAN Pytorch實(shí)現(xiàn)避坑這五個(gè)地方最容易翻車(chē)4.1 判別器分類(lèi)頭把生成圖標(biāo)簽搞混現(xiàn)象訓(xùn)練一段時(shí)間后生成器生成的圖類(lèi)別混亂指定生成「3」卻出來(lái)像「8」的圖。原因判別器分類(lèi)損失里生成圖的標(biāo)簽用了真實(shí)標(biāo)簽而不是生成時(shí)指定的fake_labels。解決檢查loss_fake_cls criterion_cls(fake_cls, fake_labels)這一行確保第二個(gè)參數(shù)是fake_labels而不是real_labels。這個(gè)錯(cuò)誤很隱蔽因?yàn)閾p失值看起來(lái)也在下降但生成器學(xué)到的條件映射是錯(cuò)的。4.2 生成器分類(lèi)損失權(quán)重過(guò)大導(dǎo)致模式坍塌現(xiàn)象生成器對(duì)每個(gè)類(lèi)別只生成一種樣本多樣性極低。原因分類(lèi)損失權(quán)重相對(duì)對(duì)抗損失過(guò)大生成器只顧著讓分類(lèi)頭滿(mǎn)意忽略了對(duì)抗損失對(duì)多樣性的約束。解決給分類(lèi)損失乘一個(gè)系數(shù)比如loss_G loss_G_adv 0.5 * loss_G_cls或者先讓對(duì)抗損失主導(dǎo)訓(xùn)練后期再加大分類(lèi)權(quán)重。我一般會(huì)從 1.0 開(kāi)始試如果發(fā)現(xiàn)模式坍塌就降到 0.5 或 0.3。4.3 BatchNorm 在生成器輸入層用錯(cuò)位置現(xiàn)象訓(xùn)練初期生成器損失劇烈震蕩生成的圖全是噪聲。原因在生成器第一層全連接后直接加了 BatchNorm而輸入是噪聲加 embedding 的拼接統(tǒng)計(jì)量不穩(wěn)定。解決生成器第一層不加 BatchNorm從第二層開(kāi)始加。判別器同理第一層不加 BatchNorm用 Dropout 代替。這是小分辨率生成任務(wù)里比較穩(wěn)的做法。4.4 學(xué)習(xí)率不匹配導(dǎo)致一方壓倒另一方現(xiàn)象loss_D 迅速降到接近 0loss_G 持續(xù)上升生成圖越來(lái)越差。原因判別器和生成器用同一個(gè)學(xué)習(xí)率但判別器任務(wù)更簡(jiǎn)單收斂更快。解決把判別器學(xué)習(xí)率降到生成器的一半比如 G 用 0.0002D 用 0.0001。或者用nn.LeakyReLU(0.2)代替 ReLU緩解梯度消失。如果已經(jīng)出現(xiàn)壓倒可以臨時(shí)凍結(jié)判別器幾輪只訓(xùn)練生成器。4.5 標(biāo)簽 embedding 維度設(shè)得太小現(xiàn)象生成器無(wú)法區(qū)分不同類(lèi)別生成的圖在類(lèi)別間沒(méi)有明顯差異。原因embedding 維度太小比如設(shè)成 10類(lèi)別信息容量不夠。解決embedding 維度至少設(shè)成 50通常 100 比較穩(wěn)。如果類(lèi)別數(shù)很多比如 100 類(lèi)以上可以適當(dāng)加大到 200。這個(gè)參數(shù)沒(méi)有理論最優(yōu)值靠實(shí)驗(yàn)調(diào)但低于 50 基本不可用。5. 進(jìn)階技巧用條件插值驗(yàn)證生成器是否真的學(xué)到了類(lèi)別訓(xùn)練完之后怎么驗(yàn)證生成器不是「假裝」學(xué)到了類(lèi)別一個(gè)很直接的辦法是做條件插值固定噪聲向量只改變類(lèi)別標(biāo)簽看生成的圖是否按類(lèi)別語(yǔ)義變化。如果生成器真的學(xué)到了類(lèi)別特征那么從「0」到「9」逐個(gè)標(biāo)簽生成時(shí)圖像應(yīng)該呈現(xiàn)出數(shù)字形狀的漸變而不是隨機(jī)跳變。import matplotlib.pyplot as plt G.eval() with torch.no_grad(): # 固定一個(gè)噪聲向量 fixed_noise torch.randn(1, 100, devicedevice) # 對(duì) 0 到 9 每個(gè)類(lèi)別生成一張圖 imgs [] for label in range(10): label_tensor torch.tensor([label], devicedevice) fake G(fixed_noise, label_tensor) imgs.append(fake.squeeze().cpu()) # 拼成 2x5 網(wǎng)格展示 fig, axes plt.subplots(2, 5, figsize(10, 4)) for idx, ax in enumerate(axes.flat): ax.imshow(imgs[idx], cmapgray) ax.set_title(flabel{idx}) ax.axis(off) plt.tight_layout() plt.show()這段代碼里G.eval()很關(guān)鍵因?yàn)樯善骼镉?BatchNorm評(píng)估時(shí)要切換到 eval 模式固定統(tǒng)計(jì)量否則每次生成結(jié)果會(huì)隨 batch 統(tǒng)計(jì)量波動(dòng)。如果發(fā)現(xiàn)某些類(lèi)別生成質(zhì)量明顯差比如「1」很清楚但「8」很模糊說(shuō)明那個(gè)類(lèi)別的訓(xùn)練樣本在判別器分類(lèi)頭里梯度不夠可以檢查一下數(shù)據(jù)集中各類(lèi)別是否均衡。另一個(gè)驗(yàn)證方法是計(jì)算生成圖的分類(lèi)準(zhǔn)確率用一個(gè)在真實(shí)數(shù)據(jù)上訓(xùn)練好的分類(lèi)器去預(yù)測(cè)生成圖的類(lèi)別如果準(zhǔn)確率高說(shuō)明生成器確實(shí)按標(biāo)簽生成了對(duì)應(yīng)類(lèi)別。這個(gè)方法比人眼判斷更客觀(guān)但需要額外訓(xùn)練一個(gè)分類(lèi)器。我一般會(huì)在訓(xùn)練 ACGAN 之前先訓(xùn)一個(gè)簡(jiǎn)單的 CNN 分類(lèi)器準(zhǔn)確率到 98% 以上就夠用然后拿它來(lái)評(píng)估生成圖。還有一個(gè)容易忽略的點(diǎn)ACGAN 的生成器在訓(xùn)練后期可能會(huì)「過(guò)擬合」到判別器的分類(lèi)頭即生成器生成的圖能讓判別器分類(lèi)正確但人眼看著不像。這時(shí)候可以降低分類(lèi)損失權(quán)重或者增加判別器 dropout讓分類(lèi)頭不要那么強(qiáng)。我自己的習(xí)慣是每訓(xùn)練 10 個(gè) epoch 就保存一次生成樣本網(wǎng)格圖對(duì)比不同階段的生成質(zhì)量而不是只看損失曲線(xiàn)。損失曲線(xiàn)好看但生成圖崩了的情況在 ACGAN 里并不少見(jiàn)血淚經(jīng)驗(yàn)就是別只盯著 loss要定期看圖。希望幫到你。本文還有配套的精品資源點(diǎn)擊獲取