簡(jiǎn)介面向 PYNQ-Z2 平臺(tái)復(fù)現(xiàn) YOLOv2 目標(biāo)檢測(cè)的開發(fā)者這套資源打包了從 HLS 硬件加速設(shè)計(jì)到 Vivado 工程搭建、再到 Jupyter Notebook 聯(lián)調(diào)驗(yàn)證所需的全部配套文件適合正在入門 FPGA 深度學(xué)習(xí)加速或希望完成端側(cè)部署的讀者參考。壓縮包共 798 個(gè)文件、約 143MB內(nèi)含 761 張圖片用于記錄工程結(jié)構(gòu)與可視化結(jié)果10 個(gè) bin 權(quán)重/量化參數(shù)文件以及 cpp、h、c 源碼、tcl 腳本、xdc 約束、bit 比特流、ipynb 演示腳本和 cfg 配置文件等可對(duì)照配套說(shuō)明完成工程復(fù)現(xiàn)。已有 3156 人學(xué)習(xí)下載。資源中的 HLS 工程與量化權(quán)重經(jīng)實(shí)際調(diào)通可幫助讀者快速上手 PYNQ-Z2 上的 YOLOv2 加速實(shí)現(xiàn)縮短環(huán)境配置與排錯(cuò)時(shí)間。 網(wǎng)盤里那份《Yolov2復(fù)現(xiàn)所需文件.rar》我下載之后躺了整整一周才打開。說(shuō)實(shí)話第一次解壓看到一堆源碼、cfg配置和孤零零的權(quán)重文件時(shí)我確實(shí)有點(diǎn)懵但硬著頭皮把整個(gè)流程跑通之后反而覺得這是近幾年做過(guò)最值的一次老模型復(fù)現(xiàn)。YOLOv2是2017年的單階段檢測(cè)器它的anchor機(jī)制、passthrough特征融合、多尺度訓(xùn)練這些設(shè)計(jì)你今天打開YOLOv5、YOLOv8的代碼仍然能看到它們的影子。這篇文章就以這份rar為線索把YOLOv2復(fù)現(xiàn)需要準(zhǔn)備什么、怎么編譯Darknet、怎么讀懂cfg、怎么把訓(xùn)練和評(píng)估完整跑通以及實(shí)操中踩過(guò)的坑全部攤開來(lái)講。適合剛讀完論文想跑通代碼的初學(xué)者也適合想把darknet老權(quán)重遷移到PyTorch的工程師參考。1. 拆包先看資產(chǎn)這份rar里到底有什么1.1 在今天的機(jī)器上為什么還要折騰2017年的模型先說(shuō)一個(gè)反直覺的結(jié)論顯卡越新跑老代碼不一定越省心。YOLOv2復(fù)現(xiàn)的價(jià)值不在于它能跑出比v8更高的精度而在于它是理解整個(gè)YOLO家族的一把鑰匙。它的主干Darknet-19只有19層卷積整個(gè)推理流程可以在一份體量很小的C代碼里從頭讀到尾它的anchor設(shè)計(jì)、坐標(biāo)回歸方式、passthrough層、BN、多尺度訓(xùn)練幾乎濃縮了目標(biāo)檢測(cè)從傳統(tǒng)滑窗方法過(guò)渡到現(xiàn)代檢測(cè)器的全部關(guān)鍵轉(zhuǎn)折。我見過(guò)不少同學(xué)直接上手YOLOv5、v8能調(diào)參數(shù)但講不清網(wǎng)絡(luò)內(nèi)部在干什么根子就在于跳過(guò)了這一課。完整復(fù)現(xiàn)一遍YOLOv2再看任何新框架理解成本都會(huì)低很多。1.2 解壓后的典型文件清單不同人分享的rar內(nèi)容會(huì)略有差異但結(jié)構(gòu)基本一致。我這份解壓后是下面這樣的文件或目錄作用備注darknet-master/Darknet官方C源碼復(fù)現(xiàn)的核心框架編譯入口cfg/yolov2.cfgCOCO 80類網(wǎng)絡(luò)配置輸出filters為425cfg/yolov2-voc.cfgVOC 20類網(wǎng)絡(luò)配置復(fù)現(xiàn)通常用這個(gè)輸出filters為125data/voc.names20個(gè)類別名順序?qū)?yīng)標(biāo)簽索引號(hào)darknet19_448.conv.23骨干網(wǎng)絡(luò)預(yù)訓(xùn)練權(quán)重最關(guān)鍵的文件別當(dāng)最終模型用scripts/voc_label.py等數(shù)據(jù)腳本把VOC標(biāo)注轉(zhuǎn)成darknet格式復(fù)現(xiàn)說(shuō)明.txt原作者標(biāo)注的步驟動(dòng)手前先讀它重點(diǎn)說(shuō)兩個(gè)文件。darknet19_448.conv.23是預(yù)訓(xùn)練權(quán)重不是最終模型。名字里的448指它在ImageNet分類任務(wù)上先用448x448分辨率微調(diào)過(guò)conv.23表示只包含前23個(gè)卷積層正好對(duì)應(yīng)Darknet-19去掉檢測(cè)頭部。訓(xùn)練時(shí)必須拿它做初始化相當(dāng)于把分類任務(wù)上學(xué)到的特征遷移過(guò)來(lái)否則從零開始訓(xùn)檢測(cè)效果非常差。另一個(gè)是cfg/yolov2-voc.cfg它和coco版本的差別只在類別數(shù)、輸出通道數(shù)和anchor數(shù)值使用時(shí)一定要和權(quán)重配套混用必報(bào)錯(cuò)。1.3 動(dòng)手前先做三個(gè)核對(duì)解壓之后別急著make先花三分鐘確認(rèn)三件事。第一確認(rèn)顯卡型號(hào)和計(jì)算能力跑一下nvidia-smi看GPU型號(hào)這會(huì)決定后面Makefile里的ARCH參數(shù)怎么改。第二確認(rèn)權(quán)重和cfg的對(duì)應(yīng)關(guān)系如果你要復(fù)現(xiàn)VOC數(shù)據(jù)集就固定用yolov2-voc.cfg搭配darknet19_448.conv.23不要混用COCO版本的cfg。第三確認(rèn)壓縮包里有沒有直接帶backup目錄下的訓(xùn)練好的權(quán)重如果有說(shuō)明原作者已經(jīng)替你跑完了訓(xùn)練你完全可以先加載它做推理和驗(yàn)證跑通一遍流程再說(shuō)。提示很多人在缺預(yù)訓(xùn)練權(quán)重的情況下從零訓(xùn)練結(jié)果loss降得很慢。YOLOv2論文明確說(shuō)了用分類預(yù)訓(xùn)練初始化比從零訓(xùn)練mAP能高出好幾個(gè)點(diǎn)。看到rar里沒有這個(gè)文件先想辦法補(bǔ)上再開始。2. 老框架與新硬件的磨合Darknet編譯實(shí)錄2.1 三分鐘看懂Makefile開關(guān)Darknet是一個(gè)純C框架編譯方式極其樸素就是改Makefile然后make。核心開關(guān)就幾個(gè)GPU1表示啟用CUDACUDNN1表示用cuDNN加速卷積OPENCV1表示打開圖像讀寫和可視化OPENMP1表示用多核CPU加速。不少人喜歡直接抄別人現(xiàn)成的Makefile結(jié)果在自家機(jī)器上翻車。我的建議是最穩(wěn)妥的組合GPU1、CUDNN1、OPENCV1、OPENMP1DEBUG0然后重點(diǎn)修改ARCH那一行。如果你確定只是先跑通流程、機(jī)器上也沒有合適的CUDA環(huán)境GPU0也能編譯CPU模式推理一張圖要幾秒訓(xùn)練則非常慢但用于驗(yàn)證結(jié)構(gòu)是夠的。2.2 ARCH行老代碼在新顯卡上最致命的坑nvcc在編譯GPU代碼時(shí)要用-gencode archcompute_XX,codecompute_XX指明目標(biāo)顯卡的計(jì)算能力。darknet默認(rèn)的ARCH列表里塞了很多老架構(gòu)比如compute_20、compute_30這些算力在CUDA 11之后直接被移除了支持編到一半就會(huì)報(bào)Unsupported gpu architecture compute_30。正確做法是只保留你自己顯卡對(duì)應(yīng)的那一行其余全部注釋掉。參考對(duì)照表顯卡系列計(jì)算能力Makefile中ARCH行GTX 10系6.1-gencode archcompute_61,codecompute_61RTX 20系7.5-gencode archcompute_75,codecompute_75RTX 30系8.6-gencode archcompute_86,codecompute_86RTX 40系8.9-gencode archcompute_89,codecompute_89比如我手頭是RTX 3060就只留compute_86那一行。改完后make基本一次通過(guò)。老代碼和新驅(qū)動(dòng)之間的兼容問(wèn)題大多集中在ARCH這里千萬(wàn)別忽略。2.3 編譯后先跑通一張圖編譯完成后不要急著訓(xùn)練先做一次最小驗(yàn)證make -j8 ./darknet detector test cfg/voc.data cfg/yolov2-voc.cfg backup/yolov2_final.weights data/dog.jpg如果這一步能生成一張帶檢測(cè)框的predictions.jpg說(shuō)明三件事同時(shí)成立編譯環(huán)境沒問(wèn)題、權(quán)重文件能正常加載、cfg結(jié)構(gòu)沒有配錯(cuò)。這一步跑不通后面訓(xùn)練絕對(duì)也跑不通先回頭查環(huán)境。常見報(bào)錯(cuò)里最典型的是找不到libcudart.so多半是CUDA裝了但沒有把/usr/local/cuda/lib64加進(jìn)LD_LIBRARY_PATH。另一種是OpenCV版本沖突系統(tǒng)里OpenCV版本太高darknet老代碼在視頻接口上兼容性不佳。如果只是做圖像測(cè)試遇到這種情況直接把OPENCV改成0重新make不影響后續(xù)寫代碼和推理。3. cfg文件就是YOLOv2的設(shè)計(jì)圖網(wǎng)絡(luò)結(jié)構(gòu)復(fù)現(xiàn)的關(guān)鍵3.1 從416x416輸入到13x13特征圖YOLOv2沒有獨(dú)立的Python網(wǎng)絡(luò)定義模型結(jié)構(gòu)全寫在cfg文件里。以416x416輸入為例整個(gè)下采樣過(guò)程是32倍最終得到一個(gè)13x13的特征圖。前面的骨干部分就是Darknet-19卷積層之間穿插5個(gè)maxpool通道數(shù)逐級(jí)翻倍這部分讀起來(lái)很直觀。真正體現(xiàn)YOLOv2特色的在最后一段。13x13x1024之后不是直接接檢測(cè)頭而是先通過(guò)[route] layers-4取回前面某一層的26x26x512特征圖再用[reorg] stride2把它重排成13x13x2048然后和當(dāng)前13x13x1024拼在一起得到13x13x3072。這就是論文里的passthrough層目的是讓檢測(cè)頭能看到更細(xì)粒度的空間位置信息。拼完之后接一個(gè)3x3卷積和一個(gè)1x1卷積filters125。125這個(gè)數(shù)字怎么來(lái)的VOC有20類每個(gè)anchor要預(yù)測(cè)4個(gè)坐標(biāo)、1個(gè)objectness、20個(gè)類別概率一共25維每個(gè)格子上有5個(gè)anchor5乘以25正好是125。復(fù)現(xiàn)時(shí)如果換了自己的數(shù)據(jù)集這個(gè)數(shù)字必須同步改成num * (classes 5)。3.2 5個(gè)anchor不是拍腦袋定的cfg里有一行anchors 1.3221,1.73145, 3.19275,4.00944, 5.05587,8.09892, 9.47112,4.84053, 11.2364,10.0071一共10個(gè)數(shù)對(duì)應(yīng)5個(gè)anchor的寬高。這些數(shù)值是作者在VOC訓(xùn)練集上用k-means聚類出來(lái)的不是隨便給的。注意單位是特征圖格數(shù)而不是像素。416的輸入對(duì)應(yīng)13x13的特征圖416除以13等于32所以第一個(gè)anchor的實(shí)際像素尺寸大約是42x55。聚類時(shí)用的距離也不是歐氏距離而是d 1 - IoU(box, centroid)只看框的重疊程度與大小無(wú)關(guān)。這個(gè)細(xì)節(jié)很多人忽略但如果你要對(duì)自己的數(shù)據(jù)集重新聚類anchor公式用錯(cuò)結(jié)果會(huì)差很多。推理時(shí)坐標(biāo)也不是直接回歸的。YOLOv2里x sigmoid(tx) cxw pw * exp(tw)sigmoid確保物體中心落在自己所在格子內(nèi)exp確保寬高永遠(yuǎn)是正的。這些公式在從Darknet轉(zhuǎn)PyTorch時(shí)會(huì)原樣遇到稍不留神就會(huì)寫反。3.3 訓(xùn)練技巧藏在參數(shù)名里cfg里很多參數(shù)其實(shí)就是論文里trick的開關(guān)。random1表示訓(xùn)練時(shí)每個(gè)batch都隨機(jī)換輸入尺寸在320到608之間按32的倍數(shù)取值這就是多尺度訓(xùn)練也是YOLOv2對(duì)不同分辨率適應(yīng)能力強(qiáng)的關(guān)鍵。jitter.3是對(duì)輸入做隨機(jī)裁剪縮放。object_scale5、noobject_scale1意思是含物體的格子梯度權(quán)重是背景格子的5倍用來(lái)緩解正負(fù)樣本不平衡。batch_normalize1表示該卷積層后接BN。讀cfg時(shí)把這些參數(shù)和論文逐一對(duì)應(yīng)你對(duì)YOLOv2的理解就已經(jīng)超過(guò)大半只知道調(diào)用接口的人。這也是復(fù)現(xiàn)老模型的巨大收益結(jié)構(gòu)就攤在你面前沒有任何框架封裝可以躲。4. 從VOC數(shù)據(jù)到驗(yàn)收指標(biāo)訓(xùn)練閉環(huán)怎么走通4.1 VOC數(shù)據(jù)準(zhǔn)備的標(biāo)準(zhǔn)流程以VOC2007加VOC2012為例。先下載原始數(shù)據(jù)集然后運(yùn)行scripts/voc_label.py。這個(gè)腳本做兩件事一是把每個(gè)jpg的標(biāo)注轉(zhuǎn)成darknet格式的獨(dú)立txt文件二是生成包含所有訓(xùn)練圖片絕對(duì)路徑的匯總txt。標(biāo)簽txt的每一行格式是class x_center y_center width height全部是歸一化后的比例值取值0到1之間。新手容易搞錯(cuò)的地方就在這里它用的是中心點(diǎn)加寬高不是左上角加右下角而且必須歸一化。生成后每個(gè)jpg旁邊會(huì)有一個(gè)同名txt兩者在同級(jí)目錄。然后按自己機(jī)器的實(shí)際路徑改voc.dataclasses 20 train /data/VOCdevkit/VOC2007/voc2007_trainval.txt valid /data/VOCdevkit/VOC2007/voc2007_test.txt names data/voc.names backup backup注意backup目錄要提前mkdir backup這是個(gè)小坑權(quán)重文件沒有地方寫訓(xùn)練會(huì)在中途報(bào)錯(cuò)。4.2 訓(xùn)練命令與超參數(shù)解讀訓(xùn)練命令結(jié)構(gòu)很簡(jiǎn)潔./darknet detector train cfg/voc.data cfg/yolov2-voc.cfg darknet19_448.conv.23三個(gè)參數(shù)分別是數(shù)據(jù)集配置、網(wǎng)絡(luò)配置、預(yù)訓(xùn)練權(quán)重。如果不給第三個(gè)參數(shù)就從零開始訓(xùn)練效果會(huì)很差。學(xué)習(xí)率默認(rèn)0.001策略是steps典型設(shè)置在40000和60000輪時(shí)各縮小10倍。batch64搭配subdivisions8表示每個(gè)batch切成8個(gè)小份依次前向顯存不夠時(shí)優(yōu)先把subdivisions調(diào)大比如16或32這不會(huì)改變最終模型效果只是空間換時(shí)間的折中。訓(xùn)練日志里重點(diǎn)關(guān)注兩個(gè)指標(biāo)Region Avg IOU和Avg Recall。前者是預(yù)測(cè)anchor與真實(shí)框的平均重疊度正常訓(xùn)練會(huì)逐步上升到0.7左右后者是召回率正常會(huì)到0.8以上?？吹竭@兩個(gè)指標(biāo)在漲說(shuō)明模型真的在學(xué)loss數(shù)字本身參考價(jià)值反而沒那么大。4.3 用mAP驗(yàn)收復(fù)現(xiàn)結(jié)果訓(xùn)練完成后驗(yàn)證流程分兩步./darknet detector valid cfg/voc.data cfg/yolov2-voc.cfg backup/yolov2-voc_final.weights python scripts/voc_eval.py results/voc_2007_testvalid命令會(huì)在results目錄生成檢測(cè)結(jié)果voc_eval.py負(fù)責(zé)計(jì)算mAP。論文在VOC2007上416分辨率的mAP是76.8復(fù)現(xiàn)時(shí)因?yàn)閿?shù)據(jù)集劃分、框架版本差異拿到73到76都算正常。如果差得太多先查anchor是不是VOC版再查預(yù)訓(xùn)練權(quán)重是不是只訓(xùn)了骨干而不是把完整網(wǎng)絡(luò)也訓(xùn)練過(guò)一遍。提示分享的rar里如果直接帶backup目錄下的final權(quán)重那已經(jīng)是訓(xùn)好的最終模型下載后直接valid和test就行不需要重新訓(xùn)練。自己再訓(xùn)一遍的目的是走通整套流程或者換成你自己的數(shù)據(jù)集。5. 復(fù)現(xiàn)路上的坑與爬坑辦法實(shí)操記錄5.1 權(quán)重文件與cfg版本不匹配darknet加載權(quán)重時(shí)按cfg的層結(jié)構(gòu)逐層讀cfg里的卷積層數(shù)、filters和權(quán)重文件對(duì)不上會(huì)直接報(bào)類似Expected 3200 but got 4800的錯(cuò)誤。最常見的來(lái)源是把COCO版本訓(xùn)練的權(quán)重拿去配VOC版cfg兩者最后filters一個(gè)425一個(gè)125必然對(duì)不上。解法是嚴(yán)格按文件名區(qū)分yolov2.weights配yolov2.cfgyolov2-voc.weights配yolov2-voc.cfg。而darknet19_448.conv.23這種中間預(yù)訓(xùn)練權(quán)重只能配完整的yolov2或yolov2-voc結(jié)構(gòu)讓它配合tiny版本也會(huì)報(bào)錯(cuò)。遇到尺寸報(bào)錯(cuò)先別懷疑代碼基本就是cfg和weights不配套。5.2 loss變成nan訓(xùn)練前幾千輪loss就變nan十有八九是學(xué)習(xí)率太大或者數(shù)據(jù)集里混入了空標(biāo)簽。darknet的默認(rèn)學(xué)習(xí)率0.001對(duì)大多數(shù)情況沒問(wèn)題但如果你換了自定義數(shù)據(jù)集類別少樣本少降到0.0001試試往往就好了?？諛?biāo)簽問(wèn)題更隱蔽。voc_label.py跑完后有些圖片可能沒有對(duì)應(yīng)標(biāo)注生成的txt是0字節(jié)darknet讀到這種樣本會(huì)計(jì)算出非法值。檢查方法很簡(jiǎn)單找出labels目錄下所有0字節(jié)的txt刪掉對(duì)應(yīng)的圖片樣本。5.3 顯存溢出報(bào)Allocations failed說(shuō)明顯存不夠。優(yōu)先級(jí)最高的調(diào)整是把subdivisions從8改成16或32這一步不改變最終精度只是把一個(gè)大batch拆成更多小份。其次是batch從64降到32。還不行就把width和height從416降到320多尺度訓(xùn)練區(qū)間也會(huì)跟著變。所有這些調(diào)整都只改cfg不碰代碼。有個(gè)容易被忽略的點(diǎn)如果你在跑驗(yàn)證或訓(xùn)練的同時(shí)還開著瀏覽器和圖形界面顯存會(huì)被占去一大塊。訓(xùn)練前用nvidia-smi看一眼空閑顯存比反復(fù)調(diào)subdivisions更直接。5.4 轉(zhuǎn)PyTorch時(shí)的兩個(gè)高頻坑darknet權(quán)重文件開頭是4個(gè)int32元信息分別是版本號(hào)、累計(jì)訓(xùn)練圖片數(shù)等解析時(shí)要先跳過(guò)。每個(gè)卷積層如果有BN權(quán)重順序是BN的bias、BN的scale、BN的running mean、BN的running variance最后才是卷積核本身。順序記錯(cuò)推理結(jié)果就是一堆亂框。另外reorg層在PyTorch里沒有一一對(duì)應(yīng)的現(xiàn)成算子。網(wǎng)上流傳的space_to_depth移植版本很多但不同寫法在通道排列順序上可能不一樣。我的建議是轉(zhuǎn)換完成后拿同一張圖分別跑darknet和PyTorch把13x13x125的輸出張量拉平逐元素對(duì)比誤差在1e-4以內(nèi)才算成功。以我的實(shí)測(cè)經(jīng)驗(yàn)這一步比想象中容易翻車對(duì)拍驗(yàn)證絕不能省。最后說(shuō)點(diǎn)個(gè)人體會(huì)。我最初拿到這個(gè)rar時(shí)想的也是趕緊把權(quán)重load起來(lái)跑個(gè)demo但真正花時(shí)間把cfg逐行讀懂、把a(bǔ)nchor數(shù)值算明白之后再看其它檢測(cè)框架的思路完全不一樣。如果你也想做YOLOv2復(fù)現(xiàn)建議別急著訓(xùn)練先用valid模式把整個(gè)推理管線跑通理解輸出張量的每個(gè)維度代表什么再動(dòng)手訓(xùn)練。這條老路走通之后你會(huì)發(fā)現(xiàn)理解新模型代碼時(shí)像是多了一張地圖。本文還有配套的精品資源點(diǎn)擊獲取