實(shí)時(shí)檢測(cè)器的結(jié)構(gòu)感知參數(shù)高效微調(diào)框架)
核心問題從語(yǔ)言模型遷移而來的通用PEFT方法如LoRA在異構(gòu)的實(shí)時(shí)目標(biāo)檢測(cè)器上可能靜默失效因?yàn)闄z測(cè)器中包含卷積、注意力、文本融合、MoE路由等多種異構(gòu)算子而現(xiàn)有PEFT接口僅通過模塊名稱匹配來放置適配器缺乏對(duì)算子契約、檢測(cè)語(yǔ)義和部署兼容性的預(yù)訓(xùn)練檢查。主要貢獻(xiàn)YOLO-PEFT提出了一個(gè)結(jié)構(gòu)感知框架將適配器放置形式化為可審計(jì)的約束規(guī)劃問題在訓(xùn)練前返回經(jīng)過驗(yàn)證的放置計(jì)劃或明確的拒絕并統(tǒng)一了訓(xùn)練-保存-合并-導(dǎo)出流程。方法論框架四大步驟角色感知圖解析將檢測(cè)器解析為有向無環(huán)圖為每個(gè)模塊分配獨(dú)立的算子角色如密集卷積、分組卷積、深度可分離卷積和語(yǔ)義角色如主干、頸部、分類頭、回歸頭、DFL投影使規(guī)劃器能理解每個(gè)Conv2d的上下文含義。約束解決規(guī)劃按固定順序應(yīng)用六類硬約束算子有效性、語(yǔ)義安全、圖接口兼容性、架構(gòu)策略、預(yù)算可行性、部署兼容性和可靠性校準(zhǔn)。不滿足約束的模塊被排除并記錄原因代碼最終返回ACCEPT附計(jì)劃或REFUSE附日志。例如固定的DFL投影、MoE路由器和深度可分離卷積會(huì)被自動(dòng)排除。統(tǒng)一運(yùn)行時(shí)契約確保四個(gè)不變量——基礎(chǔ)檢查點(diǎn)加載不變、適配器僅存張量與元數(shù)據(jù)、合并恢復(fù)普通YOLO模塊、ONNX/TensorRT導(dǎo)出兼容。支持HuggingFace PEFT后端和手動(dòng)Conv2d回退后端?？蛇x訓(xùn)練策略層級(jí)學(xué)習(xí)率衰減、Alpha預(yù)熱、正交正則化、動(dòng)態(tài)丟棄用于穩(wěn)定優(yōu)化。核心實(shí)驗(yàn)結(jié)果檢測(cè)器Full-SFT (mAP50-95)規(guī)劃器選擇的最優(yōu)PEFT提升YOLO11s0.64280.7138 (LoRA/HRA)0.0710/0.0848YOLO12s0.66620.7453 (HRA)0.0791RT-DETR-L0.6833REFUSE→Full-SFT避免災(zāi)難關(guān)鍵發(fā)現(xiàn)PEFT可靠性強(qiáng)烈依賴于架構(gòu)災(zāi)難率隨注意力占比?attn?上升YOLO11n為0/10YOLO12n為6/7RT-DETR-L為7/7。結(jié)構(gòu)感知放置相比語(yǔ)言模型繼承的排名在YOLO11s和YOLO12s上分別額外提升0.0659和0.1195 mAP50-95。受控審計(jì)LoRA降低峰值VRAM 43.9%28.57GB→16.03GB但訓(xùn)練時(shí)間增加1.72倍118.2s→203.8s。主要局限性作者明確聲明架構(gòu)覆蓋有限拒絕決策僅在校準(zhǔn)覆蓋范圍內(nèi)有效未見的檢測(cè)器架構(gòu)上的拒絕仍是開放驗(yàn)證問題。非通用安全保證RT-DETR-L的拒絕規(guī)則基于7個(gè)觀察到的崩潰校準(zhǔn)不能外推至所有Transformer檢測(cè)器。診斷矩陣非多種子聚合320分辨率的熱圖診斷為種子0單次掃描僅核心基線有種子{0,28,42}重跑。MoE壓力測(cè)試未驗(yàn)證專家感知規(guī)劃僅測(cè)試PEFT與MoE檢測(cè)器共存BOFT/OFT在產(chǎn)生指標(biāo)前失敗。YOLO-PEFT是一個(gè)結(jié)構(gòu)感知、約束驅(qū)動(dòng)、可審計(jì)的檢測(cè)器PEFT框架通過圖解析與硬約束過濾取代手動(dòng)試錯(cuò)在識(shí)別架構(gòu)上顯著超越Full-SFT在風(fēng)險(xiǎn)架構(gòu)上明確拒絕但跨架構(gòu)的泛化能力仍是未來工作。這里是自己的論文閱讀記錄感興趣的話可以參考一下如果需要閱讀原文的話可以看這里如下所示項(xiàng)目地址在這里如下所示從語(yǔ)言模型遷移而來的通用參數(shù)高效微調(diào)PEFT方法在實(shí)時(shí)檢測(cè)器上可能無聲地失效因?yàn)檫@些檢測(cè)器的異構(gòu)算子和檢測(cè)特有組件帶來了傳統(tǒng)Transformer堆棧中不存在的放置約束。我們提出YOLO-PEFT一個(gè)結(jié)構(gòu)感知框架將適配器放置形式化為一個(gè)可審計(jì)的約束規(guī)劃問題。給定一個(gè)檢測(cè)器計(jì)算圖、一個(gè)PEFT請(qǐng)求和一個(gè)資源預(yù)算YOLO-PEFT會(huì)分配算子和語(yǔ)義角色評(píng)估顯式的算子有效性、檢測(cè)器語(yǔ)義、圖接口和部署謂詞為每個(gè)被排除的模塊記錄一個(gè)原因代碼并要么輸出一個(gè)符合預(yù)算的目標(biāo)模塊計(jì)劃要么在訓(xùn)練之前返回“拒絕”。在官方的VOC0712 trainval 到 VOC07 test 協(xié)議下規(guī)劃器選擇的RS-LoRA在YOLO11s和YOLO12s上分別達(dá)到0.7138和0.7307 mAP50-95而全量微調(diào)Full-SFT分別為0.6428和0.6662。在RT-DETR-L上所有七個(gè)評(píng)估的LoRA系列配置都越過了預(yù)定義的災(zāi)難性閾值支持在所評(píng)估的覆蓋范圍內(nèi)做出校準(zhǔn)后的“拒絕-轉(zhuǎn)-全量微調(diào)”決策。一項(xiàng)受控的YOLO11審計(jì)進(jìn)一步顯示LoRA將峰值訓(xùn)練內(nèi)存減少了43.9%盡管訓(xùn)練時(shí)間增加了1.72倍。在所評(píng)估的檢測(cè)器家族、放置策略和校準(zhǔn)覆蓋范圍內(nèi)YOLO-PEFT用顯式、可檢查的規(guī)劃取代了手動(dòng)選擇目標(biāo)模塊的試錯(cuò)過程同時(shí)保留了經(jīng)過驗(yàn)證的訓(xùn)練-保存-合并-導(dǎo)出路徑在未見過的檢測(cè)器架構(gòu)上的拒絕仍然是一個(gè)開放的驗(yàn)證問題。1 引言大規(guī)模部署實(shí)時(shí)檢測(cè)器需要針對(duì)新的類別詞匯表、領(lǐng)域、傳感器、延遲目標(biāo)和硬件后端進(jìn)行反復(fù)適配。本研究涵蓋了更廣泛YOLO生態(tài)系統(tǒng)中的代表性成員以及RT-DETR、YOLO-World和一個(gè)混合專家MoE檢測(cè)器[4, 17, 25, 33]。全量微調(diào)為每個(gè)部署變體復(fù)制訓(xùn)練狀態(tài)和完整的檢查點(diǎn)這使得參數(shù)高效微調(diào)PEFT成為降低適配和分發(fā)成本的一種有吸引力的方法[9, 11, 13]。面臨的挑戰(zhàn)是為基本同構(gòu)的Transformer堆棧開發(fā)的PEFT方法無法安全地遷移到異構(gòu)的檢測(cè)器計(jì)算圖現(xiàn)代檢測(cè)器交錯(cuò)使用密集卷積、分組卷積和深度可分離卷積、與損失耦合的分布焦距損失DFL投影、可變形注意力、文本-圖像融合以及MoE路由因此不加區(qū)分地插入LoRA可能導(dǎo)致優(yōu)化失敗或嚴(yán)重的mAP下降。現(xiàn)有解決方案存在四個(gè)空白。首先通用的PEFT接口通過模塊名稱或類型來選擇目標(biāo)[26]而沒有在訓(xùn)練前檢查算子契約、檢測(cè)語(yǔ)義、圖接口或放置風(fēng)險(xiǎn)。其次特定于檢測(cè)器的方法如SpotPatch、LoRA-Det和YOLO-IOD展示了選擇性適配的價(jià)值但它們的放置策略與特定的檢測(cè)器、任務(wù)或組件綁定而不是一個(gè)能跨越卷積、Transformer、多模態(tài)和MoE計(jì)算圖的通用抽象[29, 41, 47]。第三僅靠放置策略并未提供一個(gè)端到端的訓(xùn)練、僅適配器檢查點(diǎn)、合并以及ONNX/TensorRT導(dǎo)出的契約使得部署兼容性依賴于特定方法的集成。第四先前的接口沒有提供校準(zhǔn)機(jī)制來識(shí)別高風(fēng)險(xiǎn)架構(gòu)-適配器組合導(dǎo)致在可能發(fā)生靜默故障時(shí)仍然進(jìn)行訓(xùn)練。本文貢獻(xiàn)。我們提出YOLO-PEFT一個(gè)結(jié)構(gòu)感知框架通過四個(gè)步驟彌合這些差距角色感知圖解析我們將檢測(cè)器解析為一個(gè)有向無環(huán)圖DAG并為每個(gè)模塊分配獨(dú)立的算子和語(yǔ)義角色使規(guī)劃器能夠理解一個(gè)Conv2d層是位于主干、頸部、回歸頭還是固定DFL投影中。約束解決規(guī)劃我們形式化地定義了一組約束算子有效性、檢測(cè)器語(yǔ)義安全、圖接口兼容性、預(yù)算可行性和部署兼容性。規(guī)劃器要么輸出一個(gè)經(jīng)過驗(yàn)證的、符合預(yù)算的適配器放置計(jì)劃要么返回拒絕REFUSE并附帶可審計(jì)的原因日志。統(tǒng)一的運(yùn)行時(shí)契約我們實(shí)現(xiàn)了一個(gè)與YOLO兼容的運(yùn)行時(shí)環(huán)境確保訓(xùn)練、僅適配器檢查點(diǎn)、合并恢復(fù)為標(biāo)準(zhǔn)YOLO模塊以及通過ONNX/TensorRT導(dǎo)出的流程能夠正常工作從而消除了手動(dòng)圖修補(bǔ)的需要。校準(zhǔn)后的拒絕與訓(xùn)練策略我們集成了一個(gè)可靠性校準(zhǔn)模塊用于在風(fēng)險(xiǎn)過高時(shí)觸發(fā)拒絕。同時(shí)我們提供了可選的訓(xùn)練策略如層級(jí)學(xué)習(xí)率衰減、Alpha預(yù)熱、正交正則化和動(dòng)態(tài)丟棄來穩(wěn)定優(yōu)化過程。圖1. 系統(tǒng)概覽。該流程 (1) 將檢測(cè)器從受支持的、已評(píng)估的家族解析為角色感知的類型化計(jì)算圖(2) 過濾不安全的適配目標(biāo)選擇PEFT方法并通過預(yù)算感知的秩分配 ∑ici(ri)≤B 來解決適配器放置問題 ππ或在校準(zhǔn)覆蓋范圍內(nèi)返回“拒絕”并提供全量微調(diào)Full-SFT備用方案(3) 在凍結(jié)基礎(chǔ)權(quán)重 (WW0ΔW(π)) 的情況下訓(xùn)練側(cè)邊適配器并保存僅含適配器的檢查點(diǎn)及其運(yùn)行時(shí)清單(4) 可選擇將適配器合并回普通的YOLO模型并將結(jié)果模型通過ONNX/TensorRT導(dǎo)出用于邊緣、服務(wù)器或移動(dòng)端部署。2 相關(guān)工作2.1 通用參數(shù)高效微調(diào)PEFT方法最初為語(yǔ)言模型開發(fā)[13, 23]現(xiàn)已擴(kuò)展到視覺領(lǐng)域。視覺提示調(diào)優(yōu)[14]、適配器[30]、縮放與平移特征[21]以及低秩適配LoRA[13]構(gòu)成了主流范式。針對(duì)視覺TransformerViT的后續(xù)工作包括AdaptFormer[2]、Pro-Tuning[28]、SCT[48]、Conv-Adapter[1]和Convolutional Bypasses[15]它們主要關(guān)注ViT主干。VFM-Adapter[3]和VMT-Adapter[38]為密集預(yù)測(cè)任務(wù)引入了適配器而E3VA[43]指出僅憑少量可訓(xùn)練參數(shù)并不能保證低訓(xùn)練內(nèi)存或時(shí)間并為基于Swin的密集預(yù)測(cè)構(gòu)建了獨(dú)立的梯度高速通道。一篇相關(guān)的預(yù)印本使用了并行的多任務(wù)適配器用于偽裝目標(biāo)分割[39]。這些文獻(xiàn)表明適配器結(jié)構(gòu)、任務(wù)和系統(tǒng)成本都很重要但大多假設(shè)使用選定的主干和頭部而不是驗(yàn)證異構(gòu)檢測(cè)器全局的目標(biāo)計(jì)劃。2.2 視覺-語(yǔ)言與開放詞匯適配VL-Adapter為視覺-語(yǔ)言模型的參數(shù)高效適配提供了基準(zhǔn)[31]為多模態(tài)適配奠定了基礎(chǔ)。在開放詞匯檢測(cè)中SIA-OVD學(xué)習(xí)形狀特定的區(qū)域適配器及其分配以減少CLIP圖像-區(qū)域差距[35]而模塊化PEFT研究開放詞匯檢測(cè)器中特定任務(wù)的組件調(diào)優(yōu)[6]。PET-DINO[7]統(tǒng)一了Grounding DINO中的視覺線索以進(jìn)行視覺提示檢測(cè)。這些方法表明插入和分配應(yīng)反映區(qū)域或模態(tài)語(yǔ)義。但它們針對(duì)的是固定的視覺-語(yǔ)言流程而YOLO-PEFT額外考慮了卷積分組、多尺度頸部接口、與損失耦合的頭部組件、專家路由和導(dǎo)出時(shí)合并等因素。2.3 檢測(cè)器的參數(shù)高效適配已有若干研究直接適配目標(biāo)檢測(cè)器。SpotPatch為MobileNetV2-SSD-FPNLite層學(xué)習(xí)數(shù)據(jù)集特定的門控并在十個(gè)檢測(cè)任務(wù)中存儲(chǔ)選定的1-bit殘差[41]。LoRA-Det分析了一個(gè)基于Swin的旋轉(zhuǎn)檢測(cè)器的秩并手動(dòng)將LoRA與FPN、RPN和預(yù)測(cè)組件的全量調(diào)優(yōu)相結(jié)合[29]而多點(diǎn)位置插入調(diào)優(yōu)則將輕量級(jí)模塊放置在凍結(jié)的小目標(biāo)檢測(cè)器的幾個(gè)位置[8]。DA-Ada為無監(jiān)督領(lǐng)域自適應(yīng)檢測(cè)學(xué)習(xí)領(lǐng)域感知適配器[18]CUoRA針對(duì)少樣本源域自由適配[40]CoPEFT則將協(xié)作適配器與代理提示結(jié)合用于低成本協(xié)作感知適配[36]。與本文最直接相關(guān)的是YOLO-IOD通過選擇任務(wù)重要的卷積核對(duì)YOLO-World進(jìn)行分階段的PEFT以用于增量檢測(cè)[47]SF-YOLO則通過教師-學(xué)生源域自由方案適配YOLO[34]。因此先前的檢測(cè)器工作已經(jīng)研究了層、插入點(diǎn)、組件和核的選擇。然而它們并未提供一個(gè)通用的、在訓(xùn)練前檢查算子約束、檢測(cè)語(yǔ)義、圖接口以及跨異構(gòu)檢測(cè)器家族的導(dǎo)出行為的可行性檢查。2.4 異構(gòu)實(shí)時(shí)檢測(cè)器現(xiàn)代的實(shí)時(shí)檢測(cè)器混合了多種執(zhí)行范式RT-DETR增加了Transformer解碼器[25]YOLO-World增加了文本-圖像融合[4]YOLOv12引入了以注意力為中心的計(jì)算塊[33]而YOLO-Master[22]則體現(xiàn)了稀疏專家路由。它們的頭部包含與損失耦合的組件例如分布式邊界框回歸[20]。這種異構(gòu)性構(gòu)成了YOLO-PEFT的研究范圍它并不是提出另一種適配器參數(shù)化方法而是驗(yàn)證現(xiàn)有的適配器方法并將其納入一個(gè)共同的訓(xùn)練-保存-合并-導(dǎo)出契約中同時(shí)保留檢測(cè)器特定的接口。3 方法所評(píng)估的檢測(cè)器家族包含異構(gòu)算子和任務(wù)特定的密集頭部因此不能僅通過匹配模塊名稱來遷移語(yǔ)言模型的PEFT規(guī)則。YOLO-PEFT將適配器放置視為一個(gè)受限決策問題給定一個(gè)檢測(cè)器計(jì)算圖、一個(gè)PEFT請(qǐng)求和一個(gè)參數(shù)預(yù)算它返回一個(gè)結(jié)構(gòu)有效、可訓(xùn)練且可部署的計(jì)劃或者在實(shí)現(xiàn)規(guī)則和校準(zhǔn)覆蓋范圍內(nèi)沒有可行計(jì)劃時(shí)拒絕該請(qǐng)求。該流程分為四個(gè)階段解析檢測(cè)器、解決約束有效放置、將計(jì)劃落實(shí)到Y(jié)OLO運(yùn)行時(shí)、以及應(yīng)用兼容的訓(xùn)練策略。完整的偽代碼和實(shí)現(xiàn)細(xì)節(jié)在補(bǔ)充材料中提供。3.1 問題形式化與檢測(cè)器表示表1. PEFT在YOLO上的測(cè)量矩陣。WB導(dǎo)出基于官方VOC2007測(cè)試集遺留日志別名val2007基線是相同主干的Full-SFT運(yùn)行?！皉s”表示RS-LoRA縮放粗體值表示達(dá)到或超過Full-SFT。顯示的是種子0的結(jié)果在種子 {0,28,42} 上對(duì)選定的核心運(yùn)行進(jìn)行重跑樣本標(biāo)準(zhǔn)差 SD≤0.006mAP50:95 且排名不變。RT-DETR-L的拒絕行記錄了一個(gè)范圍內(nèi)的規(guī)劃器保護(hù)措施所有七個(gè)掃描的LoRA系列配置都低于 Δ?0.05因此規(guī)劃器發(fā)出REFUSE而非適配器這不是一個(gè)未見過架構(gòu)的測(cè)試。一個(gè)模塊的Python類型不足以判斷它是否是一個(gè)安全的目標(biāo)同一個(gè)Conv2d可能屬于主干塊、特征金字塔融合層、回歸頭或固定的DFL投影。因此GRAPH PARSER圖解析器為每個(gè)模塊分配兩個(gè)獨(dú)立的角色。算子角色捕獲其計(jì)算契約。密集卷積允許使用普通的低秩因子分組卷積需要組內(nèi)局部因子而深度可分離卷積不能接受混合通道的更新。歸一化、激活和未知算子被保守地處理。語(yǔ)義角色捕獲檢測(cè)器特定的含義。固定的DFL投影、幾何敏感的回歸路徑和MoE路由器被排除因?yàn)榧词顾鼈兊膹埩啃螤畋３钟行⑿〉母乱部赡芨淖冃?zhǔn)后的區(qū)間或?qū)＜曳峙洹＝巧峙浣Y(jié)合了圖位置和檢測(cè)器慣用結(jié)構(gòu)。解析器識(shí)別YOLO12的區(qū)域注意力Area-Attention塊、RT-DETR的可變形注意力模塊、YOLO-World的文本融合以及MoE路由/專家結(jié)構(gòu)。已知家族接收經(jīng)過校準(zhǔn)的角色配置文件而自定義檢測(cè)器則回退到拓?fù)鋻呙璨黄ヅ涞哪K被分配一個(gè)未知角色且不會(huì)被適配。這個(gè)默認(rèn)設(shè)置使得不受支持的結(jié)構(gòu)變得明確而不是悄然擴(kuò)大目標(biāo)集合。3.2 約束解決的放置與安全性給定角色感知的計(jì)算圖PLANNER規(guī)劃器按固定順序解決放置問題過濾算子、過濾語(yǔ)義、應(yīng)用架構(gòu)策略、分配秩然后驗(yàn)證可靠性。有效性優(yōu)先于效率因?yàn)樵诮Y(jié)構(gòu)不安全的層上優(yōu)化秩分配無法產(chǎn)生可部署的計(jì)劃。表2. 形式化約束接口。每行指定所消耗的信息、確定性接受規(guī)則、規(guī)劃器輸出以及規(guī)則失敗時(shí)返回的原因?？煽啃孕?zhǔn)僅在硬約束之后進(jìn)行評(píng)估。端到端示例YOLO12s。考慮一個(gè)在所有卷積和線性模塊上應(yīng)用秩16的RS-LoRA的請(qǐng)求。解析器首先將模型擴(kuò)展為骨干、頸部和解耦頭節(jié)點(diǎn)并附加算子/語(yǔ)義角色?；谠济Q的請(qǐng)求包括普通的 3×3 卷積、深度可分離卷積、區(qū)域注意力內(nèi)部組件、分類和回歸分支以及DFL投影。算子過濾移除缺乏通道保持適配器的深度可分離卷積主機(jī)E-DEPTHWISE-MIX語(yǔ)義過濾移除*.dfl.*和幾何敏感的回歸節(jié)點(diǎn)E-DFL-FIXED/E-HEAD-GEOMETRYYOLO12策略在所評(píng)估的配置文件下移除attn.{qkv,proj,pe}和內(nèi)部的區(qū)域注意力MLP卷積。圖接口檢查保留形狀保持的骨干/頸部主機(jī)。然后預(yù)算求解器將 r16r16 分配給幸存的密集卷積目標(biāo)直到滿足預(yù)算 BB。發(fā)出的目標(biāo)列表是那些幸存的骨干/頸部卷積的完全限定名稱并附有被排除模塊的名稱/原因映射和實(shí)際參數(shù)成本。因此最終的目標(biāo)集合是由圖角色和約束生成的而非隱藏的手動(dòng)列表更改用戶范圍 LL 或預(yù)算 BB 只會(huì)改變最終的交集和秩分配而絕不會(huì)改變強(qiáng)制性的排除項(xiàng)。預(yù)算秩分配。過濾之后規(guī)劃器通過下式分配秩3.3 YOLO兼容的運(yùn)行時(shí)與導(dǎo)出契約一個(gè)在數(shù)值上有前景的放置方案如果破壞了訓(xùn)練或?qū)С隽鞒桃彩菬o用的。因此契約Contract將每個(gè) (i,r) 實(shí)例化的同時(shí)保持四個(gè)不變量(I1) 基礎(chǔ)檢查點(diǎn)加載保持不變(I2) 適配器檢查點(diǎn)僅存儲(chǔ)適配器張量和運(yùn)行時(shí)元數(shù)據(jù)(I3) 合并后恢復(fù)為普通的YOLO模塊(I4) ONNX和TensorRT導(dǎo)出器看到的是導(dǎo)出兼容的計(jì)算圖。運(yùn)行時(shí)通過兩個(gè)后端家族暴露一個(gè)接口。HuggingFace PEFT 處理 LoRA, RS-LoRA, DoRA, LoHa, LoKr, AdaLoRA, IA3, OFT, BOFT 和 HRA。當(dāng) PEFT 不可用或被顯式繞過時(shí)一個(gè)更精簡(jiǎn)的代碼庫(kù)內(nèi)后端提供普通的卷積 LoRA。兩條路徑共享相同的已解析目標(biāo)集合和生命周期在優(yōu)化器構(gòu)建前安裝在凍結(jié)基礎(chǔ)權(quán)重的情況下訓(xùn)練保存僅適配器狀態(tài)將其加載到兼容的基礎(chǔ)檢測(cè)器上合并移除包裝器然后導(dǎo)出。在適配器未合并時(shí)禁用卷積融合因?yàn)檫^早融合會(huì)使其宿主模塊失效。3.4 訓(xùn)練策略4 實(shí)驗(yàn)4.1 實(shí)現(xiàn)細(xì)節(jié)我們遵循官方的Ultralytics VOC配置[5, 16]VOC2007 trainval (5,011) ∪ VOC2012 trainval (11,540) 構(gòu)成16,551張圖像的訓(xùn)練集官方的VOC2007測(cè)試集包含4,952張圖像。YAML鍵val解析為images/test2007WB的歷史記錄val2007字符串只是一個(gè)別名并非訓(xùn)練中使用的VOC2007驗(yàn)證目錄。年份前綴的ID交集為零補(bǔ)充表17。研究涵蓋CNN檢測(cè)器YOLOv8/YOLO11、注意力增強(qiáng)的YOLO12、文本融合的YOLO-World以及基于Transformer的RT-DETR-L。基于WB的核心s-scale運(yùn)行使用600周期上限和 640×640 輸入更廣泛的14變體 × 5架構(gòu)診斷掃描使用300周期和 320×320 輸入。所有s-scale消融均使用核心協(xié)議每次運(yùn)行的日志保留實(shí)際停止周期和批量大小。對(duì)于核心運(yùn)行Ultralytics的optimizerauto解析為SGD初始學(xué)習(xí)率0.01動(dòng)量0.9權(quán)重衰減為 5×10?4啟用余弦調(diào)度Mosaic在最后十個(gè)周期關(guān)閉。除非另有說明PEFT使用 r16α32丟棄率0.05并啟用RS-LoRA縮放。實(shí)驗(yàn)在一致的多加速器訓(xùn)練環(huán)境中使用分布式數(shù)據(jù)并行訓(xùn)練。Full-SFT、標(biāo)準(zhǔn)LoRA、Planner-LoRA、最佳PEFT和樸素放置方案在種子 {0,28,42} 上進(jìn)行了評(píng)估。它們內(nèi)部配置的最大標(biāo)準(zhǔn)差 ≤0.006mAP50:95?所有方向和排名均未改變。表1顯示了完整的種子0矩陣重跑是穩(wěn)健性檢查而非配對(duì)顯著性檢驗(yàn)。所有比較的核心方法共享相同的評(píng)估節(jié)奏、早停耐心值100和最佳檢查點(diǎn)規(guī)則因此早停不會(huì)帶來方法特定的優(yōu)勢(shì)。我們將分?jǐn)?shù)解釋為受控的相對(duì)比較而非一次性的盲測(cè)估計(jì)。4.2 架構(gòu)條件行為分析宏觀穩(wěn)定性映射。如圖3和補(bǔ)充表7所示PEFT的可靠性在五個(gè)評(píng)估的檢測(cè)器家族中與架構(gòu)強(qiáng)耦合而非遵循一個(gè)共同的排名。災(zāi)難率定義為mAP下降 Δ?0.05通常隨注意力比率 ?attn? 上升。具體來說在評(píng)估的純CNN YOLO11n配置上標(biāo)準(zhǔn)變體在十次運(yùn)行中零崩潰而YOLO12n的崩潰率為 6/7RT-DETR-L為 7/7。補(bǔ)充表8中的成對(duì)Kendall-ττ 分析同樣顯示在評(píng)估的家族中等級(jí)相關(guān)性減弱或逆轉(zhuǎn)這并非針對(duì)每個(gè)YOLO家族模型的證據(jù)。機(jī)制性失敗分析。我們觀察到現(xiàn)有假設(shè)同質(zhì)Transformer塊的PEFT接口在多個(gè)層面違反了實(shí)時(shí)檢測(cè)器的結(jié)構(gòu)約束。在多模態(tài)架構(gòu)如YOLO-World中圖像和文本分支的梯度范數(shù)可能相差數(shù)個(gè)數(shù)量級(jí)。4.3 與替代范式的比較與LM繼承排名的比較。在表3中我們將結(jié)構(gòu)感知的計(jì)劃與樸素的語(yǔ)言模型PEFT放置進(jìn)行對(duì)比。顯示的YOLO11s/YOLO12s值是種子0的核心快照在種子 {0,28,42} 上樣本標(biāo)準(zhǔn)差 ≤0.006mAP50:95? 且排名保持不變。在所評(píng)估的RT-DETR-L配置上校準(zhǔn)后的規(guī)劃器回退到Full-SFT而不是返回低于災(zāi)難閾值的適配器。與全量微調(diào)Full-SFT的比較。在中規(guī)模目標(biāo)數(shù)據(jù)集上更新所有參數(shù)可能會(huì)過度適應(yīng)預(yù)訓(xùn)練表示而凍結(jié)大部分檢測(cè)器并將更新限制在低秩子空間可以充當(dāng)隱式正則化器。在完整的VOC trainval劃分上最強(qiáng)的YOLO12s配置HRA達(dá)到 0.7453mAP50?95?而Full-SFT為 0.6662在種子0核心快照中提升了 7.9 個(gè)點(diǎn)。種子28和42在審計(jì)的SD范圍內(nèi)≤0.006保持了這一方向因此該觀察結(jié)果不被解釋為少樣本結(jié)果。MoE壓力測(cè)試。表4報(bào)告了提供的YOLO-Master-EsMoE-S WB導(dǎo)出結(jié)果。所有行均使用VOC、640x640 輸入、批量128、600周期上限、相同的分布式訓(xùn)練環(huán)境、種子0并禁用規(guī)劃器、注意力、頭部、路由器和專家目標(biāo)選擇。因此這些運(yùn)行測(cè)試的是僅限于普通合格主機(jī)的PEFT是否能與MoE檢測(cè)器共存它們并未驗(yàn)證專家感知的規(guī)劃。HRA是完成的最佳配置達(dá)到 0.7454mAP50:95而記錄的Full-SFT值為 0.6891。BOFT和OFT在產(chǎn)生指標(biāo)之前失敗而所有六個(gè)產(chǎn)生指標(biāo)的PEFT運(yùn)行均完成。這些數(shù)據(jù)擴(kuò)展了評(píng)估的架構(gòu)集合但并未擴(kuò)展數(shù)據(jù)集或種子覆蓋范圍。它們無法支持關(guān)于COCO、領(lǐng)域遷移、少樣本學(xué)習(xí)或方差的主張。它們也說明了為什么規(guī)劃器需要能力檢查兩種配置消耗了設(shè)置時(shí)間但從未進(jìn)入評(píng)估階段而已完成的方法在運(yùn)行時(shí)間上存在顯著差異。表4. 種子0的YOLO-Master-ESMoE-S壓力測(cè)試來自提供的WB導(dǎo)出。規(guī)劃器和MoE/注意力/頭部目標(biāo)選擇被禁用。失敗表示未報(bào)告評(píng)估指標(biāo)記錄的Full-SFT運(yùn)行報(bào)告了最終指標(biāo)盡管其WB狀態(tài)已崩潰。運(yùn)行時(shí)間是來自導(dǎo)出的掛鐘小時(shí)數(shù)。分解部署經(jīng)濟(jì)學(xué)。在我們受控的YOLO11審計(jì)中LoRA使用16.03 GB對(duì)比28.57 GB減少43.9%但耗時(shí)203.8秒對(duì)比118.2秒1.72倍更長(zhǎng)其他PEFT變體也更慢。此審計(jì)是本文主要的效率聲明有意排除了外部報(bào)告的存儲(chǔ)數(shù)據(jù)。RT-DETR-L的Full-SFT回退方案被排除在所有PEFT聚合之外詳細(xì)的核算范圍見補(bǔ)充部署審計(jì)。權(quán)衡的解釋。審計(jì)區(qū)分了兩個(gè)常被混淆的資源。相對(duì)于Full-SFT適配器運(yùn)行減少了12.54 GB的峰值訓(xùn)練內(nèi)存但在相同的受控配置下增加了85.6秒的訓(xùn)練時(shí)間。因此內(nèi)存減少伴隨著優(yōu)化時(shí)間的成本而非構(gòu)成一個(gè)普遍的速度提升。部署有一個(gè)獨(dú)立的選擇未合并的適配器有助于檢查點(diǎn)交換而合并模型在導(dǎo)出前移除了適配器分支恢復(fù)了基礎(chǔ)模型的算子路徑補(bǔ)充表6。因此我們分別報(bào)告VRAM、掛鐘時(shí)間以及合并/未合并行為并將 REFUSE → Full-SFT 視為適配器風(fēng)險(xiǎn)過高時(shí)的有效結(jié)果。4.4 消融研究規(guī)劃器約束的有效性。我們?cè)赮OLO12s上分離了各個(gè)規(guī)劃器組件對(duì)性能的貢獻(xiàn)。如補(bǔ)充表11詳述無約束的樸素基線達(dá)到0.6900 mAP50-95。引入算子有效性過濾以排除深度可分離卷積和歸一化層將準(zhǔn)確率提升至0.7094。結(jié)合檢測(cè)頭語(yǔ)義排除帶來了最大的穩(wěn)定性提升將性能推至0.7307 mAP這支持語(yǔ)義保護(hù)是穩(wěn)定性驅(qū)動(dòng)因素而不僅僅是工程安全措施。謂詞級(jí)診斷。表5將可應(yīng)用的約束與僅存在于規(guī)則集中的約束區(qū)分開來。在YOLO12s上開放注意力流規(guī)則接納了32個(gè)模塊并使平均適配器梯度范數(shù)提高了1.581倍開放類型化頭部規(guī)則接納了18個(gè)模塊提高了1.091倍。兩次短期運(yùn)行均未產(chǎn)生非有限梯度因此證據(jù)支持的是優(yōu)化壓力的改變而非必然的崩潰。相反深度可分離卷積謂詞在任一審計(jì)圖上均未接納額外的秩-4目標(biāo)因此在此不能歸因于訓(xùn)練效果。單個(gè)DFL投影、12個(gè)可變形采樣/注意力權(quán)重層和28個(gè)RT-DETR分?jǐn)?shù)/邊界框輸出層仍然是反事實(shí)候選它們的固定區(qū)間、采樣幾何或輸出偏置語(yǔ)義使得直接插入成為一個(gè)不同的干預(yù)措施而非普通的留一法開關(guān)。安全放置下的下游解碼器漂移。我們將一個(gè)RT-DETR-L VOC檢查點(diǎn)與激活的安全適配器狀態(tài)和適配器參數(shù)置零的同一檢查點(diǎn)進(jìn)行比較。通過支持的預(yù)測(cè)器路徑16張固定的VOC2007圖像產(chǎn)生有限的 300×6300×6 輸出。解碼器模塊中的相對(duì) ?2?2? 漂移為 0.553±0.099MSDeformAttn 中為 0.530±0.103邊界框頭中為 0.613±0.100分?jǐn)?shù)頭中為 0.127±0.033最終輸出漂移為 0.548±0.094中位數(shù)0.571P90 0.611。因此安全的上游適配會(huì)傳播到凍結(jié)的解碼器但這些16張圖像、1% 訓(xùn)練量的診斷并不能驗(yàn)證不安全的解碼器插入。圖4. 論文測(cè)量的受控YOLO11系統(tǒng)審計(jì)。相對(duì)于Full-SFTLoRA將峰值VRAM從28.57 GB降至16.03 GB43.9%但訓(xùn)練時(shí)間從118.2秒增至203.8秒1.72倍所有顯示的PEFT變體都比Full-SFT慢。表6. 受控YOLO11s和YOLO12s檢查點(diǎn)的MPS部署審計(jì)。A 部署與導(dǎo)出審計(jì)以下圖表和冒煙測(cè)試表記錄了七頁(yè)主論文中省略的受控部署審計(jì)和合并/未合并導(dǎo)出檢查。ONNX/TensorRT 驗(yàn)證協(xié)議。未合并和合并的計(jì)算圖均在 opset 18 下通過了 ONNX 檢查器驗(yàn)證支持靜態(tài)形狀 [1, 3, 640, 640] 以及動(dòng)態(tài)批次、高度和寬度軸ONNX Runtime CPU 執(zhí)行顯示相對(duì)于 PyTorch 的最大絕對(duì)誤差低于 1.24×10?3。TensorRT 引擎在 FP32 和 FP16 下構(gòu)建并執(zhí)行使用動(dòng)態(tài)優(yōu)化配置驗(yàn)證了數(shù)值一致性、內(nèi)存、吞吐量和延遲。B 回退手動(dòng) Conv2d 后端的合并等價(jià)性B.1 作為 im2col 矩陣乘法的密集卷積B.2 分組卷積和每組秩分配B.3 命題1的證明B.4 數(shù)值容差與實(shí)現(xiàn)說明上述證明涵蓋了普通的回退 Conv2d LoRA 路徑。RS-LoRA 和 PEFT 管理的變體委托給 PEFT 運(yùn)行時(shí)少樣本和自適應(yīng)回退變體需要在應(yīng)用相同的合并模式之前解析秩掩碼。合并和未合并路徑僅在操作順序上有所不同展開 批量矩陣乘法 對(duì)比 在合并權(quán)重上的單次卷積輸出在標(biāo)準(zhǔn)浮點(diǎn)容差內(nèi)被視為等價(jià)。合并正確性在包裝器移除后進(jìn)行驗(yàn)證而非之前。等價(jià)性在部署/評(píng)估模式下成立此時(shí)適配器丟棄被禁用。C 后端路由與 PEFT 管理變體C.1 后端選擇規(guī)則PEFT 后端是 LoRA、RS-LoRA、DoRA、LoHa、LoKr、AdaLoRA、IA3、OFT、BOFT 和 HRA 的默認(rèn)路由?；赝耸謩?dòng)后端有意設(shè)計(jì)得更為狹窄它僅在 PEFT 不可用、被顯式繞過或請(qǐng)求回退路徑時(shí)用于普通的 Conv2d LoRA 包裝。量化路徑委托給 PEFT 后端因?yàn)榱炕墒呛蠖颂囟ǖ?。C.2 量化與包裝必需的路徑需要包裝的訓(xùn)練狀態(tài)不被視為導(dǎo)出兼容的產(chǎn)物。如果包裝器無法合并為普通的 YOLO 模塊或由 PEFT 管理的導(dǎo)出路徑處理契約層將拒絕導(dǎo)出。C.3 導(dǎo)出策略僅當(dāng)結(jié)果模型滿足方法中聲明的運(yùn)行時(shí)不變量時(shí)才允許導(dǎo)出基礎(chǔ)檢查點(diǎn)加載不變、僅適配器檢查點(diǎn)、合并后的普通 YOLO 模塊結(jié)構(gòu)以及 ONNX/TensorRT 工具鏈的導(dǎo)出兼容模塊。PEFT 管理的適配器僅在 PEFT 合并路徑成功或契約驗(yàn)證了等效的非包裝模塊結(jié)構(gòu)后才被視為導(dǎo)出兼容。D 運(yùn)行時(shí)元數(shù)據(jù)模式D.1 JSON 字段當(dāng)前實(shí)現(xiàn)持久化運(yùn)行時(shí)元數(shù)據(jù)而非完整的加密清單。PEFT 路徑將runtime_metadata.json與 PEFT 的save_pretrained產(chǎn)物一起寫入回退路徑寫入fallback_meta.json和回退權(quán)重文件。記錄的字段包括后端、變體、凍結(jié)BN設(shè)置、頭部包含設(shè)置、目標(biāo)模塊以及后端特定的運(yùn)行時(shí)元數(shù)據(jù)。D.2 兼容性檢查在加載時(shí)YOLO-PEFT 使用此元數(shù)據(jù)來選擇 PEFT 或回退加載器并驗(yàn)證請(qǐng)求的后端和目標(biāo)配置與保存的適配器一致。完整的基礎(chǔ)檢查點(diǎn)、模型YAML、類別名稱和架構(gòu)哈希檢查是部署時(shí)的擴(kuò)展而非當(dāng)前硬性檢查要求。表S2. 圖2的數(shù)值對(duì)比。結(jié)果來自320分辨率的診斷矩陣。Full-SFT行報(bào)告基準(zhǔn) mAP0.5:0.95所有其他行報(bào)告 Δ。紅色條目為災(zāi)難性 (Δ?0.05)。對(duì)于崩潰的RT-DETR-L運(yùn)行Δ?0.600 表示用于可視化的截?cái)嗍≈?。此整個(gè)矩陣是種子0的診斷掃描它不是多種子聚合。主文中報(bào)告的種子28/42重跑是作為核心基線和選定規(guī)劃器配置的穩(wěn)健性檢查。表8. ΔmAP 排名的成對(duì) Kendalls ττ。CNN內(nèi)部對(duì)YOLOv8n vs. YOLO11n是唯一 p0.05 的對(duì)所有其他對(duì) p0.3。D.3 失敗模式元數(shù)據(jù)檢查可防止后端/路徑混淆和回退權(quán)重缺失。更強(qiáng)的圖、類別詞匯表和導(dǎo)出運(yùn)行時(shí)不匹配檢查需要前文所述的完整部署時(shí)清單擴(kuò)展。E PEFT 矩陣詳情完整的核心WB測(cè)量矩陣在主文表1中報(bào)告。為避免重復(fù)該表本附錄提供圖2的數(shù)值對(duì)應(yīng)物和成對(duì)等級(jí)一致性診斷。E.1 圖2的數(shù)值對(duì)應(yīng)物表S2報(bào)告了對(duì)應(yīng)于熱圖的緊湊 ΔmAP 視圖。它將Full-SFT基準(zhǔn)與PEFT增量分開并標(biāo)記了災(zāi)難性單元格。E.2 成對(duì)等級(jí)一致性表S3量化了補(bǔ)充縮放規(guī)律圖中可見的排名反轉(zhuǎn)模式。CNN內(nèi)部比較是唯一強(qiáng)正相關(guān)的對(duì)跨越到注意力密集、文本融合或Transformer解碼器檢測(cè)器時(shí)變體排名會(huì)減弱或逆轉(zhuǎn)。表S4. 主文架構(gòu)覆蓋討論背后的檢測(cè)器家族覆蓋范圍。CNN主干共享報(bào)告的LoRA衰減接受區(qū)間非CNN行保留主文中顯式的狀態(tài)。表10. 消融A1樸素替換與契約管理替換LoRA r16RS-LoRAYOLO11s on VOC核心600周期上限/640分辨率協(xié)議。F 完整的檢測(cè)器家族覆蓋表主文在其架構(gòu)覆蓋討論中報(bào)告了聚合的檢測(cè)器家族覆蓋率。表S4列舉了支撐該聚合的十一個(gè)主干并未添加超出報(bào)告家族狀態(tài)的每個(gè)主干測(cè)量結(jié)果。F.1 完整的檢測(cè)器家族覆蓋此處單獨(dú)列出了密切相關(guān)的CNN家族檢測(cè)器而主文將其報(bào)告為單一架構(gòu)類。所有CNN家族行共享報(bào)告的LoRA衰減接受區(qū)間。G 詳細(xì)消融研究G.1 A1. 樸素替換 vs. 契約管理替換YOLO-PEFT 中的兩個(gè)后端都使用模塊替換B2 的手動(dòng) Conv2d 后端B1 的 PEFT 管理包裝器問題是周圍的契約管理是否對(duì)部署兼容性必不可少。表S5比較了樸素基線與完整契約層。ONNX/TRT/Ckpt 表示訓(xùn)練后的模型是否可以保存、重新加載、合并和導(dǎo)出而無需手動(dòng)圖手術(shù)。G.2 A2. 規(guī)劃器組件消融表S6在YOLO12s上對(duì)規(guī)劃器的每個(gè)約束進(jìn)行了消融。該序列依次分離了算子有效性、檢測(cè)頭語(yǔ)義過濾和預(yù)算剪枝的貢獻(xiàn)。預(yù)算匹配選擇器診斷。作為一項(xiàng)獨(dú)立的工程檢查我們?cè)谙嗤闹?4適配器預(yù)算31,104個(gè)參數(shù)下比較了四種目標(biāo)選擇規(guī)則。每次運(yùn)行在相同的 2% VOC0712 子集上使用一個(gè)周期以及固定的160張圖像驗(yàn)證子集種子為0、28和42。表12報(bào)告了三次運(yùn)行的總均值和標(biāo)準(zhǔn)差。此協(xié)議檢查預(yù)算核算和可執(zhí)行目標(biāo)選擇但其短周期并非核心訓(xùn)練協(xié)議不得解釋為性能排名。表11. 消融A2YOLO12s上的規(guī)劃器約束VOCLoRA r16α32RS-LoRA啟用核心600周期上限/640分辨率協(xié)議。表12. 預(yù)算匹配的YOLO12s選擇器MPS診斷。所有行使用31,104個(gè)適配器參數(shù)由于模塊形狀不同目標(biāo)數(shù)量可能不同。數(shù)值為三個(gè)種子的均值 ± 總體標(biāo)準(zhǔn)差。表13. 消融A3YOLO12s上的秩敏感性VOC核心600周期上限/640分辨率協(xié)議?；鶞?zhǔn)Full-SFT0.6662 mAP50:959.26M總參數(shù)。參數(shù)量列包括凍結(jié)的基礎(chǔ)模型推理GFLOPs在合并后測(cè)量。表14. 消融A4規(guī)劃器選擇放置下的變體掃描r16α32RS-LoRA啟用官方VOC2007測(cè)試集核心600周期上限/640分辨率協(xié)議。四個(gè) mAP50:95 均值相差在0.0034以內(nèi)而其標(biāo)準(zhǔn)差在0.0093-0.0267之間。此外梯度 top-k 在種子0時(shí)領(lǐng)先而 backbone-only 在種子28和42時(shí)領(lǐng)先。因此該診斷未提供在此周期內(nèi)宣布普遍更優(yōu)選擇器的證據(jù)主協(xié)議比較需要更長(zhǎng)的訓(xùn)練并應(yīng)保留相同的預(yù)算和多種子控制。G.3 A3. 秩敏感性此消融測(cè)試規(guī)劃器的默認(rèn)秩是否是一個(gè)脆弱的選定值。掃描顯示隨秩增加呈單調(diào)增益同時(shí)確認(rèn) r16 是一個(gè)實(shí)用的總參數(shù)權(quán)衡點(diǎn)。G.4 A4. 固定放置下的變體掃描此消融固定規(guī)劃器放置僅改變局部的PEFT更新規(guī)則。在YOLO11s和YOLO12s上的排名變化支持了架構(gòu)條件變體選擇的主張。G.5 A5. RS-LoRA 和 DoRA 交互作用此雙因素消融檢查訓(xùn)練崩潰是由變體標(biāo)簽本身引起的還是由交互的訓(xùn)練側(cè)先驗(yàn)引起的。只有無RS-LoRA的DoRA角落越過了災(zāi)難閾值。表15. 消融A5YOLO12s上的RS-LoRA × DoRA 2×2 因子設(shè)計(jì)VOCLoRA r16α32核心600周期上限/640分辨率協(xié)議。G.6 A7. LM繼承排名 vs. 結(jié)構(gòu)感知放置此消融直接測(cè)試從語(yǔ)言模型繼承的PEFT排名是否遷移到異構(gòu)檢測(cè)器。結(jié)構(gòu)感知計(jì)劃使用相同的主干和訓(xùn)練預(yù)算但從檢測(cè)器計(jì)算圖中選擇變體和目標(biāo)。表16. 消融A7LM繼承排名與結(jié)構(gòu)感知計(jì)劃。數(shù)字來自WB在官方VOC2007測(cè)試集上的導(dǎo)出r16α32核心600周期上限/640分辨率協(xié)議。增益是相同主干上結(jié)構(gòu)感知計(jì)劃與LM繼承計(jì)劃之間的差異。崩潰計(jì)數(shù)來自獨(dú)立的300周期/320分辨率診斷矩陣并激發(fā)了范圍內(nèi)的保護(hù)措施它不是一個(gè)獨(dú)立的未見過架構(gòu)結(jié)果。H 復(fù)現(xiàn)說明實(shí)驗(yàn)使用官方的 Ultralytics VOC 映射訓(xùn)練 YAML 鍵包含images/train2007、images/val2007、images/train2012和images/val2012而兩個(gè)評(píng)估鍵均解析為images/test2007。因此歷史記錄中的 WB 字段val2007是 VOC2007 測(cè)試集評(píng)估的別名而非訓(xùn)練中包含的 VOC2007 驗(yàn)證目錄。報(bào)告的核心結(jié)果中未使用隨機(jī)或少樣本劃分。核心 WB 運(yùn)行將圖像調(diào)整為 640擴(kuò)展診斷矩陣使用 320核心 WB 運(yùn)行使用 600 周期上限而診斷矩陣使用 300 周期除非另有說明。對(duì)于核心 WB 運(yùn)行optimizer-auto解析為 SGD初始學(xué)習(xí)率 0.01動(dòng)量 0.9權(quán)重衰減為 5×10?4啟用余弦調(diào)度Mosaic 在最后十個(gè)周期關(guān)閉早停耐心值為 100。每種方法均以相同的節(jié)奏進(jìn)行評(píng)估且相同的最佳檢查點(diǎn)規(guī)則提供報(bào)告的分?jǐn)?shù)。因此早停不會(huì)帶來方法特定的選擇優(yōu)勢(shì)它是共享的官方訓(xùn)練協(xié)議的一部分。由于 VOC2007 測(cè)試集參與此通用的檢查點(diǎn)選擇協(xié)議我們使用它來支持受控的相對(duì)比較并不將絕對(duì)分?jǐn)?shù)呈現(xiàn)為一次性的盲測(cè)估計(jì)。此模型選擇問題與訓(xùn)練數(shù)據(jù)泄漏不同表17驗(yàn)證了訓(xùn)練/評(píng)估圖像ID交集為零。除非明確掃描適配器使用秩16、α32、丟棄率0.05、啟用RS-LoRA縮放并禁用DoRA的幅度分支。運(yùn)行使用一致的加速器啟用訓(xùn)練環(huán)境和固定軟件棧導(dǎo)出的WB表格包括主干、變體、秩、alpha、縮放模式、可訓(xùn)練參數(shù)、mAP、內(nèi)存和適配器大小字段。Full-SFT、標(biāo)準(zhǔn)LoRA、Planner-LoRA、最佳PEFT和樸素放置除了種子0外還有種子28和42的重跑。主文保留種子0以緊湊地呈現(xiàn)完整矩陣每次運(yùn)行的日志保留相應(yīng)的三種子記錄。所有上述s-scale規(guī)劃器、秩、變體和訓(xùn)練先驗(yàn)消融均使用核心600周期上限/640分辨率協(xié)議。秩8是未校準(zhǔn)的YOLO12請(qǐng)求的保守回退而顯式的 r∈{8,16,32} 掃描則在已識(shí)別的YOLO12配置文件上評(píng)估預(yù)算批準(zhǔn)的秩。表17. VOC劃分審計(jì)。ID直接從官方的ImageSets/Main/*.txt文件中獲取并在每個(gè)ID前加上其來源年份后進(jìn)行比對(duì)。表18. 選定核心比較的三種子穩(wěn)健性審計(jì)。統(tǒng)計(jì)量在種子 {0,28,42} 上的每個(gè)配置內(nèi)計(jì)算它是穩(wěn)健性摘要非顯著性測(cè)試。MPS部署審計(jì)存儲(chǔ)在artifacts/deployment_mps_v2/下的JSON文件中它記錄了合并和未合并的參數(shù)計(jì)數(shù)、GFLOPs、同步延遲、吞吐量、分配器遙測(cè)、ONNX opset/形狀/誤差檢查以及加速器-主機(jī)TensorRT引擎驗(yàn)證記錄。效率核算范圍。本文僅報(bào)告受控的YOLO11審計(jì)LoRA相對(duì)于Full-SFT峰值VRAM降低了 43.9%43.9%16.03 GB 對(duì)比 28.57 GB但訓(xùn)練時(shí)間長(zhǎng)了 1.72×203.8秒 對(duì)比 118.2秒。外部存儲(chǔ)、分發(fā)和外部來源的內(nèi)存估計(jì)被排除在聲明之外。 YOLO-PEFT: Parameter-Efficient Fine-Tuning on YOLO Family——面向異構(gòu)實(shí)時(shí)檢測(cè)器的結(jié)構(gòu)感知參數(shù)高效微調(diào)框架
核心問題從語(yǔ)言模型遷移而來的通用PEFT方法如LoRA在異構(gòu)的實(shí)時(shí)目標(biāo)檢測(cè)器上可能靜默失效因?yàn)闄z測(cè)器中包含卷積、注意力、文本融合、MoE路由等多種異構(gòu)算子而現(xiàn)有PEFT接口僅通過模塊名稱匹配來放置適配器缺乏對(duì)算子契約、檢測(cè)語(yǔ)義和部署兼容性的預(yù)訓(xùn)練檢查。主要貢獻(xiàn)YOLO-PEFT提出了一個(gè)結(jié)構(gòu)感知框架將適配器放置形式化為可審計(jì)的約束規(guī)劃問題在訓(xùn)練前返回經(jīng)過驗(yàn)證的放置計(jì)劃或明確的拒絕并統(tǒng)一了訓(xùn)練-保存-合并-導(dǎo)出流程。方法論框架四大步驟角色感知圖解析將檢測(cè)器解析為有向無環(huán)圖為每個(gè)模塊分配獨(dú)立的算子角色如密集卷積、分組卷積、深度可分離卷積和語(yǔ)義角色如主干、頸部、分類頭、回歸頭、DFL投影使規(guī)劃器能理解每個(gè)Conv2d的上下文含義。約束解決規(guī)劃按固定順序應(yīng)用六類硬約束算子有效性、語(yǔ)義安全、圖接口兼容性、架構(gòu)策略、預(yù)算可行性、部署兼容性和可靠性校準(zhǔn)。不滿足約束的模塊被排除并記錄原因代碼最終返回ACCEPT附計(jì)劃或REFUSE附日志。例如固定的DFL投影、MoE路由器和深度可分離卷積會(huì)被自動(dòng)排除。統(tǒng)一運(yùn)行時(shí)契約確保四個(gè)不變量——基礎(chǔ)檢查點(diǎn)加載不變、適配器僅存張量與元數(shù)據(jù)、合并恢復(fù)普通YOLO模塊、ONNX/TensorRT導(dǎo)出兼容。支持HuggingFace PEFT后端和手動(dòng)Conv2d回退后端?？蛇x訓(xùn)練策略層級(jí)學(xué)習(xí)率衰減、Alpha預(yù)熱、正交正則化、動(dòng)態(tài)丟棄用于穩(wěn)定優(yōu)化。核心實(shí)驗(yàn)結(jié)果檢測(cè)器Full-SFT (mAP50-95)規(guī)劃器選擇的最優(yōu)PEFT提升YOLO11s0.64280.7138 (LoRA/HRA)0.0710/0.0848YOLO12s0.66620.7453 (HRA)0.0791RT-DETR-L0.6833REFUSE→Full-SFT避免災(zāi)難關(guān)鍵發(fā)現(xiàn)PEFT可靠性強(qiáng)烈依賴于架構(gòu)災(zāi)難率隨注意力占比?attn?上升YOLO11n為0/10YOLO12n為6/7RT-DETR-L為7/7。結(jié)構(gòu)感知放置相比語(yǔ)言模型繼承的排名在YOLO11s和YOLO12s上分別額外提升0.0659和0.1195 mAP50-95。受控審計(jì)LoRA降低峰值VRAM 43.9%28.57GB→16.03GB但訓(xùn)練時(shí)間增加1.72倍118.2s→203.8s。主要局限性作者明確聲明架構(gòu)覆蓋有限拒絕決策僅在校準(zhǔn)覆蓋范圍內(nèi)有效未見的檢測(cè)器架構(gòu)上的拒絕仍是開放驗(yàn)證問題。非通用安全保證RT-DETR-L的拒絕規(guī)則基于7個(gè)觀察到的崩潰校準(zhǔn)不能外推至所有Transformer檢測(cè)器。診斷矩陣非多種子聚合320分辨率的熱圖診斷為種子0單次掃描僅核心基線有種子{0,28,42}重跑。MoE壓力測(cè)試未驗(yàn)證專家感知規(guī)劃僅測(cè)試PEFT與MoE檢測(cè)器共存BOFT/OFT在產(chǎn)生指標(biāo)前失敗。YOLO-PEFT是一個(gè)結(jié)構(gòu)感知、約束驅(qū)動(dòng)、可審計(jì)的檢測(cè)器PEFT框架通過圖解析與硬約束過濾取代手動(dòng)試錯(cuò)在識(shí)別架構(gòu)上顯著超越Full-SFT在風(fēng)險(xiǎn)架構(gòu)上明確拒絕但跨架構(gòu)的泛化能力仍是未來工作。這里是自己的論文閱讀記錄感興趣的話可以參考一下如果需要閱讀原文的話可以看這里如下所示項(xiàng)目地址在這里如下所示從語(yǔ)言模型遷移而來的通用參數(shù)高效微調(diào)PEFT方法在實(shí)時(shí)檢測(cè)器上可能無聲地失效因?yàn)檫@些檢測(cè)器的異構(gòu)算子和檢測(cè)特有組件帶來了傳統(tǒng)Transformer堆棧中不存在的放置約束。我們提出YOLO-PEFT一個(gè)結(jié)構(gòu)感知框架將適配器放置形式化為一個(gè)可審計(jì)的約束規(guī)劃問題。給定一個(gè)檢測(cè)器計(jì)算圖、一個(gè)PEFT請(qǐng)求和一個(gè)資源預(yù)算YOLO-PEFT會(huì)分配算子和語(yǔ)義角色評(píng)估顯式的算子有效性、檢測(cè)器語(yǔ)義、圖接口和部署謂詞為每個(gè)被排除的模塊記錄一個(gè)原因代碼并要么輸出一個(gè)符合預(yù)算的目標(biāo)模塊計(jì)劃要么在訓(xùn)練之前返回“拒絕”。在官方的VOC0712 trainval 到 VOC07 test 協(xié)議下規(guī)劃器選擇的RS-LoRA在YOLO11s和YOLO12s上分別達(dá)到0.7138和0.7307 mAP50-95而全量微調(diào)Full-SFT分別為0.6428和0.6662。在RT-DETR-L上所有七個(gè)評(píng)估的LoRA系列配置都越過了預(yù)定義的災(zāi)難性閾值支持在所評(píng)估的覆蓋范圍內(nèi)做出校準(zhǔn)后的“拒絕-轉(zhuǎn)-全量微調(diào)”決策。一項(xiàng)受控的YOLO11審計(jì)進(jìn)一步顯示LoRA將峰值訓(xùn)練內(nèi)存減少了43.9%盡管訓(xùn)練時(shí)間增加了1.72倍。在所評(píng)估的檢測(cè)器家族、放置策略和校準(zhǔn)覆蓋范圍內(nèi)YOLO-PEFT用顯式、可檢查的規(guī)劃取代了手動(dòng)選擇目標(biāo)模塊的試錯(cuò)過程同時(shí)保留了經(jīng)過驗(yàn)證的訓(xùn)練-保存-合并-導(dǎo)出路徑在未見過的檢測(cè)器架構(gòu)上的拒絕仍然是一個(gè)開放的驗(yàn)證問題。1 引言大規(guī)模部署實(shí)時(shí)檢測(cè)器需要針對(duì)新的類別詞匯表、領(lǐng)域、傳感器、延遲目標(biāo)和硬件后端進(jìn)行反復(fù)適配。本研究涵蓋了更廣泛YOLO生態(tài)系統(tǒng)中的代表性成員以及RT-DETR、YOLO-World和一個(gè)混合專家MoE檢測(cè)器[4, 17, 25, 33]。全量微調(diào)為每個(gè)部署變體復(fù)制訓(xùn)練狀態(tài)和完整的檢查點(diǎn)這使得參數(shù)高效微調(diào)PEFT成為降低適配和分發(fā)成本的一種有吸引力的方法[9, 11, 13]。面臨的挑戰(zhàn)是為基本同構(gòu)的Transformer堆棧開發(fā)的PEFT方法無法安全地遷移到異構(gòu)的檢測(cè)器計(jì)算圖現(xiàn)代檢測(cè)器交錯(cuò)使用密集卷積、分組卷積和深度可分離卷積、與損失耦合的分布焦距損失DFL投影、可變形注意力、文本-圖像融合以及MoE路由因此不加區(qū)分地插入LoRA可能導(dǎo)致優(yōu)化失敗或嚴(yán)重的mAP下降。現(xiàn)有解決方案存在四個(gè)空白。首先通用的PEFT接口通過模塊名稱或類型來選擇目標(biāo)[26]而沒有在訓(xùn)練前檢查算子契約、檢測(cè)語(yǔ)義、圖接口或放置風(fēng)險(xiǎn)。其次特定于檢測(cè)器的方法如SpotPatch、LoRA-Det和YOLO-IOD展示了選擇性適配的價(jià)值但它們的放置策略與特定的檢測(cè)器、任務(wù)或組件綁定而不是一個(gè)能跨越卷積、Transformer、多模態(tài)和MoE計(jì)算圖的通用抽象[29, 41, 47]。第三僅靠放置策略并未提供一個(gè)端到端的訓(xùn)練、僅適配器檢查點(diǎn)、合并以及ONNX/TensorRT導(dǎo)出的契約使得部署兼容性依賴于特定方法的集成。第四先前的接口沒有提供校準(zhǔn)機(jī)制來識(shí)別高風(fēng)險(xiǎn)架構(gòu)-適配器組合導(dǎo)致在可能發(fā)生靜默故障時(shí)仍然進(jìn)行訓(xùn)練。本文貢獻(xiàn)。我們提出YOLO-PEFT一個(gè)結(jié)構(gòu)感知框架通過四個(gè)步驟彌合這些差距角色感知圖解析我們將檢測(cè)器解析為一個(gè)有向無環(huán)圖DAG并為每個(gè)模塊分配獨(dú)立的算子和語(yǔ)義角色使規(guī)劃器能夠理解一個(gè)Conv2d層是位于主干、頸部、回歸頭還是固定DFL投影中。約束解決規(guī)劃我們形式化地定義了一組約束算子有效性、檢測(cè)器語(yǔ)義安全、圖接口兼容性、預(yù)算可行性和部署兼容性。規(guī)劃器要么輸出一個(gè)經(jīng)過驗(yàn)證的、符合預(yù)算的適配器放置計(jì)劃要么返回拒絕REFUSE并附帶可審計(jì)的原因日志。統(tǒng)一的運(yùn)行時(shí)契約我們實(shí)現(xiàn)了一個(gè)與YOLO兼容的運(yùn)行時(shí)環(huán)境確保訓(xùn)練、僅適配器檢查點(diǎn)、合并恢復(fù)為標(biāo)準(zhǔn)YOLO模塊以及通過ONNX/TensorRT導(dǎo)出的流程能夠正常工作從而消除了手動(dòng)圖修補(bǔ)的需要。校準(zhǔn)后的拒絕與訓(xùn)練策略我們集成了一個(gè)可靠性校準(zhǔn)模塊用于在風(fēng)險(xiǎn)過高時(shí)觸發(fā)拒絕。同時(shí)我們提供了可選的訓(xùn)練策略如層級(jí)學(xué)習(xí)率衰減、Alpha預(yù)熱、正交正則化和動(dòng)態(tài)丟棄來穩(wěn)定優(yōu)化過程。圖1. 系統(tǒng)概覽。該流程 (1) 將檢測(cè)器從受支持的、已評(píng)估的家族解析為角色感知的類型化計(jì)算圖(2) 過濾不安全的適配目標(biāo)選擇PEFT方法并通過預(yù)算感知的秩分配 ∑ici(ri)≤B 來解決適配器放置問題 ππ或在校準(zhǔn)覆蓋范圍內(nèi)返回“拒絕”并提供全量微調(diào)Full-SFT備用方案(3) 在凍結(jié)基礎(chǔ)權(quán)重 (WW0ΔW(π)) 的情況下訓(xùn)練側(cè)邊適配器并保存僅含適配器的檢查點(diǎn)及其運(yùn)行時(shí)清單(4) 可選擇將適配器合并回普通的YOLO模型并將結(jié)果模型通過ONNX/TensorRT導(dǎo)出用于邊緣、服務(wù)器或移動(dòng)端部署。2 相關(guān)工作2.1 通用參數(shù)高效微調(diào)PEFT方法最初為語(yǔ)言模型開發(fā)[13, 23]現(xiàn)已擴(kuò)展到視覺領(lǐng)域。視覺提示調(diào)優(yōu)[14]、適配器[30]、縮放與平移特征[21]以及低秩適配LoRA[13]構(gòu)成了主流范式。針對(duì)視覺TransformerViT的后續(xù)工作包括AdaptFormer[2]、Pro-Tuning[28]、SCT[48]、Conv-Adapter[1]和Convolutional Bypasses[15]它們主要關(guān)注ViT主干。VFM-Adapter[3]和VMT-Adapter[38]為密集預(yù)測(cè)任務(wù)引入了適配器而E3VA[43]指出僅憑少量可訓(xùn)練參數(shù)并不能保證低訓(xùn)練內(nèi)存或時(shí)間并為基于Swin的密集預(yù)測(cè)構(gòu)建了獨(dú)立的梯度高速通道。一篇相關(guān)的預(yù)印本使用了并行的多任務(wù)適配器用于偽裝目標(biāo)分割[39]。這些文獻(xiàn)表明適配器結(jié)構(gòu)、任務(wù)和系統(tǒng)成本都很重要但大多假設(shè)使用選定的主干和頭部而不是驗(yàn)證異構(gòu)檢測(cè)器全局的目標(biāo)計(jì)劃。2.2 視覺-語(yǔ)言與開放詞匯適配VL-Adapter為視覺-語(yǔ)言模型的參數(shù)高效適配提供了基準(zhǔn)[31]為多模態(tài)適配奠定了基礎(chǔ)。在開放詞匯檢測(cè)中SIA-OVD學(xué)習(xí)形狀特定的區(qū)域適配器及其分配以減少CLIP圖像-區(qū)域差距[35]而模塊化PEFT研究開放詞匯檢測(cè)器中特定任務(wù)的組件調(diào)優(yōu)[6]。PET-DINO[7]統(tǒng)一了Grounding DINO中的視覺線索以進(jìn)行視覺提示檢測(cè)。這些方法表明插入和分配應(yīng)反映區(qū)域或模態(tài)語(yǔ)義。但它們針對(duì)的是固定的視覺-語(yǔ)言流程而YOLO-PEFT額外考慮了卷積分組、多尺度頸部接口、與損失耦合的頭部組件、專家路由和導(dǎo)出時(shí)合并等因素。2.3 檢測(cè)器的參數(shù)高效適配已有若干研究直接適配目標(biāo)檢測(cè)器。SpotPatch為MobileNetV2-SSD-FPNLite層學(xué)習(xí)數(shù)據(jù)集特定的門控并在十個(gè)檢測(cè)任務(wù)中存儲(chǔ)選定的1-bit殘差[41]。LoRA-Det分析了一個(gè)基于Swin的旋轉(zhuǎn)檢測(cè)器的秩并手動(dòng)將LoRA與FPN、RPN和預(yù)測(cè)組件的全量調(diào)優(yōu)相結(jié)合[29]而多點(diǎn)位置插入調(diào)優(yōu)則將輕量級(jí)模塊放置在凍結(jié)的小目標(biāo)檢測(cè)器的幾個(gè)位置[8]。DA-Ada為無監(jiān)督領(lǐng)域自適應(yīng)檢測(cè)學(xué)習(xí)領(lǐng)域感知適配器[18]CUoRA針對(duì)少樣本源域自由適配[40]CoPEFT則將協(xié)作適配器與代理提示結(jié)合用于低成本協(xié)作感知適配[36]。與本文最直接相關(guān)的是YOLO-IOD通過選擇任務(wù)重要的卷積核對(duì)YOLO-World進(jìn)行分階段的PEFT以用于增量檢測(cè)[47]SF-YOLO則通過教師-學(xué)生源域自由方案適配YOLO[34]。因此先前的檢測(cè)器工作已經(jīng)研究了層、插入點(diǎn)、組件和核的選擇。然而它們并未提供一個(gè)通用的、在訓(xùn)練前檢查算子約束、檢測(cè)語(yǔ)義、圖接口以及跨異構(gòu)檢測(cè)器家族的導(dǎo)出行為的可行性檢查。2.4 異構(gòu)實(shí)時(shí)檢測(cè)器現(xiàn)代的實(shí)時(shí)檢測(cè)器混合了多種執(zhí)行范式RT-DETR增加了Transformer解碼器[25]YOLO-World增加了文本-圖像融合[4]YOLOv12引入了以注意力為中心的計(jì)算塊[33]而YOLO-Master[22]則體現(xiàn)了稀疏專家路由。它們的頭部包含與損失耦合的組件例如分布式邊界框回歸[20]。這種異構(gòu)性構(gòu)成了YOLO-PEFT的研究范圍它并不是提出另一種適配器參數(shù)化方法而是驗(yàn)證現(xiàn)有的適配器方法并將其納入一個(gè)共同的訓(xùn)練-保存-合并-導(dǎo)出契約中同時(shí)保留檢測(cè)器特定的接口。3 方法所評(píng)估的檢測(cè)器家族包含異構(gòu)算子和任務(wù)特定的密集頭部因此不能僅通過匹配模塊名稱來遷移語(yǔ)言模型的PEFT規(guī)則。YOLO-PEFT將適配器放置視為一個(gè)受限決策問題給定一個(gè)檢測(cè)器計(jì)算圖、一個(gè)PEFT請(qǐng)求和一個(gè)參數(shù)預(yù)算它返回一個(gè)結(jié)構(gòu)有效、可訓(xùn)練且可部署的計(jì)劃或者在實(shí)現(xiàn)規(guī)則和校準(zhǔn)覆蓋范圍內(nèi)沒有可行計(jì)劃時(shí)拒絕該請(qǐng)求。該流程分為四個(gè)階段解析檢測(cè)器、解決約束有效放置、將計(jì)劃落實(shí)到Y(jié)OLO運(yùn)行時(shí)、以及應(yīng)用兼容的訓(xùn)練策略。完整的偽代碼和實(shí)現(xiàn)細(xì)節(jié)在補(bǔ)充材料中提供。3.1 問題形式化與檢測(cè)器表示表1. PEFT在YOLO上的測(cè)量矩陣。WB導(dǎo)出基于官方VOC2007測(cè)試集遺留日志別名val2007基線是相同主干的Full-SFT運(yùn)行?！皉s”表示RS-LoRA縮放粗體值表示達(dá)到或超過Full-SFT。顯示的是種子0的結(jié)果在種子 {0,28,42} 上對(duì)選定的核心運(yùn)行進(jìn)行重跑樣本標(biāo)準(zhǔn)差 SD≤0.006mAP50:95 且排名不變。RT-DETR-L的拒絕行記錄了一個(gè)范圍內(nèi)的規(guī)劃器保護(hù)措施所有七個(gè)掃描的LoRA系列配置都低于 Δ?0.05因此規(guī)劃器發(fā)出REFUSE而非適配器這不是一個(gè)未見過架構(gòu)的測(cè)試。一個(gè)模塊的Python類型不足以判斷它是否是一個(gè)安全的目標(biāo)同一個(gè)Conv2d可能屬于主干塊、特征金字塔融合層、回歸頭或固定的DFL投影。因此GRAPH PARSER圖解析器為每個(gè)模塊分配兩個(gè)獨(dú)立的角色。算子角色捕獲其計(jì)算契約。密集卷積允許使用普通的低秩因子分組卷積需要組內(nèi)局部因子而深度可分離卷積不能接受混合通道的更新。歸一化、激活和未知算子被保守地處理。語(yǔ)義角色捕獲檢測(cè)器特定的含義。固定的DFL投影、幾何敏感的回歸路徑和MoE路由器被排除因?yàn)榧词顾鼈兊膹埩啃螤畋３钟行⑿〉母乱部赡芨淖冃?zhǔn)后的區(qū)間或?qū)＜曳峙洹＝巧峙浣Y(jié)合了圖位置和檢測(cè)器慣用結(jié)構(gòu)。解析器識(shí)別YOLO12的區(qū)域注意力Area-Attention塊、RT-DETR的可變形注意力模塊、YOLO-World的文本融合以及MoE路由/專家結(jié)構(gòu)。已知家族接收經(jīng)過校準(zhǔn)的角色配置文件而自定義檢測(cè)器則回退到拓?fù)鋻呙璨黄ヅ涞哪K被分配一個(gè)未知角色且不會(huì)被適配。這個(gè)默認(rèn)設(shè)置使得不受支持的結(jié)構(gòu)變得明確而不是悄然擴(kuò)大目標(biāo)集合。3.2 約束解決的放置與安全性給定角色感知的計(jì)算圖PLANNER規(guī)劃器按固定順序解決放置問題過濾算子、過濾語(yǔ)義、應(yīng)用架構(gòu)策略、分配秩然后驗(yàn)證可靠性。有效性優(yōu)先于效率因?yàn)樵诮Y(jié)構(gòu)不安全的層上優(yōu)化秩分配無法產(chǎn)生可部署的計(jì)劃。表2. 形式化約束接口。每行指定所消耗的信息、確定性接受規(guī)則、規(guī)劃器輸出以及規(guī)則失敗時(shí)返回的原因?？煽啃孕?zhǔn)僅在硬約束之后進(jìn)行評(píng)估。端到端示例YOLO12s。考慮一個(gè)在所有卷積和線性模塊上應(yīng)用秩16的RS-LoRA的請(qǐng)求。解析器首先將模型擴(kuò)展為骨干、頸部和解耦頭節(jié)點(diǎn)并附加算子/語(yǔ)義角色?；谠济Q的請(qǐng)求包括普通的 3×3 卷積、深度可分離卷積、區(qū)域注意力內(nèi)部組件、分類和回歸分支以及DFL投影。算子過濾移除缺乏通道保持適配器的深度可分離卷積主機(jī)E-DEPTHWISE-MIX語(yǔ)義過濾移除*.dfl.*和幾何敏感的回歸節(jié)點(diǎn)E-DFL-FIXED/E-HEAD-GEOMETRYYOLO12策略在所評(píng)估的配置文件下移除attn.{qkv,proj,pe}和內(nèi)部的區(qū)域注意力MLP卷積。圖接口檢查保留形狀保持的骨干/頸部主機(jī)。然后預(yù)算求解器將 r16r16 分配給幸存的密集卷積目標(biāo)直到滿足預(yù)算 BB。發(fā)出的目標(biāo)列表是那些幸存的骨干/頸部卷積的完全限定名稱并附有被排除模塊的名稱/原因映射和實(shí)際參數(shù)成本。因此最終的目標(biāo)集合是由圖角色和約束生成的而非隱藏的手動(dòng)列表更改用戶范圍 LL 或預(yù)算 BB 只會(huì)改變最終的交集和秩分配而絕不會(huì)改變強(qiáng)制性的排除項(xiàng)。預(yù)算秩分配。過濾之后規(guī)劃器通過下式分配秩3.3 YOLO兼容的運(yùn)行時(shí)與導(dǎo)出契約一個(gè)在數(shù)值上有前景的放置方案如果破壞了訓(xùn)練或?qū)С隽鞒桃彩菬o用的。因此契約Contract將每個(gè) (i,r) 實(shí)例化的同時(shí)保持四個(gè)不變量(I1) 基礎(chǔ)檢查點(diǎn)加載保持不變(I2) 適配器檢查點(diǎn)僅存儲(chǔ)適配器張量和運(yùn)行時(shí)元數(shù)據(jù)(I3) 合并后恢復(fù)為普通的YOLO模塊(I4) ONNX和TensorRT導(dǎo)出器看到的是導(dǎo)出兼容的計(jì)算圖。運(yùn)行時(shí)通過兩個(gè)后端家族暴露一個(gè)接口。HuggingFace PEFT 處理 LoRA, RS-LoRA, DoRA, LoHa, LoKr, AdaLoRA, IA3, OFT, BOFT 和 HRA。當(dāng) PEFT 不可用或被顯式繞過時(shí)一個(gè)更精簡(jiǎn)的代碼庫(kù)內(nèi)后端提供普通的卷積 LoRA。兩條路徑共享相同的已解析目標(biāo)集合和生命周期在優(yōu)化器構(gòu)建前安裝在凍結(jié)基礎(chǔ)權(quán)重的情況下訓(xùn)練保存僅適配器狀態(tài)將其加載到兼容的基礎(chǔ)檢測(cè)器上合并移除包裝器然后導(dǎo)出。在適配器未合并時(shí)禁用卷積融合因?yàn)檫^早融合會(huì)使其宿主模塊失效。3.4 訓(xùn)練策略4 實(shí)驗(yàn)4.1 實(shí)現(xiàn)細(xì)節(jié)我們遵循官方的Ultralytics VOC配置[5, 16]VOC2007 trainval (5,011) ∪ VOC2012 trainval (11,540) 構(gòu)成16,551張圖像的訓(xùn)練集官方的VOC2007測(cè)試集包含4,952張圖像。YAML鍵val解析為images/test2007WB的歷史記錄val2007字符串只是一個(gè)別名并非訓(xùn)練中使用的VOC2007驗(yàn)證目錄。年份前綴的ID交集為零補(bǔ)充表17。研究涵蓋CNN檢測(cè)器YOLOv8/YOLO11、注意力增強(qiáng)的YOLO12、文本融合的YOLO-World以及基于Transformer的RT-DETR-L。基于WB的核心s-scale運(yùn)行使用600周期上限和 640×640 輸入更廣泛的14變體 × 5架構(gòu)診斷掃描使用300周期和 320×320 輸入。所有s-scale消融均使用核心協(xié)議每次運(yùn)行的日志保留實(shí)際停止周期和批量大小。對(duì)于核心運(yùn)行Ultralytics的optimizerauto解析為SGD初始學(xué)習(xí)率0.01動(dòng)量0.9權(quán)重衰減為 5×10?4啟用余弦調(diào)度Mosaic在最后十個(gè)周期關(guān)閉。除非另有說明PEFT使用 r16α32丟棄率0.05并啟用RS-LoRA縮放。實(shí)驗(yàn)在一致的多加速器訓(xùn)練環(huán)境中使用分布式數(shù)據(jù)并行訓(xùn)練。Full-SFT、標(biāo)準(zhǔn)LoRA、Planner-LoRA、最佳PEFT和樸素放置方案在種子 {0,28,42} 上進(jìn)行了評(píng)估。它們內(nèi)部配置的最大標(biāo)準(zhǔn)差 ≤0.006mAP50:95?所有方向和排名均未改變。表1顯示了完整的種子0矩陣重跑是穩(wěn)健性檢查而非配對(duì)顯著性檢驗(yàn)。所有比較的核心方法共享相同的評(píng)估節(jié)奏、早停耐心值100和最佳檢查點(diǎn)規(guī)則因此早停不會(huì)帶來方法特定的優(yōu)勢(shì)。我們將分?jǐn)?shù)解釋為受控的相對(duì)比較而非一次性的盲測(cè)估計(jì)。4.2 架構(gòu)條件行為分析宏觀穩(wěn)定性映射。如圖3和補(bǔ)充表7所示PEFT的可靠性在五個(gè)評(píng)估的檢測(cè)器家族中與架構(gòu)強(qiáng)耦合而非遵循一個(gè)共同的排名。災(zāi)難率定義為mAP下降 Δ?0.05通常隨注意力比率 ?attn? 上升。具體來說在評(píng)估的純CNN YOLO11n配置上標(biāo)準(zhǔn)變體在十次運(yùn)行中零崩潰而YOLO12n的崩潰率為 6/7RT-DETR-L為 7/7。補(bǔ)充表8中的成對(duì)Kendall-ττ 分析同樣顯示在評(píng)估的家族中等級(jí)相關(guān)性減弱或逆轉(zhuǎn)這并非針對(duì)每個(gè)YOLO家族模型的證據(jù)。機(jī)制性失敗分析。我們觀察到現(xiàn)有假設(shè)同質(zhì)Transformer塊的PEFT接口在多個(gè)層面違反了實(shí)時(shí)檢測(cè)器的結(jié)構(gòu)約束。在多模態(tài)架構(gòu)如YOLO-World中圖像和文本分支的梯度范數(shù)可能相差數(shù)個(gè)數(shù)量級(jí)。4.3 與替代范式的比較與LM繼承排名的比較。在表3中我們將結(jié)構(gòu)感知的計(jì)劃與樸素的語(yǔ)言模型PEFT放置進(jìn)行對(duì)比。顯示的YOLO11s/YOLO12s值是種子0的核心快照在種子 {0,28,42} 上樣本標(biāo)準(zhǔn)差 ≤0.006mAP50:95? 且排名保持不變。在所評(píng)估的RT-DETR-L配置上校準(zhǔn)后的規(guī)劃器回退到Full-SFT而不是返回低于災(zāi)難閾值的適配器。與全量微調(diào)Full-SFT的比較。在中規(guī)模目標(biāo)數(shù)據(jù)集上更新所有參數(shù)可能會(huì)過度適應(yīng)預(yù)訓(xùn)練表示而凍結(jié)大部分檢測(cè)器并將更新限制在低秩子空間可以充當(dāng)隱式正則化器。在完整的VOC trainval劃分上最強(qiáng)的YOLO12s配置HRA達(dá)到 0.7453mAP50?95?而Full-SFT為 0.6662在種子0核心快照中提升了 7.9 個(gè)點(diǎn)。種子28和42在審計(jì)的SD范圍內(nèi)≤0.006保持了這一方向因此該觀察結(jié)果不被解釋為少樣本結(jié)果。MoE壓力測(cè)試。表4報(bào)告了提供的YOLO-Master-EsMoE-S WB導(dǎo)出結(jié)果。所有行均使用VOC、640x640 輸入、批量128、600周期上限、相同的分布式訓(xùn)練環(huán)境、種子0并禁用規(guī)劃器、注意力、頭部、路由器和專家目標(biāo)選擇。因此這些運(yùn)行測(cè)試的是僅限于普通合格主機(jī)的PEFT是否能與MoE檢測(cè)器共存它們并未驗(yàn)證專家感知的規(guī)劃。HRA是完成的最佳配置達(dá)到 0.7454mAP50:95而記錄的Full-SFT值為 0.6891。BOFT和OFT在產(chǎn)生指標(biāo)之前失敗而所有六個(gè)產(chǎn)生指標(biāo)的PEFT運(yùn)行均完成。這些數(shù)據(jù)擴(kuò)展了評(píng)估的架構(gòu)集合但并未擴(kuò)展數(shù)據(jù)集或種子覆蓋范圍。它們無法支持關(guān)于COCO、領(lǐng)域遷移、少樣本學(xué)習(xí)或方差的主張。它們也說明了為什么規(guī)劃器需要能力檢查兩種配置消耗了設(shè)置時(shí)間但從未進(jìn)入評(píng)估階段而已完成的方法在運(yùn)行時(shí)間上存在顯著差異。表4. 種子0的YOLO-Master-ESMoE-S壓力測(cè)試來自提供的WB導(dǎo)出。規(guī)劃器和MoE/注意力/頭部目標(biāo)選擇被禁用。失敗表示未報(bào)告評(píng)估指標(biāo)記錄的Full-SFT運(yùn)行報(bào)告了最終指標(biāo)盡管其WB狀態(tài)已崩潰。運(yùn)行時(shí)間是來自導(dǎo)出的掛鐘小時(shí)數(shù)。分解部署經(jīng)濟(jì)學(xué)。在我們受控的YOLO11審計(jì)中LoRA使用16.03 GB對(duì)比28.57 GB減少43.9%但耗時(shí)203.8秒對(duì)比118.2秒1.72倍更長(zhǎng)其他PEFT變體也更慢。此審計(jì)是本文主要的效率聲明有意排除了外部報(bào)告的存儲(chǔ)數(shù)據(jù)。RT-DETR-L的Full-SFT回退方案被排除在所有PEFT聚合之外詳細(xì)的核算范圍見補(bǔ)充部署審計(jì)。權(quán)衡的解釋。審計(jì)區(qū)分了兩個(gè)常被混淆的資源。相對(duì)于Full-SFT適配器運(yùn)行減少了12.54 GB的峰值訓(xùn)練內(nèi)存但在相同的受控配置下增加了85.6秒的訓(xùn)練時(shí)間。因此內(nèi)存減少伴隨著優(yōu)化時(shí)間的成本而非構(gòu)成一個(gè)普遍的速度提升。部署有一個(gè)獨(dú)立的選擇未合并的適配器有助于檢查點(diǎn)交換而合并模型在導(dǎo)出前移除了適配器分支恢復(fù)了基礎(chǔ)模型的算子路徑補(bǔ)充表6。因此我們分別報(bào)告VRAM、掛鐘時(shí)間以及合并/未合并行為并將 REFUSE → Full-SFT 視為適配器風(fēng)險(xiǎn)過高時(shí)的有效結(jié)果。4.4 消融研究規(guī)劃器約束的有效性。我們?cè)赮OLO12s上分離了各個(gè)規(guī)劃器組件對(duì)性能的貢獻(xiàn)。如補(bǔ)充表11詳述無約束的樸素基線達(dá)到0.6900 mAP50-95。引入算子有效性過濾以排除深度可分離卷積和歸一化層將準(zhǔn)確率提升至0.7094。結(jié)合檢測(cè)頭語(yǔ)義排除帶來了最大的穩(wěn)定性提升將性能推至0.7307 mAP這支持語(yǔ)義保護(hù)是穩(wěn)定性驅(qū)動(dòng)因素而不僅僅是工程安全措施。謂詞級(jí)診斷。表5將可應(yīng)用的約束與僅存在于規(guī)則集中的約束區(qū)分開來。在YOLO12s上開放注意力流規(guī)則接納了32個(gè)模塊并使平均適配器梯度范數(shù)提高了1.581倍開放類型化頭部規(guī)則接納了18個(gè)模塊提高了1.091倍。兩次短期運(yùn)行均未產(chǎn)生非有限梯度因此證據(jù)支持的是優(yōu)化壓力的改變而非必然的崩潰。相反深度可分離卷積謂詞在任一審計(jì)圖上均未接納額外的秩-4目標(biāo)因此在此不能歸因于訓(xùn)練效果。單個(gè)DFL投影、12個(gè)可變形采樣/注意力權(quán)重層和28個(gè)RT-DETR分?jǐn)?shù)/邊界框輸出層仍然是反事實(shí)候選它們的固定區(qū)間、采樣幾何或輸出偏置語(yǔ)義使得直接插入成為一個(gè)不同的干預(yù)措施而非普通的留一法開關(guān)。安全放置下的下游解碼器漂移。我們將一個(gè)RT-DETR-L VOC檢查點(diǎn)與激活的安全適配器狀態(tài)和適配器參數(shù)置零的同一檢查點(diǎn)進(jìn)行比較。通過支持的預(yù)測(cè)器路徑16張固定的VOC2007圖像產(chǎn)生有限的 300×6300×6 輸出。解碼器模塊中的相對(duì) ?2?2? 漂移為 0.553±0.099MSDeformAttn 中為 0.530±0.103邊界框頭中為 0.613±0.100分?jǐn)?shù)頭中為 0.127±0.033最終輸出漂移為 0.548±0.094中位數(shù)0.571P90 0.611。因此安全的上游適配會(huì)傳播到凍結(jié)的解碼器但這些16張圖像、1% 訓(xùn)練量的診斷并不能驗(yàn)證不安全的解碼器插入。圖4. 論文測(cè)量的受控YOLO11系統(tǒng)審計(jì)。相對(duì)于Full-SFTLoRA將峰值VRAM從28.57 GB降至16.03 GB43.9%但訓(xùn)練時(shí)間從118.2秒增至203.8秒1.72倍所有顯示的PEFT變體都比Full-SFT慢。表6. 受控YOLO11s和YOLO12s檢查點(diǎn)的MPS部署審計(jì)。A 部署與導(dǎo)出審計(jì)以下圖表和冒煙測(cè)試表記錄了七頁(yè)主論文中省略的受控部署審計(jì)和合并/未合并導(dǎo)出檢查。ONNX/TensorRT 驗(yàn)證協(xié)議。未合并和合并的計(jì)算圖均在 opset 18 下通過了 ONNX 檢查器驗(yàn)證支持靜態(tài)形狀 [1, 3, 640, 640] 以及動(dòng)態(tài)批次、高度和寬度軸ONNX Runtime CPU 執(zhí)行顯示相對(duì)于 PyTorch 的最大絕對(duì)誤差低于 1.24×10?3。TensorRT 引擎在 FP32 和 FP16 下構(gòu)建并執(zhí)行使用動(dòng)態(tài)優(yōu)化配置驗(yàn)證了數(shù)值一致性、內(nèi)存、吞吐量和延遲。B 回退手動(dòng) Conv2d 后端的合并等價(jià)性B.1 作為 im2col 矩陣乘法的密集卷積B.2 分組卷積和每組秩分配B.3 命題1的證明B.4 數(shù)值容差與實(shí)現(xiàn)說明上述證明涵蓋了普通的回退 Conv2d LoRA 路徑。RS-LoRA 和 PEFT 管理的變體委托給 PEFT 運(yùn)行時(shí)少樣本和自適應(yīng)回退變體需要在應(yīng)用相同的合并模式之前解析秩掩碼。合并和未合并路徑僅在操作順序上有所不同展開 批量矩陣乘法 對(duì)比 在合并權(quán)重上的單次卷積輸出在標(biāo)準(zhǔn)浮點(diǎn)容差內(nèi)被視為等價(jià)。合并正確性在包裝器移除后進(jìn)行驗(yàn)證而非之前。等價(jià)性在部署/評(píng)估模式下成立此時(shí)適配器丟棄被禁用。C 后端路由與 PEFT 管理變體C.1 后端選擇規(guī)則PEFT 后端是 LoRA、RS-LoRA、DoRA、LoHa、LoKr、AdaLoRA、IA3、OFT、BOFT 和 HRA 的默認(rèn)路由?；赝耸謩?dòng)后端有意設(shè)計(jì)得更為狹窄它僅在 PEFT 不可用、被顯式繞過或請(qǐng)求回退路徑時(shí)用于普通的 Conv2d LoRA 包裝。量化路徑委托給 PEFT 后端因?yàn)榱炕墒呛蠖颂囟ǖ?。C.2 量化與包裝必需的路徑需要包裝的訓(xùn)練狀態(tài)不被視為導(dǎo)出兼容的產(chǎn)物。如果包裝器無法合并為普通的 YOLO 模塊或由 PEFT 管理的導(dǎo)出路徑處理契約層將拒絕導(dǎo)出。C.3 導(dǎo)出策略僅當(dāng)結(jié)果模型滿足方法中聲明的運(yùn)行時(shí)不變量時(shí)才允許導(dǎo)出基礎(chǔ)檢查點(diǎn)加載不變、僅適配器檢查點(diǎn)、合并后的普通 YOLO 模塊結(jié)構(gòu)以及 ONNX/TensorRT 工具鏈的導(dǎo)出兼容模塊。PEFT 管理的適配器僅在 PEFT 合并路徑成功或契約驗(yàn)證了等效的非包裝模塊結(jié)構(gòu)后才被視為導(dǎo)出兼容。D 運(yùn)行時(shí)元數(shù)據(jù)模式D.1 JSON 字段當(dāng)前實(shí)現(xiàn)持久化運(yùn)行時(shí)元數(shù)據(jù)而非完整的加密清單。PEFT 路徑將runtime_metadata.json與 PEFT 的save_pretrained產(chǎn)物一起寫入回退路徑寫入fallback_meta.json和回退權(quán)重文件。記錄的字段包括后端、變體、凍結(jié)BN設(shè)置、頭部包含設(shè)置、目標(biāo)模塊以及后端特定的運(yùn)行時(shí)元數(shù)據(jù)。D.2 兼容性檢查在加載時(shí)YOLO-PEFT 使用此元數(shù)據(jù)來選擇 PEFT 或回退加載器并驗(yàn)證請(qǐng)求的后端和目標(biāo)配置與保存的適配器一致。完整的基礎(chǔ)檢查點(diǎn)、模型YAML、類別名稱和架構(gòu)哈希檢查是部署時(shí)的擴(kuò)展而非當(dāng)前硬性檢查要求。表S2. 圖2的數(shù)值對(duì)比。結(jié)果來自320分辨率的診斷矩陣。Full-SFT行報(bào)告基準(zhǔn) mAP0.5:0.95所有其他行報(bào)告 Δ。紅色條目為災(zāi)難性 (Δ?0.05)。對(duì)于崩潰的RT-DETR-L運(yùn)行Δ?0.600 表示用于可視化的截?cái)嗍≈?。此整個(gè)矩陣是種子0的診斷掃描它不是多種子聚合。主文中報(bào)告的種子28/42重跑是作為核心基線和選定規(guī)劃器配置的穩(wěn)健性檢查。表8. ΔmAP 排名的成對(duì) Kendalls ττ。CNN內(nèi)部對(duì)YOLOv8n vs. YOLO11n是唯一 p0.05 的對(duì)所有其他對(duì) p0.3。D.3 失敗模式元數(shù)據(jù)檢查可防止后端/路徑混淆和回退權(quán)重缺失。更強(qiáng)的圖、類別詞匯表和導(dǎo)出運(yùn)行時(shí)不匹配檢查需要前文所述的完整部署時(shí)清單擴(kuò)展。E PEFT 矩陣詳情完整的核心WB測(cè)量矩陣在主文表1中報(bào)告。為避免重復(fù)該表本附錄提供圖2的數(shù)值對(duì)應(yīng)物和成對(duì)等級(jí)一致性診斷。E.1 圖2的數(shù)值對(duì)應(yīng)物表S2報(bào)告了對(duì)應(yīng)于熱圖的緊湊 ΔmAP 視圖。它將Full-SFT基準(zhǔn)與PEFT增量分開并標(biāo)記了災(zāi)難性單元格。E.2 成對(duì)等級(jí)一致性表S3量化了補(bǔ)充縮放規(guī)律圖中可見的排名反轉(zhuǎn)模式。CNN內(nèi)部比較是唯一強(qiáng)正相關(guān)的對(duì)跨越到注意力密集、文本融合或Transformer解碼器檢測(cè)器時(shí)變體排名會(huì)減弱或逆轉(zhuǎn)。表S4. 主文架構(gòu)覆蓋討論背后的檢測(cè)器家族覆蓋范圍。CNN主干共享報(bào)告的LoRA衰減接受區(qū)間非CNN行保留主文中顯式的狀態(tài)。表10. 消融A1樸素替換與契約管理替換LoRA r16RS-LoRAYOLO11s on VOC核心600周期上限/640分辨率協(xié)議。F 完整的檢測(cè)器家族覆蓋表主文在其架構(gòu)覆蓋討論中報(bào)告了聚合的檢測(cè)器家族覆蓋率。表S4列舉了支撐該聚合的十一個(gè)主干并未添加超出報(bào)告家族狀態(tài)的每個(gè)主干測(cè)量結(jié)果。F.1 完整的檢測(cè)器家族覆蓋此處單獨(dú)列出了密切相關(guān)的CNN家族檢測(cè)器而主文將其報(bào)告為單一架構(gòu)類。所有CNN家族行共享報(bào)告的LoRA衰減接受區(qū)間。G 詳細(xì)消融研究G.1 A1. 樸素替換 vs. 契約管理替換YOLO-PEFT 中的兩個(gè)后端都使用模塊替換B2 的手動(dòng) Conv2d 后端B1 的 PEFT 管理包裝器問題是周圍的契約管理是否對(duì)部署兼容性必不可少。表S5比較了樸素基線與完整契約層。ONNX/TRT/Ckpt 表示訓(xùn)練后的模型是否可以保存、重新加載、合并和導(dǎo)出而無需手動(dòng)圖手術(shù)。G.2 A2. 規(guī)劃器組件消融表S6在YOLO12s上對(duì)規(guī)劃器的每個(gè)約束進(jìn)行了消融。該序列依次分離了算子有效性、檢測(cè)頭語(yǔ)義過濾和預(yù)算剪枝的貢獻(xiàn)。預(yù)算匹配選擇器診斷。作為一項(xiàng)獨(dú)立的工程檢查我們?cè)谙嗤闹?4適配器預(yù)算31,104個(gè)參數(shù)下比較了四種目標(biāo)選擇規(guī)則。每次運(yùn)行在相同的 2% VOC0712 子集上使用一個(gè)周期以及固定的160張圖像驗(yàn)證子集種子為0、28和42。表12報(bào)告了三次運(yùn)行的總均值和標(biāo)準(zhǔn)差。此協(xié)議檢查預(yù)算核算和可執(zhí)行目標(biāo)選擇但其短周期并非核心訓(xùn)練協(xié)議不得解釋為性能排名。表11. 消融A2YOLO12s上的規(guī)劃器約束VOCLoRA r16α32RS-LoRA啟用核心600周期上限/640分辨率協(xié)議。表12. 預(yù)算匹配的YOLO12s選擇器MPS診斷。所有行使用31,104個(gè)適配器參數(shù)由于模塊形狀不同目標(biāo)數(shù)量可能不同。數(shù)值為三個(gè)種子的均值 ± 總體標(biāo)準(zhǔn)差。表13. 消融A3YOLO12s上的秩敏感性VOC核心600周期上限/640分辨率協(xié)議?；鶞?zhǔn)Full-SFT0.6662 mAP50:959.26M總參數(shù)。參數(shù)量列包括凍結(jié)的基礎(chǔ)模型推理GFLOPs在合并后測(cè)量。表14. 消融A4規(guī)劃器選擇放置下的變體掃描r16α32RS-LoRA啟用官方VOC2007測(cè)試集核心600周期上限/640分辨率協(xié)議。四個(gè) mAP50:95 均值相差在0.0034以內(nèi)而其標(biāo)準(zhǔn)差在0.0093-0.0267之間。此外梯度 top-k 在種子0時(shí)領(lǐng)先而 backbone-only 在種子28和42時(shí)領(lǐng)先。因此該診斷未提供在此周期內(nèi)宣布普遍更優(yōu)選擇器的證據(jù)主協(xié)議比較需要更長(zhǎng)的訓(xùn)練并應(yīng)保留相同的預(yù)算和多種子控制。G.3 A3. 秩敏感性此消融測(cè)試規(guī)劃器的默認(rèn)秩是否是一個(gè)脆弱的選定值。掃描顯示隨秩增加呈單調(diào)增益同時(shí)確認(rèn) r16 是一個(gè)實(shí)用的總參數(shù)權(quán)衡點(diǎn)。G.4 A4. 固定放置下的變體掃描此消融固定規(guī)劃器放置僅改變局部的PEFT更新規(guī)則。在YOLO11s和YOLO12s上的排名變化支持了架構(gòu)條件變體選擇的主張。G.5 A5. RS-LoRA 和 DoRA 交互作用此雙因素消融檢查訓(xùn)練崩潰是由變體標(biāo)簽本身引起的還是由交互的訓(xùn)練側(cè)先驗(yàn)引起的。只有無RS-LoRA的DoRA角落越過了災(zāi)難閾值。表15. 消融A5YOLO12s上的RS-LoRA × DoRA 2×2 因子設(shè)計(jì)VOCLoRA r16α32核心600周期上限/640分辨率協(xié)議。G.6 A7. LM繼承排名 vs. 結(jié)構(gòu)感知放置此消融直接測(cè)試從語(yǔ)言模型繼承的PEFT排名是否遷移到異構(gòu)檢測(cè)器。結(jié)構(gòu)感知計(jì)劃使用相同的主干和訓(xùn)練預(yù)算但從檢測(cè)器計(jì)算圖中選擇變體和目標(biāo)。表16. 消融A7LM繼承排名與結(jié)構(gòu)感知計(jì)劃。數(shù)字來自WB在官方VOC2007測(cè)試集上的導(dǎo)出r16α32核心600周期上限/640分辨率協(xié)議。增益是相同主干上結(jié)構(gòu)感知計(jì)劃與LM繼承計(jì)劃之間的差異。崩潰計(jì)數(shù)來自獨(dú)立的300周期/320分辨率診斷矩陣并激發(fā)了范圍內(nèi)的保護(hù)措施它不是一個(gè)獨(dú)立的未見過架構(gòu)結(jié)果。H 復(fù)現(xiàn)說明實(shí)驗(yàn)使用官方的 Ultralytics VOC 映射訓(xùn)練 YAML 鍵包含images/train2007、images/val2007、images/train2012和images/val2012而兩個(gè)評(píng)估鍵均解析為images/test2007。因此歷史記錄中的 WB 字段val2007是 VOC2007 測(cè)試集評(píng)估的別名而非訓(xùn)練中包含的 VOC2007 驗(yàn)證目錄。報(bào)告的核心結(jié)果中未使用隨機(jī)或少樣本劃分。核心 WB 運(yùn)行將圖像調(diào)整為 640擴(kuò)展診斷矩陣使用 320核心 WB 運(yùn)行使用 600 周期上限而診斷矩陣使用 300 周期除非另有說明。對(duì)于核心 WB 運(yùn)行optimizer-auto解析為 SGD初始學(xué)習(xí)率 0.01動(dòng)量 0.9權(quán)重衰減為 5×10?4啟用余弦調(diào)度Mosaic 在最后十個(gè)周期關(guān)閉早停耐心值為 100。每種方法均以相同的節(jié)奏進(jìn)行評(píng)估且相同的最佳檢查點(diǎn)規(guī)則提供報(bào)告的分?jǐn)?shù)。因此早停不會(huì)帶來方法特定的選擇優(yōu)勢(shì)它是共享的官方訓(xùn)練協(xié)議的一部分。由于 VOC2007 測(cè)試集參與此通用的檢查點(diǎn)選擇協(xié)議我們使用它來支持受控的相對(duì)比較并不將絕對(duì)分?jǐn)?shù)呈現(xiàn)為一次性的盲測(cè)估計(jì)。此模型選擇問題與訓(xùn)練數(shù)據(jù)泄漏不同表17驗(yàn)證了訓(xùn)練/評(píng)估圖像ID交集為零。除非明確掃描適配器使用秩16、α32、丟棄率0.05、啟用RS-LoRA縮放并禁用DoRA的幅度分支。運(yùn)行使用一致的加速器啟用訓(xùn)練環(huán)境和固定軟件棧導(dǎo)出的WB表格包括主干、變體、秩、alpha、縮放模式、可訓(xùn)練參數(shù)、mAP、內(nèi)存和適配器大小字段。Full-SFT、標(biāo)準(zhǔn)LoRA、Planner-LoRA、最佳PEFT和樸素放置除了種子0外還有種子28和42的重跑。主文保留種子0以緊湊地呈現(xiàn)完整矩陣每次運(yùn)行的日志保留相應(yīng)的三種子記錄。所有上述s-scale規(guī)劃器、秩、變體和訓(xùn)練先驗(yàn)消融均使用核心600周期上限/640分辨率協(xié)議。秩8是未校準(zhǔn)的YOLO12請(qǐng)求的保守回退而顯式的 r∈{8,16,32} 掃描則在已識(shí)別的YOLO12配置文件上評(píng)估預(yù)算批準(zhǔn)的秩。表17. VOC劃分審計(jì)。ID直接從官方的ImageSets/Main/*.txt文件中獲取并在每個(gè)ID前加上其來源年份后進(jìn)行比對(duì)。表18. 選定核心比較的三種子穩(wěn)健性審計(jì)。統(tǒng)計(jì)量在種子 {0,28,42} 上的每個(gè)配置內(nèi)計(jì)算它是穩(wěn)健性摘要非顯著性測(cè)試。MPS部署審計(jì)存儲(chǔ)在artifacts/deployment_mps_v2/下的JSON文件中它記錄了合并和未合并的參數(shù)計(jì)數(shù)、GFLOPs、同步延遲、吞吐量、分配器遙測(cè)、ONNX opset/形狀/誤差檢查以及加速器-主機(jī)TensorRT引擎驗(yàn)證記錄。效率核算范圍。本文僅報(bào)告受控的YOLO11審計(jì)LoRA相對(duì)于Full-SFT峰值VRAM降低了 43.9%43.9%16.03 GB 對(duì)比 28.57 GB但訓(xùn)練時(shí)間長(zhǎng)了 1.72×203.8秒 對(duì)比 118.2秒。外部存儲(chǔ)、分發(fā)和外部來源的內(nèi)存估計(jì)被排除在聲明之外。