你是不是也遇到過(guò)這種時(shí)刻抱著《計(jì)算機(jī)體系結(jié)構(gòu)》啃完了流水線、緩存、虛擬內(nèi)存覺(jué)得自己總算摸清了計(jì)算機(jī)的底細(xì)結(jié)果一翻手機(jī)芯片的規(guī)格表CPU、GPU、NPU三個(gè)詞并排躺著你發(fā)現(xiàn)除了CPU剩下倆只能算“認(rèn)識(shí)字”。尤其NPU課本里幾乎沒(méi)有但現(xiàn)在的手機(jī)、服務(wù)器、汽車芯片里全在提。這東西到底是啥它憑什么能在AI時(shí)代和CPU平起平坐這篇就聊聊NPU盡量不帶廢話把體系結(jié)構(gòu)視角下NPU的核心邏輯講清楚。這篇內(nèi)容適合幾類人正在學(xué)體系結(jié)構(gòu)但被“領(lǐng)域?qū)Ｓ眉軜?gòu)”搞暈的學(xué)生想搞懂AI芯片為什么不能只用CPU/GPU的開(kāi)發(fā)者以及準(zhǔn)備入手端側(cè)推理、模型部署方向需要快速建立NPU知識(shí)框架的工程師。我會(huì)從“為什么需要NPU”開(kāi)始一路拆到它的硬件構(gòu)成、指令集、軟件棧最后聊聊怎么看性能指標(biāo)和那些容易踩的坑盡量讓你看完能有個(gè)整體坐標(biāo)。1. 先搞清楚體系結(jié)構(gòu)里為什么突然多出一個(gè)NPU1.1 CPU的“通用”代價(jià)CPU的設(shè)計(jì)目標(biāo)從來(lái)都不是“算得快”而是“什么都跑得動(dòng)”。為了實(shí)現(xiàn)這個(gè)目標(biāo)CPU把大量晶體管花在了控制邏輯上分支預(yù)測(cè)、亂序執(zhí)行、寄存器重命名、多級(jí)緩存、TLB……這些硬件在跑操作系統(tǒng)、數(shù)據(jù)庫(kù)、普通應(yīng)用時(shí)非常有用因?yàn)檫@類程序充滿了分支、跳轉(zhuǎn)、隨機(jī)訪問(wèn)和不可預(yù)測(cè)的依賴。但神經(jīng)網(wǎng)絡(luò)計(jì)算是另一種脾氣。一個(gè)卷積層說(shuō)到底就是一堆乘加操作循環(huán)邊界是確定的數(shù)據(jù)訪問(wèn)是規(guī)律的沒(méi)有復(fù)雜的分支也不需要猜未來(lái)要執(zhí)行哪條指令。你要是讓CPU去跑一個(gè)卷積它會(huì)把整整四層流水線、預(yù)測(cè)器、緩存系統(tǒng)都“空轉(zhuǎn)”著陪跑大部分晶體管根本沒(méi)在干正事。曾經(jīng)有人用高端CPU算一個(gè)圖像分類模型的推理功耗拉滿但利用率慘不忍睹問(wèn)題不在主頻而在架構(gòu)根本不匹配。1.2 GPU的妥協(xié)GPU比CPU強(qiáng)很多因?yàn)樗吡肆硪粋€(gè)極端堆大量簡(jiǎn)單ALU用SIMT單指令多線程的方式并行執(zhí)行。圖形渲染天然是“一堆像素各算各的”GPU的調(diào)度模型正好契合。神經(jīng)網(wǎng)絡(luò)也吃并行所以GPU在AI訓(xùn)練時(shí)代幾乎成了標(biāo)配。但GPU也有它的妥協(xié)。每個(gè)線程仍然需要獨(dú)立的寄存器、調(diào)度器和線程狀態(tài)控制開(kāi)銷還在GPU的極其靈活的通用并行能力也意味著它要為“任意并行程序”做準(zhǔn)備而這些準(zhǔn)備在神經(jīng)網(wǎng)絡(luò)這種高度規(guī)則的載荷里屬于冗余。GPU追求高精度浮點(diǎn)性能而神經(jīng)網(wǎng)絡(luò)推理對(duì)精度的要求沒(méi)那么苛刻這是GPU“浪費(fèi)”的第二個(gè)地方。最重要的是GPU的功耗密度太高你要在手機(jī)、耳機(jī)、攝像頭里放一個(gè)GPU來(lái)專門跑神經(jīng)網(wǎng)絡(luò)散熱和電池都吃不消。1.3 NPU的本質(zhì)領(lǐng)域?qū)Ｓ眉軜?gòu)這就是NPU出現(xiàn)的根本邏輯與其用一套通用的硬件去適配所有計(jì)算不如為神經(jīng)網(wǎng)絡(luò)這個(gè)固定領(lǐng)域?qū)ｉT設(shè)計(jì)一種“極度偏科”的處理器。體系結(jié)構(gòu)里管這叫DSADomain-Specific Architecture領(lǐng)域?qū)Ｓ眉軜?gòu)NPU就是DSA里最典型的代表。NPU不做分支預(yù)測(cè)因?yàn)樯窠?jīng)網(wǎng)絡(luò)不需要NPU不做復(fù)雜的亂序執(zhí)行因?yàn)橛?jì)算順序是編譯期就能定好的NPU把幾乎所有的面積和功耗都砸在乘法器和片上存儲(chǔ)上因?yàn)樯窠?jīng)網(wǎng)絡(luò)最核心的操作就是乘加最貴的開(kāi)銷就是數(shù)制搬運(yùn)。你可以這么理解CPU是個(gè)全能選手跑馬拉松、游泳、自行車都會(huì)但單項(xiàng)都不是最快NPU是個(gè)只練舉重的選手你讓他去跑步他不行但如果比賽項(xiàng)目只有舉重他能把全能選手按在地上摩擦。神經(jīng)網(wǎng)絡(luò)推理這個(gè)場(chǎng)景就是典型的“只考舉重”。2. NPU的三大命根子數(shù)據(jù)復(fù)用、片上存儲(chǔ)、低精度2.1 數(shù)據(jù)復(fù)用減少搬運(yùn)才是硬道理學(xué)體系結(jié)構(gòu)最容易被忽略的一個(gè)現(xiàn)實(shí)是計(jì)算早就不貴了搬數(shù)據(jù)才貴。芯片內(nèi)部做一次乘加可能只要幾個(gè)皮秒但從DRAM里讀一個(gè)數(shù)據(jù)要經(jīng)過(guò)總線、控制器、多級(jí)緩存耗時(shí)是計(jì)算的上百倍。神經(jīng)網(wǎng)絡(luò)模型動(dòng)輒幾MB到幾百M(fèi)B如果每次計(jì)算都去內(nèi)存里取數(shù)算力再高也白搭。NPU解決這個(gè)問(wèn)題的核心思想是數(shù)據(jù)復(fù)用。拿卷積舉例一個(gè)3x3的卷積核會(huì)在輸入特征圖上滑動(dòng)同一個(gè)權(quán)重會(huì)被反復(fù)用來(lái)和不同位置的輸入做乘加同一份輸入數(shù)據(jù)也會(huì)被不同的卷積核反復(fù)讀取。這種“一數(shù)多用”的特性給NPU提供了巨大的優(yōu)化空間。我記得有篇文章算過(guò)賬一個(gè)典型卷積層如果設(shè)計(jì)好數(shù)據(jù)流片上數(shù)據(jù)復(fù)用能把對(duì)外內(nèi)存訪問(wèn)量降低幾十倍。沒(méi)有這個(gè)前提NPU的“高算力”就是空中樓閣。所以你看NPU設(shè)計(jì)時(shí)最難的不是放多少個(gè)乘法器而是怎么設(shè)計(jì)數(shù)據(jù)流讓每個(gè)從DRAM搬到片上來(lái)的數(shù)據(jù)能被盡可能多地使用。這就像你做飯去一趟超市買一車菜如果只做一道菜就浪費(fèi)了厲害的大廚會(huì)規(guī)劃好這一車的菜能連續(xù)出好幾道減少反復(fù)跑超市的時(shí)間。NPU里的“超市”就是DRAM“大廚”就是數(shù)據(jù)流調(diào)度器。2.2 片上存儲(chǔ)SRAM即一切既然數(shù)據(jù)復(fù)用這么重要那空間放不下也一樣白搭。NPU芯片里最貴的面積往往不是計(jì)算單元而是片上SRAM靜態(tài)隨機(jī)存儲(chǔ)器。SRAM比DRAM快得多帶寬也大得多能直接喂飽計(jì)算陣列。所以NPU內(nèi)部通常是一個(gè)存儲(chǔ)層級(jí)最底層是DRAM主內(nèi)存往上是較大的片上SRAM用來(lái)暫存特征圖分塊和權(quán)重的tile最靠近乘法器的是一小堆寄存器/累加器。這里有個(gè)關(guān)鍵設(shè)計(jì)點(diǎn)NPU不會(huì)一次性把整張?zhí)卣鲌D和所有權(quán)重塞進(jìn)SRAM因?yàn)槿幌?。它采用的是循環(huán)分塊loop tiling策略把大矩陣切成一個(gè)個(gè)小塊依次搬入片上算完一塊再搬下一塊。塊的大小怎么定搬入的時(shí)機(jī)怎么選這就是編譯器干的重活。整體來(lái)說(shuō)NPU性能好不好一半看硬件陣列多大另一半看片上存儲(chǔ)能不能讓陣列時(shí)刻處于“有活可干”的狀態(tài)。我測(cè)試過(guò)不同NPU最大的差距往往不是峰值算力而是片上SRAM的容量和調(diào)度策略SRAM小的芯片碰到大模型會(huì)頻繁“斷糧”利用率直線下跌。2.3 低精度8位夠不夠用NPU普遍支持低精度運(yùn)算int88位整數(shù)是最常見(jiàn)的推理精度很多端側(cè)NPU甚至開(kāi)始支持int4。為什么敢用低精度因?yàn)樯窠?jīng)網(wǎng)絡(luò)在訓(xùn)練完成之后權(quán)重和激活值的分布相對(duì)穩(wěn)定對(duì)噪聲有很強(qiáng)的容忍度。把float32的權(quán)重量化到int8大多數(shù)任務(wù)精度損失可以控制在1%以內(nèi)。但硬件收益非常巨大int8乘法器的面積大概只有fp32的幾分之一速度更快功耗更低同樣面積你能塞下更多的計(jì)算單元。這背后對(duì)應(yīng)著體系結(jié)構(gòu)里的經(jīng)典權(quán)衡用精度換性能和功耗。做訓(xùn)練時(shí)因?yàn)橐聪騻鞑ァ⒁_梯度需要fp32甚至fp16做推理時(shí)前向計(jì)算對(duì)誤差不敏感int8足夠了。量化方法一般有兩種訓(xùn)練后量化PTQ和量化感知訓(xùn)練QAT。PTQ是把訓(xùn)練好的模型直接轉(zhuǎn)成int8省事但可能有點(diǎn)精度損失QAT是在訓(xùn)練過(guò)程中就模擬量化誤差讓網(wǎng)絡(luò)適應(yīng)低精度精度更高但要重訓(xùn)模型。實(shí)際項(xiàng)目里我通常先試PTQ精度不達(dá)標(biāo)再上QAT省時(shí)間。這里還有一個(gè)容易忽略的細(xì)節(jié)很多NPU標(biāo)稱的TOPS算力是基于int8算的換成fp16這個(gè)數(shù)字可能直接腰斬理解精度和算力的掛鉤關(guān)系是看懂NPU規(guī)格表的第一步。3. 拆開(kāi)NPU核心硬件模塊與數(shù)據(jù)流3.1 脈動(dòng)陣列一個(gè)格子只算一招聊NPU硬件不得不提脈動(dòng)陣列Systolic Array。簡(jiǎn)單說(shuō)它是一個(gè)二維的MAC乘加單元網(wǎng)格數(shù)據(jù)在相鄰的單元之間按節(jié)奏流動(dòng)每個(gè)單元只做一次乘加然后把結(jié)果傳給下一個(gè)。這設(shè)計(jì)妙在哪妙在“沒(méi)有多余動(dòng)作”。每個(gè)乘法器不需要從復(fù)雜的寄存器堆里取數(shù)數(shù)據(jù)會(huì)從陣列邊緣流入像流水線一樣流過(guò)去中間單元只需要專注算。脈動(dòng)陣列有不同的數(shù)據(jù)流組織方式常見(jiàn)的有權(quán)重固定weight stationary、輸入固定input stationary、輸出固定output stationary。什么意思權(quán)重固定是指權(quán)重提前加載到各個(gè)單元里不動(dòng)輸入數(shù)據(jù)流經(jīng)陣列每個(gè)單元拿著自己存的權(quán)重和流過(guò)的輸入做乘加適合卷積這種權(quán)重復(fù)用的場(chǎng)景輸入固定則是把輸入留在片上反復(fù)使用權(quán)重流過(guò)去適合某些全連接場(chǎng)景。不同廠商的NPU風(fēng)格差異很大程度就是選了不同的數(shù)據(jù)流策略。我早期看脈動(dòng)陣列時(shí)總覺(jué)得復(fù)雜后來(lái)想通了一個(gè)類比它像一條流水線上的工人每個(gè)人只擰一個(gè)螺絲零部件從左傳到右最后出來(lái)一個(gè)完整產(chǎn)品。每個(gè)工人不需要知道整個(gè)產(chǎn)品長(zhǎng)什么樣只需要等著零件到手熟練擰一下傳給下一個(gè)人。這種“顆粒度極細(xì)”的并行是傳統(tǒng)CPU完全無(wú)法做到的。3.2 激活函數(shù)、池化與歸一化單元脈動(dòng)陣列算完的結(jié)果是線性累加和但神經(jīng)網(wǎng)絡(luò)必須要有非線性否則層數(shù)再多也等價(jià)于一層線性變換。所以NPU里必須有激活函數(shù)單元比如ReLU整流線性單元、Sigmoid等。這部分一般掛在MAC陣列后面作為流水線的一站。池化層用來(lái)降采樣也是固定模式操作NPU可以用專門邏輯或復(fù)用MAC陣列來(lái)做。還有一個(gè)值得注意的細(xì)節(jié)推理階段批量歸一化BatchNorm通常會(huì)被“折疊”進(jìn)卷積的權(quán)重和偏置里。折疊之后推理時(shí)不再需要單獨(dú)算歸一化卷積層直接輸出結(jié)果。這個(gè)優(yōu)化是編譯器干的但硬件設(shè)計(jì)時(shí)也會(huì)預(yù)留支持比如允許權(quán)重和偏置做特殊處理。這種“軟硬件協(xié)同”的例子在NPU里到處都是你要是不了解折疊機(jī)制可能還以為NPU缺了某個(gè)功能模塊。3.3 控制與調(diào)度NPU也有“程序計(jì)數(shù)器”嗎NPU的控制邏輯很簡(jiǎn)單不像CPU有復(fù)雜指令流水線。絕大多數(shù)NPU的工作方式是“任務(wù)描述符”task descriptor驅(qū)動(dòng)主機(jī)CPU把網(wǎng)絡(luò)每一層的計(jì)算任務(wù)打包成一個(gè)描述符里面包含輸入地址、權(quán)重地址、輸出地址、數(shù)據(jù)形狀、步長(zhǎng)、操作類型等參數(shù)寫進(jìn)NPU的命令隊(duì)列或者寄存器。NPU拿到描述符后自主完成數(shù)據(jù)搬運(yùn)、計(jì)算、寫回完成后通過(guò)中斷或者狀態(tài)位告訴主機(jī)。我拿一個(gè)實(shí)際例子說(shuō)明。部署一個(gè)圖像分類模型時(shí)你會(huì)看到系統(tǒng)里有幾百個(gè)這樣的任務(wù)描述符第一層卷積一個(gè)描述符ReLU可能也被融合進(jìn)卷積了第二層卷積又一個(gè)描述符……主機(jī)CPU只需要把這一串描述符按順序提交給NPU然后就可以干別的去了NPU會(huì)異步地執(zhí)行完整個(gè)網(wǎng)絡(luò)。這個(gè)過(guò)程完美映射了體系結(jié)構(gòu)里的“異步”和“DMA”概念也解釋了為什么NPU運(yùn)行AI任務(wù)時(shí)CPU占用率可以很低。4. NPU指令集與軟件棧它到底是怎么被“編程”的4.1 從指令集看NPU它根本不是“通用處理器”很多剛接觸NPU的人會(huì)問(wèn)NPU跑的是什么指令集能不能寫個(gè)C程序直接編譯上去跑答案是不能也沒(méi)必要。NPU的“指令”更像配置參數(shù)而不是傳統(tǒng)意義上的指令。比如“把輸入地址0x1000的數(shù)據(jù)按3x3卷積核處理輸出到0x2000”這是一個(gè)任務(wù)不是一條RISC風(fēng)格的指令。有些NPU設(shè)計(jì)會(huì)引入類似RISC的指令風(fēng)格用于控制流和同步但核心計(jì)算能力仍然靠特定算子的硬件執(zhí)行單元實(shí)現(xiàn)。你可以把NPU理解成一個(gè)“專用加速器”它只能執(zhí)行神經(jīng)網(wǎng)絡(luò)這個(gè)領(lǐng)域內(nèi)的操作不能跑操作系統(tǒng)不能執(zhí)行任意程序。這也帶出一個(gè)實(shí)用建議選型NPU時(shí)不要只看算力要看它“支持哪些算子”。有的NPU對(duì)標(biāo)準(zhǔn)卷積優(yōu)化得很好但碰到轉(zhuǎn)置卷積、動(dòng)態(tài)形狀、循環(huán)依賴的算子可能直接退回CPU慢速執(zhí)行部署時(shí)踩坑。4.2 編譯器的真功夫圖優(yōu)化、內(nèi)存規(guī)劃和算力映射NPU軟件棧的核心是編譯器。以某個(gè)常見(jiàn)開(kāi)源深度學(xué)習(xí)框架為例流程大概是模型比如一個(gè)導(dǎo)出的計(jì)算圖輸入到NPU編譯器編譯器先做算子融合把卷積、ReLU、批歸一化合并成一個(gè)融合算子然后做內(nèi)存規(guī)劃分析每個(gè)張量的生命周期盡量復(fù)用片上緩沖區(qū)最后把每個(gè)算子映射成NPU任務(wù)描述符并生成調(diào)度順序。算子融合帶來(lái)的收益非常大。舉個(gè)例子一個(gè)卷積層后面跟ReLU如果不融合卷積的輸出要完整寫到DRAMReLU再把它讀出來(lái)一來(lái)一回兩塊內(nèi)存帶寬融合后卷積單元算出一個(gè)像素ReLU立刻處理結(jié)果直接留在片上甚至可以直接作為下一層的輸入。原始網(wǎng)絡(luò)有100個(gè)算子融合之后可能變成50個(gè)任務(wù)中間數(shù)據(jù)搬運(yùn)量減少一大半。下面是一段偽代碼能幫你直觀理解tile搬移加計(jì)算的過(guò)程# NPU編譯器生成的核心調(diào)度邏輯偽代碼 for tile in plan.tiles: # 把輸入特征圖的一個(gè)分塊從DRAM搬到片上SRAM dma_load(input_addrtile.input_addr, sram_bufferinput_sram[tile.buffer_id]) # 把對(duì)應(yīng)的權(quán)重分塊搬到片上SRAM dma_load(weight_addrtile.weight_addr, sram_bufferweight_sram[tile.buffer_id]) # 用MAC陣列計(jì)算數(shù)據(jù)流直接在片上完成 compute(engine_idtile.engine_id, input_bufferinput_sram[tile.buffer_id], weight_bufferweight_sram[tile.buffer_id], output_bufferoutput_sram[tile.buffer_id]) # 結(jié)果寫回DRAM dma_store(output_sram[tile.buffer_id], output_addrtile.output_addr)這段邏輯看著簡(jiǎn)單實(shí)際編譯器要考慮的東西多得多哪個(gè)tile先算能最大化復(fù)用已經(jīng)搬進(jìn)來(lái)的數(shù)據(jù)SRAM分給輸入還是權(quán)重多核NPU怎么分工這些優(yōu)化直接決定NPU能不能跑出接近峰值的水準(zhǔn)。我自己調(diào)試性能時(shí)最常做的事就是看編譯器生成的“內(nèi)存分配報(bào)告”和“任務(wù)時(shí)間表”那里面的門道比硬件框圖要深得多。5. 整個(gè)系統(tǒng)視角NPU在主板上是怎么工作的5.1 異構(gòu)架構(gòu)CPU、GPU、NPU怎么分工真實(shí)的SoC片上系統(tǒng)里CPU、GPU、NPU不是各干各的而是協(xié)同工作。CPU負(fù)責(zé)控制流和任務(wù)調(diào)度GPU負(fù)責(zé)圖形或部分并行計(jì)算NPU專職神經(jīng)網(wǎng)絡(luò)推理。它們共享一塊DRAM通過(guò)總線互連。運(yùn)行一個(gè)AI應(yīng)用時(shí)CPU先把圖片數(shù)據(jù)準(zhǔn)備好在內(nèi)存里布局好然后通知NPU開(kāi)始處理NPU算完CPU再接過(guò)結(jié)果去做后續(xù)的邏輯判斷。這中間涉及一個(gè)體系結(jié)構(gòu)老話題緩存一致性。NPU有自己的片上SRAM但主機(jī)CPU和NPU共享DRAM時(shí)誰(shuí)改動(dòng)數(shù)據(jù)、誰(shuí)看到最新數(shù)據(jù)需要明確規(guī)則。有的NPU設(shè)計(jì)直接不走CPU緩存要求主機(jī)在提交任務(wù)前顯式flush緩存有的則參與系統(tǒng)一致性協(xié)議硬件幫你搞定。前一種軟件上容易踩坑我碰到過(guò)“NPU老是讀到舊數(shù)據(jù)”的問(wèn)題最后就是漏了緩存同步。5.2 藏在背后的最大瓶頸內(nèi)存帶寬很多人看NPU性能只盯TOPS實(shí)際上大多數(shù)真實(shí)場(chǎng)景的瓶頸是內(nèi)存帶寬。一個(gè)100 TOPS的int8 NPU工作頻率按1GHz算意味著每個(gè)周期要執(zhí)行約10萬(wàn)次int8乘加。如果每次乘加都要從DRAM讀一個(gè)輸入和一個(gè)權(quán)重每個(gè)周期要讀200KB這遠(yuǎn)超任何DRAM的帶寬能力。所以NPU必須靠數(shù)據(jù)復(fù)用把實(shí)際訪存需求降下來(lái)但即便如此像全連接層這種“權(quán)重巨大、復(fù)用有限”的算子仍然會(huì)牢牢卡在帶寬上。怎么判斷一個(gè)模型在NPU上是算力受限還是帶寬受限有個(gè)簡(jiǎn)單的估算方法算一下模型的總計(jì)算量MACs和總內(nèi)存訪問(wèn)量bytes用計(jì)算量除以帶寬峰值和用計(jì)算量除以算力峰值哪個(gè)大哪個(gè)就是瓶頸。端側(cè)部署時(shí)很多模型是帶寬受限的優(yōu)化手段重點(diǎn)就放在模型壓縮、算子融合、減少中間張量上。工程師如果能建立“算力-帶寬-存儲(chǔ)容量”這三個(gè)維度的性能心智模型調(diào)試NPU時(shí)會(huì)順手很多。6. 怎么看懂NPU性能指標(biāo)別被算力數(shù)字騙了6.1 TOPS到底怎么算的TOPS是Tera Operations Per Second即每秒萬(wàn)億次操作。但這里有個(gè)容易混淆的點(diǎn)一次MAC乘加通常被算作2次操作因?yàn)槌朔ê图臃ㄊ莾杉隆Ｋ砸粋€(gè)擁有M個(gè)MAC單元、主頻為F的NPU理論峰值算力 2 × M × F單位視M和F的量級(jí)調(diào)整。很多廠商宣傳時(shí)的“AI算力XX TOPS”默認(rèn)都是int8精度并且按2次操作計(jì)算。如果你把這個(gè)數(shù)當(dāng)成fp32算力會(huì)大錯(cuò)特錯(cuò)。看規(guī)格表時(shí)我一般建議盯著三欄精度int8還是fp16、算力TOPS、內(nèi)存帶寬GB/s。光看一個(gè)TOPS沒(méi)有任何意義。最新的一些經(jīng)驗(yàn)是端側(cè)中高端NPU普遍在10-30 TOPS區(qū)間云端的卡級(jí)別NPU能到幾百上千TOPS但后者功耗和散熱要求完全不是一個(gè)量級(jí)。6.2 實(shí)際性能為什么利用率只有一半理論峰值是理想情況實(shí)際跑模型利用率通常只有30%-50%常見(jiàn)的蠶食因素有三個(gè)一是數(shù)據(jù)搬運(yùn)開(kāi)銷哪怕有緩存DRAM的延遲和帶寬限制依舊存在二是算子映射效率有些算子硬件支持不好編譯器生成的調(diào)度效率低三是小算子調(diào)度開(kāi)銷比如一個(gè)很小的激活函數(shù)或reshape算子如果單獨(dú)成為一個(gè)任務(wù)任務(wù)提交和同步的固定開(kāi)銷會(huì)占大頭。所以評(píng)估NPU最靠譜的方法是端到端跑真實(shí)模型用延遲和吞吐說(shuō)話而不是信規(guī)格表。同一款NPU跑MobileNet和跑ResNet的“實(shí)際表現(xiàn)/理論峰值”比例完全不同跑單幀和跑連續(xù)幀流也完全不同。我個(gè)人現(xiàn)在評(píng)測(cè)NPU一定是拿自己業(yè)務(wù)里最典型的三五個(gè)模型固定輸入尺寸、固定精度、固定batch跑出來(lái)的數(shù)據(jù)才有參考價(jià)值。7. 常見(jiàn)問(wèn)題與經(jīng)驗(yàn)總結(jié)這些坑我?guī)湍悴冗^(guò)了7.1 關(guān)于NPU的四個(gè)常見(jiàn)誤區(qū)先給你列一個(gè)我平時(shí)回答咨詢時(shí)反復(fù)糾正的誤區(qū)速查表誤區(qū)實(shí)際情況算力高性能好帶寬、緩存、算子支持和編譯器都會(huì)拖后腿NPU什么模型都能跑算子支持有限復(fù)雜控制流效率極低int8一定掉精度大多數(shù)任務(wù)量化損失很小QAT之后幾乎無(wú)損NPU會(huì)取代CPU異構(gòu)架構(gòu)里兩者是協(xié)作關(guān)系各干各的這四個(gè)誤區(qū)我都在真實(shí)項(xiàng)目里見(jiàn)過(guò)。有一回優(yōu)化一個(gè)檢測(cè)模型廠商說(shuō)NPU算力特高結(jié)果一跑發(fā)現(xiàn)在一個(gè)動(dòng)態(tài)形狀的算子上直接退回CPU執(zhí)行整個(gè)延遲翻了三倍。還有一次模型量化后精度掉了2個(gè)點(diǎn)我們沒(méi)細(xì)想就全盤改用QAT重訓(xùn)成本很高后來(lái)才發(fā)現(xiàn)只是某個(gè)激活層沒(méi)有做量化敏感處理補(bǔ)上就好了。多試、多測(cè)、多看編譯器日志比迷信任何宣傳都管用。7.2 給新人的學(xué)習(xí)建議從軟件棧切入別一上來(lái)啃RTL如果你想把NPU學(xué)明白我給的建議是先別急著看寄存器傳輸級(jí)RTL代碼而是從軟件棧切入。大致的順序是先在一個(gè)成熟的深度學(xué)習(xí)框架里把一個(gè)模型部署到某個(gè)NPU上跑通感受整個(gè)工具鏈流程再去看編譯器生成的任務(wù)日志理解模型被切成了多少個(gè)算子、內(nèi)存是怎么規(guī)劃的然后回頭研究NPU的架構(gòu)文檔重點(diǎn)看脈動(dòng)陣列的尺寸、SRAM容量、數(shù)據(jù)流方向最后才考慮寫個(gè)小算子比如手寫一個(gè)3x3卷積的映射代碼在模擬器上跑一跑。這種倒著學(xué)的方式能讓你在短時(shí)間內(nèi)建立“模型—算子—硬件”三層映射的心智模型而不是陷在晶體管細(xì)節(jié)里出不來(lái)。我在學(xué)習(xí)早期犯過(guò)一個(gè)錯(cuò)誤拿了一堆RTL代碼盯著看越看越糊涂后來(lái)發(fā)現(xiàn)只要先把“數(shù)據(jù)從哪來(lái)、到哪去、在哪計(jì)算”這三件事理清楚NPU的大局就明白了。7.3 最后分享一個(gè)實(shí)用技巧怎么快速估算一個(gè)模型在NPU上會(huì)不會(huì)快拿到一個(gè)模型先別急著部署花十分鐘在紙上做一個(gè)估算。第一步統(tǒng)計(jì)模型總MACs很多框架工具能直接輸出第二步估算模型權(quán)重總大小和最大中間特征圖大小第三步看看目標(biāo)NPU的算力、帶寬和片上SRAM容量第四步算算推理一遍需要多少次數(shù)據(jù)搬運(yùn)是否超過(guò)片上容量是否會(huì)被帶寬卡住。這套方法雖然粗糙但能讓你在動(dòng)手前就對(duì)方案的可行性有個(gè)判斷避免盲目調(diào)優(yōu)。我自己每次換NPU平臺(tái)都會(huì)先拿這套估算過(guò)一遍再?zèng)Q定要不要投入時(shí)間做深度適配。