)
今年第一波大模型推理服務優(yōu)化做到一半我不得不面對一個老問題AI加速器到底怎么選。說老是因為從GPU、TPU到NPU這個名字已經被喊了好多年但真到了要下單、要規(guī)劃算力、要把模型部署上線的節(jié)點絕大多數團隊還是習慣性地把顯卡當唯一答案。可現實是所有做AI加速的芯片本質上都在回答同一個問題你能不能把矩陣乘法和大量并行的數據搬運跑得更快、更省。這篇就是我對GPU、TPU、NPU三種架構的一次系統梳理給你一套不需要懂太多硬件細節(jié)也能照著做的選型思路適合正在給模型訓練或者線上服務評估算力的算法工程師、平臺架構師以及被老板逼著三個月內把推理成本降一半的人。1. 三種加速器的架構邏輯分歧通用并行、矩陣脈沖與低精度算子1.1 為什么會有三種加速器從工作負載結構說起所有AI加速器要解決的核心問題就一個計算密度。深度學習負載和傳統軟件最大的差異在于它絕大部分操作數是矩陣乘法和卷積而且可以接受一定范圍內的精度損失。這給了芯片設計者一個偷懶的機會——我可以不做通用的復雜指令專門做矩陣乘激活函數搬運數據這幾板斧做得又大又快又便宜。GPU、TPU、NPU恰好站在同一條路線的三個不同位置。GPU遵循的是大規(guī)模并行通用計算思路它內部有幾千個最小計算單元每個都能執(zhí)行相對通用的浮點運算配合調度器把成千上萬的線程并發(fā)跑起來。這個設計的優(yōu)勢是適應面廣無論你來的是矩陣乘、卷積、還是各種奇怪的自定義算子只要能把問題拆成并行子任務GPU都能吃下去。代價是控制邏輯和緩存占了大量芯片面積計算單元本身的占比并沒有你想象的那么高。TPU走的是脈動陣列路線。整塊芯片被設計成由大量小型計算單元組成的規(guī)則陣列數據像流水線一樣在相鄰單元間流動權重直接駐留在每個單元里不需要反復從內存加載。這樣做的結果是矩陣乘法效率極其驚人同一塊面積的芯片能塞進遠多于GPU的計算單元。但它也有先天限制陣列的調度策略是固定的遇到矩陣乘以外的算子比如動態(tài)形狀的注意力計算、復雜歸約效率會斷崖式下跌。NPU則把專用化推到了另一個極端。它通常只做INT8或INT16低精度整數運算數據寬度短、電路簡單、功耗極低而且大量算子被固化成了專用引擎比如卷積引擎、全連接引擎、張量變換引擎。你可以把它理解成一口一個專項小灶單個任務做得又快又省電但換一道沒見過的菜就抓瞎。1.2 用團隊配置來打比方三支隊伍的差別我經常給人打這樣一個比方GPU是一個配備了多種崗位的成熟項目團隊成員都能干事換個項目方向也有不少人能頂上TPU是一條單品種中央廚房流水線一旦菜譜定型出菜速度驚人但突然要加一道新菜整條線都要停工改模具NPU更像街邊專賣店種類少但極致專精顧客排隊只能買那幾樣但翻臺率和每筆單子的利潤都很好。這樣一看三類加速器各自的能力圈就很清楚了GPU適合訓練復雜的模型、研究性試驗、算子千奇百怪的多框架混合負載。它用通用性換取了工程上的確定能跑。TPU適合規(guī)模化、形狀穩(wěn)定、以矩陣乘為主的大規(guī)模訓練和推理任務。投入足夠的改造時間后每瓦性能很可觀但改造過程比較復雜。NPU適合推理鏈路已經穩(wěn)定的低精度任務尤其是移動端、邊緣設備和對功耗極度敏感的部署環(huán)境。1.3 另一個容易忽略的角度每瓦算力與每美元算力選型的本質是在兩個約束之間找平衡墻上的電表額度和手里的預算額度。GPU通常擁有三種架構中最高的單芯片絕對性能但功耗和單價也最高TPU的絕對性能不低但往往以整機、整集群的形式交付對中小企業(yè)來說門檻偏高NPU的絕對性能看起來最小但單位瓦數和單位人民幣能買到的有效識別速度通常最好所以端側設備才會清一色選它。我在早期做選型時犯過一個錯誤只看單卡FLOPS數完全忽略功耗和算力利用率。后來有一段時間我把推理服務從GPU遷移到一個低功耗NPU加速卡上硬件成本砍了差不多一半但峰值算力的紙面數據只有原來GPU的幾十分之一。結果實測之后圖像分類服務的單并發(fā)時延反而快了因為小模型在小功耗的NPU上不需要等復雜的任務調度也沒有巨大的顯存帶寬浪費。這件事給了我很深的一個印象——后文講指標時我會再展開說峰值算力真的不是一切。2. 先把單位對齊再說從FLOPS到TOPS看懂算力指標的換算和陷阱2.1 FLOPS、TOPS、OPS到底是什么關系選型最容易翻車的地方是拿不同架構的數據直接比大小。GPU廠商喜歡標FP32或FP16的TFLOPSTPU廠商喜歡標BF16或INT8的混合精度算力NPU廠商則特別喜歡強調INT8、甚至INT4的TOPS。這三個單位看著像實際差了十萬八千里。FLOPS是每秒浮點運算次數TOPS是每秒整數運算次數OPS則是兩者混用的統稱。換算的第一步是明確精度一次FP32運算如果要拆成INT8運算往往需要多次整數運算才能近似。所以理論上一塊芯片標稱100 TOPS的INT8算力大體可能相當于50 TFLOPS的FP16算力的一半甚至更低具體要看架構內是否有專門的浮點單元。我說一個更實際的換算方法你只看INT8 TOPS便宜不便宜純屬被營銷數字牽著走。真正該問的是你跑的這個模型這100 TOPS里能用上多少。2.2 理論峰值之外的三個隱形指標選型表格里真正值得逐行對比的是下面三個一是內存帶寬。深度學習不只是算得快還得把權重和中間結果及時搬進計算單元。假設你的模型有7億參數FP16權重大約是1.4GB。每次走一遍前向推理理論上至少要讀一遍這么多數據。如果你的加速器內存帶寬只有100GB/s光讀權重就要花14毫秒哪怕計算單元再閑也沒用。帶寬決定了很多模型的下限。二是片上緩存與數據復用能力。GPU和TPU都會盡量把數據分成塊扔進片上緩存里反復使用避免頻繁訪問外面的內存。緩存越大、調度越積極實際拿到手的算力就越高。NPU通常緩存較小但因為它專攻低精度算子所需數據本身就少所以能用較小緩存達到不錯效果。三是卡間互聯帶寬。大規(guī)模訓練時梯度同步比前向計算還耗時間。如果加速器之間的互聯帶寬跟不上就會出現一千塊卡跑不出三百塊卡三倍性能的情況。2.3 用算術強度判斷負載到底缺什么判斷負載到底是算得慢還是搬得慢業(yè)界有個簡單指標算術強度即一次數據搬運對應多少次計算。單位通常是FLOPS/Byte。比如某個矩陣乘數據量是2MB計算量是1GFLOPS那算術強度就是500FLOPS/Byte。芯片的硬件設計里有一條所謂平衡點曲線當你的負載算術強度低于這個點時性能被帶寬卡死算力再高也沒用高于這個點時才輪到計算單元說話。我建議你在選型前拿自己的模型做一個粗略口徑測量。具體做法很粗暴跑一個batch前向用性能分析工具記錄每秒實際讀取的顯存流量和實際FLOPS兩者一除就是真實場景下的算術強度。把這個數和候選加速器的規(guī)格對比你很快會知道瓶頸在計算還是帶寬。這個動作做上半小時勝過看十頁產品宣傳冊。3. 分場景實測視角訓練、推理和端側分別該盯什么3.1 訓練場景矩陣乘不是全部工程生態(tài)才是訓練階段選GPU仍然是綜合負擔最小的選擇這話我敢說因為它的軟件生態(tài)已經成熟到任何模型都有前人趟過坑的程度。但這不代表GPU在所有訓練場景都是最優(yōu)。如果你的任務是超大規(guī)模預訓練矩陣乘的形狀非常規(guī)整、權重形狀穩(wěn)定TPU脈動陣列的效率會明顯優(yōu)于同代GPU加速比可能達到1.5到2倍。代價是改造成本很高數據加載、優(yōu)化器狀態(tài)、混合精度策略都得照著它的調度習慣重寫一遍。這里要特別提醒訓練不只有GEMM通用矩陣乘。反向傳播里的各種逐元素算子、Gather/Scatter、動態(tài)Mask、注意力計算這些在GPU上是順手的事在TPU和NPU上可能需要拆解成多個子步驟。我見過某團隊把一套BERT規(guī)模的模型從GPU遷移到TPU花了兩周時間調性能最后發(fā)現瓶頸居然卡在LayerNorm算子上。原因很簡單脈動陣列天生擅長規(guī)整運算遇到逐元素歸約就得打折扣。如果你不是做超大規(guī)模預訓練而是普通微調、小規(guī)模訓練、頻繁改模型結構現階段最穩(wěn)妥的還是GPU。好鋼不能全用在刀刃上你的刀刃是快速試錯和靈活調參不是每瓦特算力最大化。3.2 推理場景時延、吞吐、成本三個指標一塊算推理場景和訓練場景的最大區(qū)別是模型結構已經完全固定各種算子可以提前融合和量化。這時候NPU的優(yōu)勢才真正顯現出來。推理服務有兩條路線可走。一條是追求最低時延比如實時語音交互每一幀都要在幾十毫秒內返回。NPU因為算子固化、任務調度輕量往往能提供更穩(wěn)定的P99時延而GPU上的時延抖動反而更明顯。另一條是追求最高吞吐比如離線批量圖片處理你的目標是在限定電費內處理盡可能多的圖片。這時候就得比單位功耗吞吐NPU的INT8算力和低功耗會顯得格外誘人。我自己的經驗是推理選型必須先定死兩個數字可接受的P99時延和每千次推理的成本上限。把這兩個數字寫出來再去逐項對比候選設備基本不會跑偏。如果一項紙面算力指標比競品高一倍但時延穩(wěn)定性做不到它就不該進入第二輪篩選。3.3 端側場景NPU上最典型的兩個坑端側部署是最典型、也最考驗人的NPU應用場景。第一個坑是算子覆蓋不全。你的模型可能95%的算子都被NPU支持了剩下5%的算子會退回CPU執(zhí)行這一退回性能反而可能比全跑CPU還慢。因為數據要反復在CPU和NPU之間搬運搬運成本直接被放大。我見過一個手勢識別Demo聲稱用了NPU加速實際只有30%的算子跑在NPU上推理時延比純CPU還高。第二個坑是量化誤差。NPU普遍只支持INT8或更低位寬權重和激活值的動態(tài)范圍一旦掌握不好精度就會掉得很難看。很多團隊在PC上用FP32模型跑出95%準確率一搬到NPU上直接掉到88%而且找不出原因。其實原因通常很樸素沒有做校準集、量化范圍選得太寬、某個敏感層沒有保留浮點。常見對策是先做逐層敏感度分析把對量化敏感的層保留在CPU或更高精度單元上其余層再做INT8。4. 選型決策框架從負載推導需求而不是被架構名詞帶著走4.1 別讓架構名詞替你做決定很多選型討論到最后都變成站隊GPU派、TPU派、NPU派。但架構名詞只是實現手段真正該做的是從工作負載往回推需求。我把這個方法總結成一個四象限分類法每次選型先給任務畫坐標第一象限訓練為主、模型頻繁變動、算子多樣。答案大概率是GPU。第二象限訓練為主、模型結構高度穩(wěn)定、矩陣乘絕對主導?？梢哉J真評估TPU。第三象限推理為主、性能要求高、可以接受量化改造。考慮NPU。第四象限推理為主、但算子每天都在改或者要兼容多個框架。GPU或高規(guī)格NPU都行看成本。當然現實中會有很多混合態(tài)。我見過一類平臺白天批量訓練一個多模態(tài)模型晚上對生產流量做高并發(fā)推理。這種混合負載其實不適合單一架構硬扛GTX級別的通用卡做訓練再加一塊專用推理卡做線上流量可能比全部用頂級GPU方案更省錢也更快。4.2 一張可以直接抄的選型檢查清單這里我把多年選型踩過的坑濃縮成一張清單每項都對應一個真實翻車場景。你可以直接照著逐條檢查模型結構是否穩(wěn)定到半年內不會大改是否有明確可測量的性能目標比如P99時延小于50毫秒是否有功耗約束比如整個邊緣盒子只能給15瓦是否允許引入新的框架和算子手工適配團隊里是否有人熟悉該加速器的調試工具鏈數據量是否大到需要卡間互聯互聯帶寬是否已納入評估是否有量化校準能力能否承受精度損失供應商是否提供持續(xù)驅動和編譯棧升級而不是一錘子買賣每一條都打上通過或存疑如果某一行開始猶豫就值得先做那個負載的mini落地上板測試再決定買不買。4.3 混合部署與漸進式改造思路老實說絕大多數團隊的算力規(guī)劃都應該走漸進式改造而不是一次性全換。比較好的做法是把模型分成兩類路徑一類是探索型負載允許頻繁改結構統一跑在GPU上保證迭代速度另一類是穩(wěn)定型負載上線后結構固定再做遷移和優(yōu)化。穩(wěn)定型負載遷移到NPU或TPU后有時候能把單位請求成本壓到原來的一半以下。我最近一次做圖像質檢項目就采用了這種混合思路白天訓練模型階段用GPU模型定稿后把線上推理的數據增強、卷積主干和分類頭在NPU上跑INT8量化版本并把量化敏感的注意力分支留在CPU上。最終計算成本大約壓低了40%而精度只掉了0.2個百分點?；旌喜渴鹇犐先ゲ荒敲赐昝赖a環(huán)境本來就該以性價比和穩(wěn)定為宇宙第一法則。5. 遷移落地的完整教訓算子對齊、精度容忍與性能驗證5.1 遷移前先做算子級風險清單一旦確定了要從GPU遷到TPU或NPU你第一件要做的不是裝驅動而是生成一份算子級風險清單。我通常的做法是拿一份訓練好的模型文件導出計算圖之后逐層掃描把每個算子分類成三類完全映射、需要改寫、不支持退回CPU。這一步純粹是體力活但能提前暴露90%的坑。拿常見視覺模型舉例常規(guī)卷積、BatchNorm、ReLU、Pooling這些在NPU上基本都有對應引擎而像可變形卷積、動態(tài)條件分支、復雜的topk和自定義Loss就很有可能是需要改寫或者不支持的類型。把這些算子單獨拎出來評估風險比直接整模型扔上去跑、然后對著報錯日志猜半天要高效太多。5.2 精度對齊量化后的誤差容忍怎么設精度對齊是遷移中最容易被低估的環(huán)節(jié)。很多人只盯著準確率看比如原來95分現在94.8分還行。但生產環(huán)境里的問題往往藏在極端樣本里所以除了整體準確率還應該對比逐條輸出的數值差異。我建議按照這樣一個流程來做精度驗證先在原框架用FP32把測試集推理結果保存下來作為基準再把同一批樣本在新加速器上、按目標精度比如INT8跑一遍然后計算每條樣本的輸出差MAE把差得最離譜的5%挑出來分析。你可以設置容忍閾值比如分類任務允許95%條目的預測標簽一致且MAE不超過某個絕對數。一旦出現系統性偏差優(yōu)先找出是哪一層導致的把那層單獨切到高精度或CPU上重跑。要是量化后精度掉得很厲害先別急著懷疑芯片大概率是校準集選得不對。校準集要覆蓋真實部署時的數據分布而不能隨便抽幾百張訓練集圖片尤其不能全是易分類樣本那樣會把動態(tài)范圍估窄。5.3 性能驗證別只看總時延要看拆解和穩(wěn)態(tài)性能測試最容易產生的錯誤判斷是拿第一次跑出來的端到端時延就下結論。真實世界的加速器在冷啟動時往往很慢跑幾個batch后溫度穩(wěn)定、緩存命中上來了性能才會進入正常曲線。我的經驗是至少先跑10次預熱再用后50次的平均值作為代表同時記錄P95和P99而不是只盯P50。除了總時延務必要拆開每一段算子的耗時。加速器自帶的性能剖析工具通常能給出每個算子的平均執(zhí)行時間和調用次數。你要做的是一眼找出耗時占比最大但又不在預期中的算子那些就是遷移不完整、數據搬運過度的癥狀。最常見的問題是有幾個算子在CPU上回退執(zhí)行導致CPU和加速器之間反復搬運數據時延直接在搬運中翻倍。5.4 我反復踩過、但你可以繞開的幾個坑總結幾個與具體品牌無關的通用教訓。第一永遠不要在遷移當天做重大發(fā)布至少留出一周做灰度驗證和回滾準備。第二不要迷信算子全部支持的兼容性文檔文檔說支持和實測性能不崩是兩件事。第三廠商給的樣例代碼可以直接跑但一定要拿自己的真實數據和真實batch shape再測一次因為很多性能數據是在最優(yōu)情況下測出來的真實shape一旦不規(guī)則專用加速器性能波動非常大。第四保留一個GPU備用通道線上出問題時你能在30分鐘內回切到穩(wěn)定基線而不是干瞪眼等待廠商工單回復?；氐介_頭說的話題。選型這件事本質是一場算力峰值、功耗預算、工程兼容性的三方談判。GPU提供了通用性與確定性的安全網TPU在特定形狀的大規(guī)模矩陣運算里做到了極致效率NPU則用低精度和專用化換來了極低功耗與單位成本。沒有絕對最好的加速器只有最適合你當前負載階段的那一款。按照我今天講的這套邏輯先畫負載類型再算算術強度然后跑性能驗證最后做混合部署兜底你會比大多數只看參數表的人離真實答案近得多。 AI加速器選型指南：GPU、TPU與NPU架構對比與實戰(zhàn)
今年第一波大模型推理服務優(yōu)化做到一半我不得不面對一個老問題AI加速器到底怎么選。說老是因為從GPU、TPU到NPU這個名字已經被喊了好多年但真到了要下單、要規(guī)劃算力、要把模型部署上線的節(jié)點絕大多數團隊還是習慣性地把顯卡當唯一答案。可現實是所有做AI加速的芯片本質上都在回答同一個問題你能不能把矩陣乘法和大量并行的數據搬運跑得更快、更省。這篇就是我對GPU、TPU、NPU三種架構的一次系統梳理給你一套不需要懂太多硬件細節(jié)也能照著做的選型思路適合正在給模型訓練或者線上服務評估算力的算法工程師、平臺架構師以及被老板逼著三個月內把推理成本降一半的人。1. 三種加速器的架構邏輯分歧通用并行、矩陣脈沖與低精度算子1.1 為什么會有三種加速器從工作負載結構說起所有AI加速器要解決的核心問題就一個計算密度。深度學習負載和傳統軟件最大的差異在于它絕大部分操作數是矩陣乘法和卷積而且可以接受一定范圍內的精度損失。這給了芯片設計者一個偷懶的機會——我可以不做通用的復雜指令專門做矩陣乘激活函數搬運數據這幾板斧做得又大又快又便宜。GPU、TPU、NPU恰好站在同一條路線的三個不同位置。GPU遵循的是大規(guī)模并行通用計算思路它內部有幾千個最小計算單元每個都能執(zhí)行相對通用的浮點運算配合調度器把成千上萬的線程并發(fā)跑起來。這個設計的優(yōu)勢是適應面廣無論你來的是矩陣乘、卷積、還是各種奇怪的自定義算子只要能把問題拆成并行子任務GPU都能吃下去。代價是控制邏輯和緩存占了大量芯片面積計算單元本身的占比并沒有你想象的那么高。TPU走的是脈動陣列路線。整塊芯片被設計成由大量小型計算單元組成的規(guī)則陣列數據像流水線一樣在相鄰單元間流動權重直接駐留在每個單元里不需要反復從內存加載。這樣做的結果是矩陣乘法效率極其驚人同一塊面積的芯片能塞進遠多于GPU的計算單元。但它也有先天限制陣列的調度策略是固定的遇到矩陣乘以外的算子比如動態(tài)形狀的注意力計算、復雜歸約效率會斷崖式下跌。NPU則把專用化推到了另一個極端。它通常只做INT8或INT16低精度整數運算數據寬度短、電路簡單、功耗極低而且大量算子被固化成了專用引擎比如卷積引擎、全連接引擎、張量變換引擎。你可以把它理解成一口一個專項小灶單個任務做得又快又省電但換一道沒見過的菜就抓瞎。1.2 用團隊配置來打比方三支隊伍的差別我經常給人打這樣一個比方GPU是一個配備了多種崗位的成熟項目團隊成員都能干事換個項目方向也有不少人能頂上TPU是一條單品種中央廚房流水線一旦菜譜定型出菜速度驚人但突然要加一道新菜整條線都要停工改模具NPU更像街邊專賣店種類少但極致專精顧客排隊只能買那幾樣但翻臺率和每筆單子的利潤都很好。這樣一看三類加速器各自的能力圈就很清楚了GPU適合訓練復雜的模型、研究性試驗、算子千奇百怪的多框架混合負載。它用通用性換取了工程上的確定能跑。TPU適合規(guī)模化、形狀穩(wěn)定、以矩陣乘為主的大規(guī)模訓練和推理任務。投入足夠的改造時間后每瓦性能很可觀但改造過程比較復雜。NPU適合推理鏈路已經穩(wěn)定的低精度任務尤其是移動端、邊緣設備和對功耗極度敏感的部署環(huán)境。1.3 另一個容易忽略的角度每瓦算力與每美元算力選型的本質是在兩個約束之間找平衡墻上的電表額度和手里的預算額度。GPU通常擁有三種架構中最高的單芯片絕對性能但功耗和單價也最高TPU的絕對性能不低但往往以整機、整集群的形式交付對中小企業(yè)來說門檻偏高NPU的絕對性能看起來最小但單位瓦數和單位人民幣能買到的有效識別速度通常最好所以端側設備才會清一色選它。我在早期做選型時犯過一個錯誤只看單卡FLOPS數完全忽略功耗和算力利用率。后來有一段時間我把推理服務從GPU遷移到一個低功耗NPU加速卡上硬件成本砍了差不多一半但峰值算力的紙面數據只有原來GPU的幾十分之一。結果實測之后圖像分類服務的單并發(fā)時延反而快了因為小模型在小功耗的NPU上不需要等復雜的任務調度也沒有巨大的顯存帶寬浪費。這件事給了我很深的一個印象——后文講指標時我會再展開說峰值算力真的不是一切。2. 先把單位對齊再說從FLOPS到TOPS看懂算力指標的換算和陷阱2.1 FLOPS、TOPS、OPS到底是什么關系選型最容易翻車的地方是拿不同架構的數據直接比大小。GPU廠商喜歡標FP32或FP16的TFLOPSTPU廠商喜歡標BF16或INT8的混合精度算力NPU廠商則特別喜歡強調INT8、甚至INT4的TOPS。這三個單位看著像實際差了十萬八千里。FLOPS是每秒浮點運算次數TOPS是每秒整數運算次數OPS則是兩者混用的統稱。換算的第一步是明確精度一次FP32運算如果要拆成INT8運算往往需要多次整數運算才能近似。所以理論上一塊芯片標稱100 TOPS的INT8算力大體可能相當于50 TFLOPS的FP16算力的一半甚至更低具體要看架構內是否有專門的浮點單元。我說一個更實際的換算方法你只看INT8 TOPS便宜不便宜純屬被營銷數字牽著走。真正該問的是你跑的這個模型這100 TOPS里能用上多少。2.2 理論峰值之外的三個隱形指標選型表格里真正值得逐行對比的是下面三個一是內存帶寬。深度學習不只是算得快還得把權重和中間結果及時搬進計算單元。假設你的模型有7億參數FP16權重大約是1.4GB。每次走一遍前向推理理論上至少要讀一遍這么多數據。如果你的加速器內存帶寬只有100GB/s光讀權重就要花14毫秒哪怕計算單元再閑也沒用。帶寬決定了很多模型的下限。二是片上緩存與數據復用能力。GPU和TPU都會盡量把數據分成塊扔進片上緩存里反復使用避免頻繁訪問外面的內存。緩存越大、調度越積極實際拿到手的算力就越高。NPU通常緩存較小但因為它專攻低精度算子所需數據本身就少所以能用較小緩存達到不錯效果。三是卡間互聯帶寬。大規(guī)模訓練時梯度同步比前向計算還耗時間。如果加速器之間的互聯帶寬跟不上就會出現一千塊卡跑不出三百塊卡三倍性能的情況。2.3 用算術強度判斷負載到底缺什么判斷負載到底是算得慢還是搬得慢業(yè)界有個簡單指標算術強度即一次數據搬運對應多少次計算。單位通常是FLOPS/Byte。比如某個矩陣乘數據量是2MB計算量是1GFLOPS那算術強度就是500FLOPS/Byte。芯片的硬件設計里有一條所謂平衡點曲線當你的負載算術強度低于這個點時性能被帶寬卡死算力再高也沒用高于這個點時才輪到計算單元說話。我建議你在選型前拿自己的模型做一個粗略口徑測量。具體做法很粗暴跑一個batch前向用性能分析工具記錄每秒實際讀取的顯存流量和實際FLOPS兩者一除就是真實場景下的算術強度。把這個數和候選加速器的規(guī)格對比你很快會知道瓶頸在計算還是帶寬。這個動作做上半小時勝過看十頁產品宣傳冊。3. 分場景實測視角訓練、推理和端側分別該盯什么3.1 訓練場景矩陣乘不是全部工程生態(tài)才是訓練階段選GPU仍然是綜合負擔最小的選擇這話我敢說因為它的軟件生態(tài)已經成熟到任何模型都有前人趟過坑的程度。但這不代表GPU在所有訓練場景都是最優(yōu)。如果你的任務是超大規(guī)模預訓練矩陣乘的形狀非常規(guī)整、權重形狀穩(wěn)定TPU脈動陣列的效率會明顯優(yōu)于同代GPU加速比可能達到1.5到2倍。代價是改造成本很高數據加載、優(yōu)化器狀態(tài)、混合精度策略都得照著它的調度習慣重寫一遍。這里要特別提醒訓練不只有GEMM通用矩陣乘。反向傳播里的各種逐元素算子、Gather/Scatter、動態(tài)Mask、注意力計算這些在GPU上是順手的事在TPU和NPU上可能需要拆解成多個子步驟。我見過某團隊把一套BERT規(guī)模的模型從GPU遷移到TPU花了兩周時間調性能最后發(fā)現瓶頸居然卡在LayerNorm算子上。原因很簡單脈動陣列天生擅長規(guī)整運算遇到逐元素歸約就得打折扣。如果你不是做超大規(guī)模預訓練而是普通微調、小規(guī)模訓練、頻繁改模型結構現階段最穩(wěn)妥的還是GPU。好鋼不能全用在刀刃上你的刀刃是快速試錯和靈活調參不是每瓦特算力最大化。3.2 推理場景時延、吞吐、成本三個指標一塊算推理場景和訓練場景的最大區(qū)別是模型結構已經完全固定各種算子可以提前融合和量化。這時候NPU的優(yōu)勢才真正顯現出來。推理服務有兩條路線可走。一條是追求最低時延比如實時語音交互每一幀都要在幾十毫秒內返回。NPU因為算子固化、任務調度輕量往往能提供更穩(wěn)定的P99時延而GPU上的時延抖動反而更明顯。另一條是追求最高吞吐比如離線批量圖片處理你的目標是在限定電費內處理盡可能多的圖片。這時候就得比單位功耗吞吐NPU的INT8算力和低功耗會顯得格外誘人。我自己的經驗是推理選型必須先定死兩個數字可接受的P99時延和每千次推理的成本上限。把這兩個數字寫出來再去逐項對比候選設備基本不會跑偏。如果一項紙面算力指標比競品高一倍但時延穩(wěn)定性做不到它就不該進入第二輪篩選。3.3 端側場景NPU上最典型的兩個坑端側部署是最典型、也最考驗人的NPU應用場景。第一個坑是算子覆蓋不全。你的模型可能95%的算子都被NPU支持了剩下5%的算子會退回CPU執(zhí)行這一退回性能反而可能比全跑CPU還慢。因為數據要反復在CPU和NPU之間搬運搬運成本直接被放大。我見過一個手勢識別Demo聲稱用了NPU加速實際只有30%的算子跑在NPU上推理時延比純CPU還高。第二個坑是量化誤差。NPU普遍只支持INT8或更低位寬權重和激活值的動態(tài)范圍一旦掌握不好精度就會掉得很難看。很多團隊在PC上用FP32模型跑出95%準確率一搬到NPU上直接掉到88%而且找不出原因。其實原因通常很樸素沒有做校準集、量化范圍選得太寬、某個敏感層沒有保留浮點。常見對策是先做逐層敏感度分析把對量化敏感的層保留在CPU或更高精度單元上其余層再做INT8。4. 選型決策框架從負載推導需求而不是被架構名詞帶著走4.1 別讓架構名詞替你做決定很多選型討論到最后都變成站隊GPU派、TPU派、NPU派。但架構名詞只是實現手段真正該做的是從工作負載往回推需求。我把這個方法總結成一個四象限分類法每次選型先給任務畫坐標第一象限訓練為主、模型頻繁變動、算子多樣。答案大概率是GPU。第二象限訓練為主、模型結構高度穩(wěn)定、矩陣乘絕對主導?？梢哉J真評估TPU。第三象限推理為主、性能要求高、可以接受量化改造。考慮NPU。第四象限推理為主、但算子每天都在改或者要兼容多個框架。GPU或高規(guī)格NPU都行看成本。當然現實中會有很多混合態(tài)。我見過一類平臺白天批量訓練一個多模態(tài)模型晚上對生產流量做高并發(fā)推理。這種混合負載其實不適合單一架構硬扛GTX級別的通用卡做訓練再加一塊專用推理卡做線上流量可能比全部用頂級GPU方案更省錢也更快。4.2 一張可以直接抄的選型檢查清單這里我把多年選型踩過的坑濃縮成一張清單每項都對應一個真實翻車場景。你可以直接照著逐條檢查模型結構是否穩(wěn)定到半年內不會大改是否有明確可測量的性能目標比如P99時延小于50毫秒是否有功耗約束比如整個邊緣盒子只能給15瓦是否允許引入新的框架和算子手工適配團隊里是否有人熟悉該加速器的調試工具鏈數據量是否大到需要卡間互聯互聯帶寬是否已納入評估是否有量化校準能力能否承受精度損失供應商是否提供持續(xù)驅動和編譯棧升級而不是一錘子買賣每一條都打上通過或存疑如果某一行開始猶豫就值得先做那個負載的mini落地上板測試再決定買不買。4.3 混合部署與漸進式改造思路老實說絕大多數團隊的算力規(guī)劃都應該走漸進式改造而不是一次性全換。比較好的做法是把模型分成兩類路徑一類是探索型負載允許頻繁改結構統一跑在GPU上保證迭代速度另一類是穩(wěn)定型負載上線后結構固定再做遷移和優(yōu)化。穩(wěn)定型負載遷移到NPU或TPU后有時候能把單位請求成本壓到原來的一半以下。我最近一次做圖像質檢項目就采用了這種混合思路白天訓練模型階段用GPU模型定稿后把線上推理的數據增強、卷積主干和分類頭在NPU上跑INT8量化版本并把量化敏感的注意力分支留在CPU上。最終計算成本大約壓低了40%而精度只掉了0.2個百分點?；旌喜渴鹇犐先ゲ荒敲赐昝赖a環(huán)境本來就該以性價比和穩(wěn)定為宇宙第一法則。5. 遷移落地的完整教訓算子對齊、精度容忍與性能驗證5.1 遷移前先做算子級風險清單一旦確定了要從GPU遷到TPU或NPU你第一件要做的不是裝驅動而是生成一份算子級風險清單。我通常的做法是拿一份訓練好的模型文件導出計算圖之后逐層掃描把每個算子分類成三類完全映射、需要改寫、不支持退回CPU。這一步純粹是體力活但能提前暴露90%的坑。拿常見視覺模型舉例常規(guī)卷積、BatchNorm、ReLU、Pooling這些在NPU上基本都有對應引擎而像可變形卷積、動態(tài)條件分支、復雜的topk和自定義Loss就很有可能是需要改寫或者不支持的類型。把這些算子單獨拎出來評估風險比直接整模型扔上去跑、然后對著報錯日志猜半天要高效太多。5.2 精度對齊量化后的誤差容忍怎么設精度對齊是遷移中最容易被低估的環(huán)節(jié)。很多人只盯著準確率看比如原來95分現在94.8分還行。但生產環(huán)境里的問題往往藏在極端樣本里所以除了整體準確率還應該對比逐條輸出的數值差異。我建議按照這樣一個流程來做精度驗證先在原框架用FP32把測試集推理結果保存下來作為基準再把同一批樣本在新加速器上、按目標精度比如INT8跑一遍然后計算每條樣本的輸出差MAE把差得最離譜的5%挑出來分析。你可以設置容忍閾值比如分類任務允許95%條目的預測標簽一致且MAE不超過某個絕對數。一旦出現系統性偏差優(yōu)先找出是哪一層導致的把那層單獨切到高精度或CPU上重跑。要是量化后精度掉得很厲害先別急著懷疑芯片大概率是校準集選得不對。校準集要覆蓋真實部署時的數據分布而不能隨便抽幾百張訓練集圖片尤其不能全是易分類樣本那樣會把動態(tài)范圍估窄。5.3 性能驗證別只看總時延要看拆解和穩(wěn)態(tài)性能測試最容易產生的錯誤判斷是拿第一次跑出來的端到端時延就下結論。真實世界的加速器在冷啟動時往往很慢跑幾個batch后溫度穩(wěn)定、緩存命中上來了性能才會進入正常曲線。我的經驗是至少先跑10次預熱再用后50次的平均值作為代表同時記錄P95和P99而不是只盯P50。除了總時延務必要拆開每一段算子的耗時。加速器自帶的性能剖析工具通常能給出每個算子的平均執(zhí)行時間和調用次數。你要做的是一眼找出耗時占比最大但又不在預期中的算子那些就是遷移不完整、數據搬運過度的癥狀。最常見的問題是有幾個算子在CPU上回退執(zhí)行導致CPU和加速器之間反復搬運數據時延直接在搬運中翻倍。5.4 我反復踩過、但你可以繞開的幾個坑總結幾個與具體品牌無關的通用教訓。第一永遠不要在遷移當天做重大發(fā)布至少留出一周做灰度驗證和回滾準備。第二不要迷信算子全部支持的兼容性文檔文檔說支持和實測性能不崩是兩件事。第三廠商給的樣例代碼可以直接跑但一定要拿自己的真實數據和真實batch shape再測一次因為很多性能數據是在最優(yōu)情況下測出來的真實shape一旦不規(guī)則專用加速器性能波動非常大。第四保留一個GPU備用通道線上出問題時你能在30分鐘內回切到穩(wěn)定基線而不是干瞪眼等待廠商工單回復?；氐介_頭說的話題。選型這件事本質是一場算力峰值、功耗預算、工程兼容性的三方談判。GPU提供了通用性與確定性的安全網TPU在特定形狀的大規(guī)模矩陣運算里做到了極致效率NPU則用低精度和專用化換來了極低功耗與單位成本。沒有絕對最好的加速器只有最適合你當前負載階段的那一款。按照我今天講的這套邏輯先畫負載類型再算算術強度然后跑性能驗證最后做混合部署兜底你會比大多數只看參數表的人離真實答案近得多。