普通 AttentionMHA/GQA與 MLAMulti-head Latent Attention的核心差異在于KV Cache 的存儲與表達(dá)形態(tài)。標(biāo)準(zhǔn) Attention 選擇按頭顯式平鋪存儲K/VK/VK/V向量而 MLA 通過“低秩聯(lián)合壓縮 RoPE 解耦”將 KV Cache 壓縮為無關(guān)頭數(shù)的隱變量大幅破除了長上下文推理的顯存帶寬瓶頸。對比維度普通 Attention (MHA / GQA)MLA (Multi-head Latent Attention)KV 存儲結(jié)構(gòu)按頭 (HkvH_{kv}Hkv?) 獨立保存KKK與VVV向量聯(lián)合壓縮為無頭的低秩隱變量ctKVc_t^{KV}ctKV? 專用 RoPE 向量ktRk_t^RktR?KV Cache 公式B×L×T×Hkv×(DqkDv)B \times L \times T \times \mathbf{H_{kv}} \times (D_{qk} D_v)B×L×T×Hkv?×(Dqk?Dv?)B×L×T×(RkvDrope)B \times L \times T \times (R_{kv} D_{rope})B×L×T×(Rkv?Drope?)顯存乘數(shù)依賴強依賴KV 頭數(shù) (HkvH_{kv}Hkv?)完全剔除HkvH_{kv}Hkv?乘數(shù)KV Cache 占用降低 70%~80%RoPE 位置編碼直接融合在多頭KKK向量中解耦獨立存儲因為旋轉(zhuǎn)矩陣無法被低秩投影吸收推理計算開銷標(biāo)準(zhǔn)矩陣乘法依靠矩陣吸收Matrix AbsorptionDecode 時不增加額外計算核心適用場景適合短文本、小 Batch 推理專為超長上下文、大并發(fā) Batch 推理設(shè)計如 DeepSeek-V3/R1核心技術(shù)點解析剔除頭數(shù)乘積 (HkvH_{kv}Hkv?)傳統(tǒng) GQA 雖減少了 KV 頭數(shù)但仍有HkvH_{kv}Hkv?乘法項。MLA 直接將所有頭的K/VK/VK/V壓縮為一個統(tǒng)一的潛隱向量RkvR_{kv}Rkv?使單個 Token 占據(jù)的顯存與模型設(shè)定的注意力頭數(shù)量徹底解耦。矩陣吸收 (Matrix Absorption)MLA 表面上看起來每次計算都要將低秩隱向量重新“還原”成多頭但在 Decode 階段生成K/VK/VK/V的升維矩陣可以提前在數(shù)學(xué)上融進 Query 的投影矩陣WQW_QWQ?和 Output 矩陣WOW_OWO?中因此解碼時完全無需顯式展開多頭完全不增加額外計算量。RoPE 的解耦設(shè)計旋轉(zhuǎn)位置編碼RoPE打破了線性變換的吸附特性無法直接被投影矩陣吸收。MLA 專門解耦出一條獨立的DropeD_{rope}Drope?維度來專門存儲帶位置信息的 Key既保留了長上下文位置感知又確保了低秩壓縮算子的代數(shù)優(yōu)雅。