從注意力到動態(tài)記憶：高中生也能看懂的 Kairos 門控線性注意力（GLA）數(shù)學推導一、先用一句話理解 GLAKairos 使用門控線性注意力（Gated Linear Attention, GLA）來維護長期信息。它可以被理解為一塊固定大小的“動態(tài)記憶板”：每當新信息到來，模型先查看記憶中原來保存了什么，再判斷舊內(nèi)容是否需要遺忘、修正或覆蓋，最后把更新后的記憶傳給未來。例如，一個機器人先看到紅色杯子位于桌子左側(cè)。后來杯子被手擋住，當前畫面中已經(jīng)看不到杯子，但機器人仍然需要記?。杭t色杯子沒有憑空消失，它之前位于桌子左側(cè)。這種能力叫作物體恒常性（Object Permanence）。Kairos 中的 GLA 主要負責保存：物體是否仍然存在；任務進行到了哪一個階段；之前是否發(fā)生過抓取失??；很久之前的動作是否產(chǎn)生了延遲影響；已經(jīng)離開局部窗口、但仍可能影響未來的信息。需要先說明一個容易混淆的地方：GLA 是 Kairos 中全局記憶通路的名稱；這條通路具體使用門控 Delta 網(wǎng)絡（Gated DeltaNet, GDN）來更新記憶。