文章核心總結(jié)與翻譯一、主要內(nèi)容該研究針對(duì)大型語(yǔ)言模型（LLMs）的機(jī)器學(xué)習(xí)遺忘問(wèn)題，提出了一種名為RapidUn的高效遺忘框架。核心目標(biāo)是在保留模型通用知識(shí)的前提下，選擇性地消除特定訓(xùn)練數(shù)據(jù)（如敏感信息、惡意內(nèi)容）的影響，以滿足隱私法規(guī)（如“被遺忘權(quán)”）和安全部署需求。關(guān)鍵背景與挑戰(zhàn)現(xiàn)有LLM遺忘方法存在缺陷：全量重訓(xùn)練計(jì)算成本極高，而梯度上升、Fisher矩陣校正等近似方法缺乏針對(duì)性，對(duì)遺忘樣本處理均勻化，導(dǎo)致遺忘不徹底或損害模型正常性能，尤其在遺忘集小且不平衡時(shí)問(wèn)題突出。核心挑戰(zhàn)包括：監(jiān)督信號(hào)稀疏且嘈雜、優(yōu)化不穩(wěn)定、需兼顧效率與可解釋性?？蚣芎诵脑O(shè)計(jì)RapidUn采用基于影響力驅(qū)動(dòng)的參數(shù)高效遺忘策略，分為三個(gè)階段：快速影響力估計(jì)：通過(guò)RapidIn模塊計(jì)算token級(jí)梯度交互，量化遺忘集與保留集樣本間的四向影響力（遺忘→遺忘、遺忘→保留、保留→遺忘、保留→保留）。方向融合：將四向影響力聚合為可解釋的樣本級(jí)分?jǐn)?shù)，區(qū)分有害模式與有用知識(shí)的貢獻(xiàn)。自適應(yīng)權(quán)重映射：將影響力分?jǐn)?shù)轉(zhuǎn)換為有界權(quán)重，指導(dǎo)LoRA適配器的梯度更新（遺忘集梯度上升、保留集梯度下降），實(shí)現(xiàn)精準(zhǔn)遺忘與知識(shí)保留的平衡。實(shí)驗(yàn)結(jié)果在Llama-3-8