1. 從MeViS-Text挑戰(zhàn)賽看多智能體視覺推理的實戰(zhàn)演進最近剛結(jié)束的第八屆LSVOS挑戰(zhàn)賽Long-term Single Video Object Segmentation的MeViS-Text賽道結(jié)果挺有意思。我們團隊最終拿下了這個賽道的冠軍核心方案是“多智能體目標存在性驗證”與“學(xué)習式掩碼幾何優(yōu)化”。這聽起來有點學(xué)術(shù)但說白了就是讓多個“小專家”智能體協(xié)同工作去判斷視頻里某個用文字描述的目標到底存不存在如果存在就把它精準地“摳”出來并且不斷優(yōu)化這個“摳圖”的邊界讓它更貼合真實物體。這個任務(wù)本身是視頻理解領(lǐng)域一個非常硬核的難題因為它要求模型不僅要理解復(fù)雜的自然語言描述還要在長時間跨度、存在大量相似干擾物和劇烈場景變化的視頻中穩(wěn)定地追蹤并分割出目標。這次奪冠與其說是某個單一算法的勝利不如說是一套系統(tǒng)工程和設(shè)計理念的勝利尤其是在如何將多智能體協(xié)同與幾何優(yōu)化這兩個看似獨立的模塊無縫整合到一個端到端的推理框架中。2. 拆解MeViS-Text賽道的核心難點與我們的應(yīng)對思路MeViS-Text任務(wù)的全稱是“基于文本描述的長期視頻實例分割”。它給模型一段視頻和一個文本查詢比如“穿著紅色衣服、正在滑滑板的小孩”模型需要輸出兩個結(jié)果一是判斷這個被描述的目標在整個視頻中是否出現(xiàn)Target-Existence Verification二是在目標出現(xiàn)的那些幀里給出像素級精確的分割掩碼Mask。這個任務(wù)難在哪我總結(jié)下來主要有三點2.1 語義歧義與指代模糊文本描述往往是開放式的可能對應(yīng)視頻中的多個物體或者只描述了物體的部分屬性。例如“那個戴帽子的男人”在一個人群密集的場景里可能有多個戴帽子的人。模型需要結(jié)合上下文前后幀和常識來判斷到底指的是哪一個。2.2 長期依賴與外觀劇變視頻可能很長目標在過程中會發(fā)生遮擋、離開視野、姿態(tài)變化、光照改變甚至是被其他物體短暫完全覆蓋。模型必須建立長期的時序記憶才能在被遮擋后重現(xiàn)時依然能正確識別目標而不是把它當作一個新物體。2.3 精細邊界與動態(tài)模糊視頻中的物體邊界往往不是清晰的特別是在運動模糊、半透明物體如玻璃、水、毛發(fā)或細小結(jié)構(gòu)處。生成一個粗糙的包圍框很簡單但要產(chǎn)生高質(zhì)量、符合物體真實幾何形狀的掩碼對模型的細節(jié)感知能力要求極高。面對這些難點傳統(tǒng)的單模型、端到端訓(xùn)練一個巨型網(wǎng)絡(luò)的方法往往在復(fù)雜場景下會顧此失彼。要么在存在性判斷上過于武斷要么在分割細節(jié)上丟失幾何信息。我們的核心思路是“分而治之協(xié)同優(yōu)化”。不再寄希望于一個“全能”模型而是設(shè)計多個各司其職的智能體Agent讓它們分別負責感知、驗證、提議和優(yōu)化并通過一個精心設(shè)計的協(xié)同機制讓它們的信息流動起來共同做出更魯棒、更精確的決策。這背后其實也暗合了當前AI系統(tǒng)設(shè)計的一個趨勢從追求單一的“大而全”模型轉(zhuǎn)向構(gòu)建高效協(xié)同的“多專家”系統(tǒng)。3. 多智能體目標存在性驗證從“我覺得”到“我們一致認為”“目標存在性驗證”是任務(wù)的第一道關(guān)卡也是減少后續(xù)無效計算、提升系統(tǒng)效率的關(guān)鍵。如果目標根本不存在那么所有分割計算都是浪費。我們設(shè)計的多智能體驗證系統(tǒng)其核心思想是引入多個具有不同“視角”和“專長”的驗證者通過它們的“討論”信息交換與聚合來達成共識。3.1 智能體的分工與設(shè)計我們主要部署了三種類型的驗證智能體外觀驗證智能體它專注于目標的視覺特征。我們使用一個預(yù)訓(xùn)練的視頻-文本對齊模型如CLIP的時空擴展版本作為骨干。這個智能體會在視頻的多個關(guān)鍵幀上計算文本描述與圖像區(qū)域的特征相似度。但它有個缺點容易被相似的物體欺騙比如兩個都穿紅衣服的人。運動模式驗證智能體這個智能體關(guān)注目標的動態(tài)特性。它分析光流場或者通過自監(jiān)督學(xué)習得到的運動特征判斷是否存在與文本描述相符的運動模式例如“滑滑板”會有特定的腿部擺動和滑板軌跡。這對于靜態(tài)外觀相似但動態(tài)不同的物體區(qū)分非常有效。時序一致性驗證智能體它負責從時間維度進行推理。該智能體維護一個簡單的目標狀態(tài)記憶出現(xiàn)、持續(xù)、消失、重現(xiàn)并檢查候選目標在時間線上的出現(xiàn)是否連貫、合理。例如一個目標不可能在毫無過渡的情況下從畫面左側(cè)瞬間跳到右側(cè)這可能是誤檢。3.2 協(xié)同驗證與決策融合每個智能體獨立工作后會輸出一個置信度分數(shù)和一個初步的感興趣區(qū)域ROI。簡單的投票或平均分數(shù)融合在這里效果不佳因為不同智能體在不同場景下的可靠性不同。我們采用了一個輕量級的“注意力協(xié)調(diào)器”。注意這個協(xié)調(diào)器本身也是一個可微的小型網(wǎng)絡(luò)它學(xué)習根據(jù)當前視頻片段的整體特征如場景復(fù)雜度、運動劇烈程度、外觀多樣性動態(tài)地為每個智能體的輸出分配合適的權(quán)重。例如在靜態(tài)場景中外觀驗證智能體的權(quán)重會提高在快速運動場景中運動模式智能體的意見會更受重視。具體流程如下各智能體并行處理視頻片段生成各自的置信度分數(shù)s_i和特征向量f_i。協(xié)調(diào)器接收所有f_i以及視頻的全局上下文特征輸出一組自適應(yīng)權(quán)重w_i通過softmax歸一化總和為1。最終的存在性置信度S_final Σ (w_i * s_i)。設(shè)定一個動態(tài)閾值根據(jù)驗證集性能確定當S_final超過閾值時判定目標存在并進入下一階段否則直接輸出“目標不存在”。這種多智能體驗證機制極大地降低了誤報率將不存在的目標判為存在和漏報率忽略了存在的目標。它模擬了人類在復(fù)雜場景中做判斷的過程我們會同時觀察顏色形狀外觀、動作運動、以及它之前在哪時序綜合所有這些線索再下結(jié)論。4. 學(xué)習式掩碼幾何優(yōu)化讓分割邊界“學(xué)會”貼合真實物體一旦確認目標存在并且有了初步的目標區(qū)域可能來自驗證階段某個智能體提供的粗糙建議框或者是上一個幀的掩碼下一步就是生成高質(zhì)量的分割掩碼。傳統(tǒng)方法包括一些優(yōu)秀的視頻實例分割模型其掩碼解碼器往往是基于固定的卷積核或Transformer結(jié)構(gòu)對于復(fù)雜幾何和模糊邊界的建模能力存在上限。我們的“學(xué)習式掩碼幾何優(yōu)化”模塊旨在讓模型主動學(xué)習如何修正和細化掩碼的邊界。4.1 從初始掩碼到幾何缺陷感知初始掩碼通常由一個基礎(chǔ)分割網(wǎng)絡(luò)如Mask2Former的變體產(chǎn)生。這個掩碼可能存在的問題包括邊界鋸齒、部分缺失如人的手指、包含背景如物體與背景顏色相近的區(qū)域、或者內(nèi)部空洞。我們不是直接用一個網(wǎng)絡(luò)去“修復(fù)”它而是先讓模型“看清”問題在哪。我們設(shè)計了一個“幾何缺陷感知頭”。這個小型網(wǎng)絡(luò)以初始掩碼和對應(yīng)的圖像特征為輸入輸出一個“缺陷熱圖”。這個熱圖上的高亮區(qū)域標識了模型認為掩碼邊界可能不準確、需要重點優(yōu)化的位置。例如在物體與背景顏色過渡平滑的區(qū)域熱圖值會較高。4.2 可學(xué)習的迭代優(yōu)化過程這是整個模塊的核心。我們將其構(gòu)建為一個可微分的、輕量級的迭代優(yōu)化器類似于一個針對掩碼幾何的“微型強化學(xué)習”過程但完全基于梯度下降。狀態(tài)表示將當前幀的掩碼二值圖或概率圖與對應(yīng)的圖像RGB特征、缺陷熱圖進行拼接形成一個豐富的“狀態(tài)”表示。動作空間我們定義了一組基本的幾何變換“原子操作”例如局部膨脹向邊界外擴展一個像素、局部腐蝕向邊界內(nèi)收縮一個像素、局部平滑對邊界進行高斯濾波。這些操作被參數(shù)化為可學(xué)習的小型卷積核。優(yōu)化器網(wǎng)絡(luò)這是一個核心的小型神經(jīng)網(wǎng)絡(luò)。它接收“狀態(tài)”表示并預(yù)測在當前“狀態(tài)”下對掩碼邊界上每個像素點應(yīng)該采取哪種“原子操作”以及操作的強度一個連續(xù)值。你可以把它想象成一個學(xué)會了如何“精修”圖片邊界的專業(yè)PS師。迭代執(zhí)行根據(jù)優(yōu)化器網(wǎng)絡(luò)預(yù)測的“動作”對當前掩碼應(yīng)用微小的幾何調(diào)整得到一個新的掩碼。這個新掩碼又作為下一輪迭代的輸入“狀態(tài)”。這個過程重復(fù)固定的K步例如3-5步。每一步的調(diào)整都是微小的但累積起來能顯著改善邊界質(zhì)量。監(jiān)督信號訓(xùn)練時我們使用真實標注的掩碼作為終極目標。損失函數(shù)由兩部分組成一是最終掩碼與真實掩碼的IoU損失和Dice損失二是我們增加了一個“中間過程正則化”損失鼓勵每一步迭代后的掩碼都比上一步更接近真實掩碼通過計算每一步掩碼與真值的距離這保證了優(yōu)化過程的穩(wěn)定性和單調(diào)改進趨勢。4.3 與多智能體驗證的聯(lián)動這個優(yōu)化模塊并不是孤立工作的。來自“驗證階段”的信息被有效地傳遞過來作為先驗。例如外觀驗證智能體提供的目標特征可以作為優(yōu)化器網(wǎng)絡(luò)的一個額外輸入幫助它更好地在復(fù)雜背景中“鎖定”目標應(yīng)有的紋理和顏色特征避免優(yōu)化過程中把背景錯誤地包含進來。運動模式智能體提供的運動線索則可以幫助優(yōu)化器在物體運動模糊的區(qū)域做出更合理的邊界推斷。下表概括了多智能體驗證與學(xué)習式幾何優(yōu)化兩個模塊如何協(xié)同工作階段核心模塊輸入輸出關(guān)鍵創(chuàng)新點驗證階段多智能體驗證系統(tǒng)視頻幀序列、文本查詢目標存在性布爾值、初步目標區(qū)域/特征多專家外觀/運動/時序協(xié)同決策自適應(yīng)權(quán)重融合降低誤判。優(yōu)化階段學(xué)習式掩碼幾何優(yōu)化初始粗糙掩碼、圖像特征、驗證階段特征精細化像素級分割掩碼將掩碼優(yōu)化建模為可學(xué)習的迭代過程網(wǎng)絡(luò)主動預(yù)測局部幾何修正動作。協(xié)同方式信息流--驗證階段提供的目標特征和置信度作為優(yōu)化階段的強先驗引導(dǎo)確保優(yōu)化“不跑偏”。5. 系統(tǒng)集成、訓(xùn)練策略與實戰(zhàn)中的調(diào)優(yōu)細節(jié)將兩個復(fù)雜的模塊集成到一個高效、可訓(xùn)練的管道中本身就是一個挑戰(zhàn)。我們的系統(tǒng)采用了一種松耦合但深度交互的設(shè)計。5.1 整體架構(gòu)與信息流我們采用了兩階段式架構(gòu)但不同于傳統(tǒng)的完全割裂的兩階段模型第一階段訓(xùn)練完固定權(quán)重再訓(xùn)練第二階段我們允許梯度在特定路徑上回流。第一階段驗證與提議多智能體驗證系統(tǒng)處理視頻如果驗證通過則同時輸出一個初步的、低分辨率的掩碼提議來自外觀驗證智能體中的區(qū)域推薦分支和所有智能體的高維特征。第二階段優(yōu)化初步掩碼被上采樣并與原始高分辨率圖像特征結(jié)合送入基礎(chǔ)分割網(wǎng)絡(luò)生成初始掩碼。同時第一階段輸出的高維特征經(jīng)過一個投影層被注入到“幾何缺陷感知頭”和“優(yōu)化器網(wǎng)絡(luò)”中。然后啟動迭代優(yōu)化過程。訓(xùn)練策略我們采用端到端與分階段訓(xùn)練相結(jié)合的方式。首先分別預(yù)訓(xùn)練多智能體驗證系統(tǒng)和基礎(chǔ)分割網(wǎng)絡(luò)。然后固定驗證系統(tǒng)的大部分權(quán)重聯(lián)合訓(xùn)練優(yōu)化模塊和基礎(chǔ)分割網(wǎng)絡(luò)的解碼部分。最后進行全局微調(diào)但只解鎖驗證系統(tǒng)中協(xié)調(diào)器和特征投影層的參數(shù)以避免災(zāi)難性遺忘。這種策略在穩(wěn)定性和性能之間取得了良好平衡。5.2 損失函數(shù)設(shè)計系統(tǒng)的總損失函數(shù)是多個損失的加權(quán)和L_total λ_veri * L_veri λ_seg * L_seg λ_refine * L_refineL_veri驗證損失使用帶權(quán)重的二元交叉熵損失對“存在”和“不存在”的樣本根據(jù)數(shù)據(jù)集中比例進行加權(quán)解決類別不平衡問題。L_seg基礎(chǔ)分割損失結(jié)合了Dice損失和IoU損失專注于掩碼的整體形狀。L_refine優(yōu)化損失包含最終掩碼損失和前述的中間過程正則化損失。5.3 實戰(zhàn)調(diào)優(yōu)心得與避坑指南在實驗和比賽調(diào)優(yōu)過程中我們積累了一些關(guān)鍵經(jīng)驗智能體數(shù)量不是越多越好最初我們嘗試了更多智能體如基于場景深度的但發(fā)現(xiàn)引入噪聲和計算開銷超過了帶來的收益。三個智能體外觀、運動、時序是一個經(jīng)驗上的“甜點”。協(xié)調(diào)器的過擬合協(xié)調(diào)器網(wǎng)絡(luò)雖然小但很容易在訓(xùn)練集上學(xué)會“偷懶”比如總是給某個智能體固定高權(quán)重。我們通過在協(xié)調(diào)器的輸入中加入隨機微擾并應(yīng)用較強的Dropout來緩解這個問題。優(yōu)化迭代步數(shù)K的選擇K太小如1-2步優(yōu)化不充分K太大如10步以上不僅計算量增加還容易陷入局部震蕩或過擬合。我們通過驗證集曲線發(fā)現(xiàn)對于MeViS數(shù)據(jù)集K3到5步效果最佳邊際收益遞減明顯。處理極端長視頻對于極長的視頻內(nèi)存和計算是問題。我們采用了分片處理策略將長視頻切成有重疊的片段分別進行驗證和優(yōu)化然后在片段交界處使用時序一致性智能體的記憶進行平滑銜接確保目標ID在不同片段間保持一致。文本描述的處理我們對比了直接使用CLIP文本編碼器和先用大型語言模型LLM對描述進行擴展/重寫兩種方式。發(fā)現(xiàn)對于簡單描述直接編碼足夠但對于復(fù)雜、隱含多屬性的描述如“那個剛才把球踢飛了的小孩”使用LLM進行輕量級推理和屬性解耦能小幅提升驗證準確率但需權(quán)衡推理時間成本。6. 結(jié)果分析與未來可能的演進方向在LSVOS Challenge 2026 MeViS-Text的測試集上我們的方案在關(guān)鍵指標上取得了領(lǐng)先。特別是在存在性驗證的準確率Precision和分割掩碼的邊界質(zhì)量Boundary IoU上提升較為明顯。這證明了多智能體協(xié)同決策在復(fù)雜開放世界判斷中的有效性以及將掩碼生成視為一個可學(xué)習優(yōu)化過程的潛力。回顧整個工作我認為其價值不僅在于提出了兩個新模塊更在于展示了一種構(gòu)建魯棒視頻理解系統(tǒng)的范式“專業(yè)化智能體 可微協(xié)同機制 迭代式精煉”。每個組件負責解決一個相對明確的子問題通過設(shè)計良好的接口進行通信和協(xié)作最終達成整體目標。對于未來我覺得有幾個方向值得深入智能體的動態(tài)創(chuàng)建與淘汰目前的智能體是靜態(tài)預(yù)設(shè)的。能否根據(jù)輸入視頻和文本的內(nèi)容動態(tài)地實例化最相關(guān)的一組智能體任務(wù)完成后這些智能體可以被“回收”。這需要更元的學(xué)習能力。優(yōu)化過程的可解釋性目前優(yōu)化器網(wǎng)絡(luò)是個黑盒。如果能可視化它在每一步認為的“缺陷”以及采取的“修正動作”將極大地增強我們對模型決策的理解和信任。與更基礎(chǔ)模型的結(jié)合當前系統(tǒng)仍依賴于預(yù)訓(xùn)練的視覺-語言模型作為基礎(chǔ)特征提取器。隨著視頻基礎(chǔ)模型Video Foundation Models的成熟如何將我們的多智能體協(xié)同框架與這些強大但通用的模型結(jié)合讓基礎(chǔ)模型提供更豐富的世界知識而我們的框架負責高效的任務(wù)特定推理是一個充滿潛力的方向。擴展到更廣泛的任務(wù)這套“驗證-優(yōu)化”的協(xié)同范式或許可以遷移到其他需要精細時空理解和決策的任務(wù)中比如視頻問答、交互式視頻編輯、甚至機器人基于視覺指令的操作。這次比賽的經(jīng)歷讓我深刻體會到在追求SOTA最先進水平指標的同時對系統(tǒng)進行深思熟慮的分解和設(shè)計往往比單純地增加模型參數(shù)量或數(shù)據(jù)量更能帶來實質(zhì)性的性能提升和魯棒性增強。特別是在實際應(yīng)用場景中這種可解釋、可模塊化改進的系統(tǒng)設(shè)計其價值會愈發(fā)凸顯。