1. 項(xiàng)目緣起為什么我們需要一個(gè)“會進(jìn)化”的搜索評測基準(zhǔn)如果你在過去幾年里關(guān)注過AI搜索助手或者RAG檢索增強(qiáng)生成領(lǐng)域一定會發(fā)現(xiàn)一個(gè)現(xiàn)象評測基準(zhǔn)的更新速度遠(yuǎn)遠(yuǎn)跟不上現(xiàn)實(shí)世界信息的變化速度。我們常常用一些經(jīng)典的問答數(shù)據(jù)集比如HotpotQA、Natural Questions或者一些靜態(tài)的網(wǎng)頁抓取快照來測試一個(gè)搜索代理Search Agent的能力。這些測試能告訴我們模型在“已知的、固定的”知識上表現(xiàn)如何但現(xiàn)實(shí)世界的搜索需求恰恰是動態(tài)的、未知的、時(shí)刻在變化的。舉個(gè)例子你今天問一個(gè)AI助手“OpenAI最新發(fā)布的模型是什么” 一個(gè)在2023年訓(xùn)練好的模型可能會回答“GPT-4”。但如果今天是2024年正確答案可能已經(jīng)變成了“o1”。這個(gè)模型本身的知識庫是靜態(tài)的它無法“感知”到世界的變化。于是我們引入了搜索代理——一個(gè)能主動調(diào)用搜索引擎、瀏覽網(wǎng)頁、整合最新信息來回答問題的智能體。聽起來很美好對吧但問題來了我們怎么知道這個(gè)搜索代理真的“跟得上時(shí)代”怎么量化它在面對“知識進(jìn)化”時(shí)的表現(xiàn)這就是“EvoBrowseComp”這個(gè)基準(zhǔn)試圖回答的核心問題。它不是一個(gè)靜態(tài)的快照而是一個(gè)模擬知識持續(xù)演化的動態(tài)測試場。我參與過不少搜索代理的研發(fā)和評測工作最深的一個(gè)體會是在靜態(tài)數(shù)據(jù)集上刷到高分的模型一旦放到真實(shí)、流動的互聯(lián)網(wǎng)環(huán)境中表現(xiàn)往往大打折扣。原因多種多樣可能是對過時(shí)信息的錯(cuò)誤堅(jiān)持可能是對新出現(xiàn)證據(jù)的整合能力不足也可能是瀏覽和推理策略在復(fù)雜場景下的失效。EvoBrowseComp的提出正是為了填補(bǔ)這塊關(guān)鍵的評測空白讓我們能更真實(shí)地評估搜索代理在“追逐真相”過程中的魯棒性和適應(yīng)性。2. EvoBrowseComp的核心設(shè)計(jì)哲學(xué)模擬真實(shí)的信息流變要構(gòu)建一個(gè)有效的動態(tài)評測基準(zhǔn)關(guān)鍵在于如何逼真地模擬“知識進(jìn)化”。EvoBrowseComp的設(shè)計(jì)并非簡單地給問題換幾個(gè)新日期而是從信息生態(tài)系統(tǒng)的底層邏輯出發(fā)。根據(jù)我對相關(guān)領(lǐng)域論文和工程實(shí)踐的理解一個(gè)優(yōu)秀的動態(tài)基準(zhǔn)至少需要包含以下幾個(gè)維度的進(jìn)化2.1 事實(shí)性知識的迭代與修正這是最直觀的層面。例如一個(gè)關(guān)于“某公司CEO是誰”的問題其答案可能隨著人事變動而改變。EvoBrowseComp會構(gòu)建一條時(shí)間線在t0時(shí)刻基準(zhǔn)提供與當(dāng)時(shí)事實(shí)相符的網(wǎng)頁快照和問題。到了t1時(shí)刻模擬幾天或幾周后基準(zhǔn)會更新部分網(wǎng)頁內(nèi)容反映CEO的變更但可能同時(shí)保留一些未更新的舊頁面。搜索代理的任務(wù)就是根據(jù)t1時(shí)刻可訪問的混合信息新舊并存給出當(dāng)前正確的答案。這直接考驗(yàn)代理的時(shí)序推理能力和對信息新鮮度的判斷。2.2 敘事與共識的演變很多話題沒有絕對的是非但其公共討論的焦點(diǎn)和主流共識會發(fā)生變化。比如關(guān)于“某種加密貨幣的技術(shù)前景”的討論在牛市和熊市期間主流媒體和分析文章的語氣、論據(jù)和結(jié)論可能截然不同。EvoBrowseComp可以模擬這種敘事漂移。它會在不同階段注入代表不同觀點(diǎn)傾向的“文章”要求搜索代理不僅找到信息還要能梳理出觀點(diǎn)演變的脈絡(luò)或者在特定時(shí)間背景下給出符合當(dāng)時(shí)語境的綜合摘要。這考驗(yàn)的是代理的語義理解深度和上下文把握能力。2.3 證據(jù)的補(bǔ)充與沖突一個(gè)事件的真相往往隨著更多證據(jù)的披露而逐漸清晰。EvoBrowseComp可以設(shè)計(jì)這樣的場景初期關(guān)于某個(gè)事件只有少量模糊的報(bào)道后期增加了官方調(diào)查報(bào)告、數(shù)據(jù)可視化、當(dāng)事人訪談等多模態(tài)、多來源的證據(jù)。這些新證據(jù)可能證實(shí)、補(bǔ)充也可能與早期信息相沖突。搜索代理需要像偵探一樣能夠協(xié)調(diào)多源信息識別并解決證據(jù)間的矛盾推導(dǎo)出更可靠的結(jié)論。這觸及了復(fù)雜推理和事實(shí)核查的核心。2.4 網(wǎng)頁結(jié)構(gòu)與干擾信息的變化真實(shí)瀏覽中廣告位置、推薦鏈接、頁面布局的改動都會影響信息提取。EvoBrowseComp可以在不同進(jìn)化階段改變模擬網(wǎng)頁的HTML結(jié)構(gòu)增加或減少導(dǎo)航欄、側(cè)邊欄、評論區(qū)等元素甚至插入一些語義相關(guān)但內(nèi)容無關(guān)的干擾段落。這考驗(yàn)搜索代理的“抗噪”能力和精準(zhǔn)定位目標(biāo)信息的能力而不僅僅是依賴固定的XPath或CSS選擇器。注意構(gòu)建這樣的動態(tài)基準(zhǔn)其技術(shù)關(guān)鍵在于建立一個(gè)可控的、可編程的“平行互聯(lián)網(wǎng)”沙盒。通常這會基于一套網(wǎng)頁模擬框架如gymnasium的擴(kuò)展或自定義環(huán)境將網(wǎng)頁內(nèi)容、鏈接關(guān)系、時(shí)間戳都參數(shù)化從而能夠按腳本精確地控制信息的“進(jìn)化”路徑并記錄搜索代理在每個(gè)步驟中的行動與觀察。3. 搜索代理在EvoBrowseComp中的典型挑戰(zhàn)與評估維度當(dāng)我們將一個(gè)搜索代理投入EvoBrowseComp環(huán)境它會遇到哪些具體的難關(guān)我們又該如何量化它的表現(xiàn)呢結(jié)合我在構(gòu)建智能體工作流方面的經(jīng)驗(yàn)以下幾個(gè)評估維度至關(guān)重要它們共同構(gòu)成了一個(gè)超越簡單準(zhǔn)確率的綜合評價(jià)體系。3.1 時(shí)序推理與信息新鮮度感知這是動態(tài)基準(zhǔn)區(qū)別于靜態(tài)基準(zhǔn)最核心的一點(diǎn)。代理必須理解“時(shí)間”的概念。挑戰(zhàn)代理可能會找到大量歷史正確但現(xiàn)已過時(shí)的信息。一個(gè)笨拙的代理會直接引用這些信息。一個(gè)優(yōu)秀的代理則需要主動尋找時(shí)間證據(jù)如文章的發(fā)布日期、數(shù)據(jù)報(bào)告的年份并優(yōu)先采納時(shí)間戳更近的信息。評估指標(biāo)答案時(shí)效性正確率給出的最終答案是否符合當(dāng)前模擬環(huán)境中的“最新”時(shí)間點(diǎn)的事實(shí)。時(shí)間證據(jù)引用率代理在決策過程中是否明確引用了用于判斷信息新舊的時(shí)間戳來源。過時(shí)信息誤用率在最終答案或關(guān)鍵推理步驟中錯(cuò)誤引用了已被明確更新的過時(shí)信息的頻率。3.2 多步瀏覽與戰(zhàn)略規(guī)劃能力面對一個(gè)復(fù)雜問題代理不可能一蹴而就。它需要制定瀏覽策略先搜什么關(guān)鍵詞點(diǎn)開哪個(gè)鏈接是深度閱讀一篇文章還是快速掃描多篇當(dāng)遇到矛盾信息時(shí)是回溯檢查還是尋找第三方佐證挑戰(zhàn)EvoBrowseComp的環(huán)境可能包含陷阱鏈接標(biāo)題黨但內(nèi)容空洞、循環(huán)鏈接或需要多跳才能抵達(dá)關(guān)鍵信息的路徑。代理的規(guī)劃效率直接影響其完成任務(wù)的速度和成功率。評估指標(biāo)任務(wù)完成率在有限的行動步數(shù)如最多打開20個(gè)網(wǎng)頁內(nèi)成功找到足夠信息以回答問題的比例。平均路徑長度完成任務(wù)所需瀏覽的網(wǎng)頁數(shù)量。過短可能意味著草率過長則意味著效率低下需要結(jié)合成功率看。關(guān)鍵頁面命中率是否成功定位并瀏覽了環(huán)境中預(yù)設(shè)的、包含決定性證據(jù)的“關(guān)鍵頁面”。3.3 信息整合與矛盾解決能力當(dāng)來自不同來源的信息表述不一致時(shí)代理如何處理這是區(qū)分“信息檢索器”和“信息分析師”的關(guān)鍵。挑戰(zhàn)EvoBrowseComp會刻意引入矛盾信息例如兩篇同期文章對同一數(shù)據(jù)有不同的解讀或新舊頁面間存在事實(shí)沖突。評估指標(biāo)矛盾識別率代理在報(bào)告中是否明確指出了所發(fā)現(xiàn)的信息矛盾。沖突解決質(zhì)量對于識別出的矛盾代理提出的解決方案是否合理例如依據(jù)信源權(quán)威性、時(shí)間戳、證據(jù)充分性進(jìn)行裁決。這可以通過人工評估或預(yù)設(shè)的解決規(guī)則來自動打分。綜合摘要的連貫性最終生成的答案或摘要是否平滑地整合了多源信息邏輯自洽無明顯矛盾或斷裂。3.4 對抗干擾與魯棒性模擬環(huán)境中會存在各種“噪音”如突然彈出的模擬廣告、與主題部分相關(guān)但意圖轉(zhuǎn)移注意力的鏈接、包含錯(cuò)誤信息的惡意頁面在安全邊界內(nèi)模擬等。挑戰(zhàn)代理是否會因?yàn)橐粋€(gè)設(shè)計(jì)夸張的廣告鏈接而偏離任務(wù)主線是否會輕信一個(gè)看似權(quán)威但實(shí)為偽造的頁面評估指標(biāo)干擾項(xiàng)點(diǎn)擊率代理點(diǎn)擊了預(yù)設(shè)干擾鏈接的比例。任務(wù)偏離度在會話中代理的一系列行動是否始終圍繞核心問題展開可以通過行動序列與預(yù)設(shè)任務(wù)目標(biāo)的相關(guān)性來計(jì)算。錯(cuò)誤信息抵御率當(dāng)遇到包含明顯事實(shí)錯(cuò)誤但可能表述得很有說服力的頁面時(shí)代理是否將其采納為可靠信源。4. 從理論到實(shí)踐構(gòu)建與運(yùn)行EvoBrowseComp基準(zhǔn)的技術(shù)棧思考雖然EvoBrowseComp是一個(gè)研究概念但將其工程化實(shí)現(xiàn)離不開一系列技術(shù)組件的支撐。這里我結(jié)合分布式系統(tǒng)與模擬環(huán)境開發(fā)的經(jīng)驗(yàn)探討一個(gè)可能的實(shí)現(xiàn)架構(gòu)這有助于我們更深入地理解基準(zhǔn)的運(yùn)作機(jī)制。4.1 環(huán)境模擬器可控的“微縮互聯(lián)網(wǎng)”這是基準(zhǔn)的核心。它不能是一個(gè)真實(shí)的、不可控的互聯(lián)網(wǎng)而必須是一個(gè)完全可編程的沙盒。實(shí)現(xiàn)選擇通常會基于一個(gè)強(qiáng)化學(xué)習(xí)環(huán)境框架如Farama Foundation的Gymnasium進(jìn)行封裝。每個(gè)“網(wǎng)頁”是一個(gè)狀態(tài)state包含HTML內(nèi)容、元數(shù)據(jù)標(biāo)題、發(fā)布時(shí)間、模擬URL和可點(diǎn)擊鏈接指向其他狀態(tài)的ID。關(guān)鍵設(shè)計(jì)狀態(tài)空間定義網(wǎng)頁內(nèi)容需要用富文本格式表示可能包含文本、圖片描述alt text、表格數(shù)據(jù)等結(jié)構(gòu)化信息。這決定了代理的觀察空間。動作空間定義代理的動作通常包括搜索(query)、點(diǎn)擊(link_id)、返回、停止并回答。搜索動作會觸發(fā)環(huán)境根據(jù)query返回一個(gè)模擬的搜索結(jié)果頁SERP。進(jìn)化引擎這是EvoBrowseComp的靈魂。需要一個(gè)獨(dú)立的“導(dǎo)演腳本”或配置系統(tǒng)來定義時(shí)間線t0, t1, t2...以及每個(gè)時(shí)間點(diǎn)上各個(gè)網(wǎng)頁狀態(tài)的具體內(nèi)容、鏈接關(guān)系如何變化。這些變化規(guī)則需要預(yù)先精心設(shè)計(jì)以覆蓋第2章提到的各種進(jìn)化類型。4.2 搜索代理接口統(tǒng)一的行為規(guī)范為了公平評測不同的搜索代理可能是基于LangChain、LlamaIndex構(gòu)建的也可能是自定義的模型需要定義一個(gè)清晰的接口。接口協(xié)議代理需要實(shí)現(xiàn)一個(gè)step(observation)函數(shù)接收當(dāng)前網(wǎng)頁的觀察可能包括URL、頁面內(nèi)容、歷史記錄返回一個(gè)動作action。環(huán)境執(zhí)行該動作并返回新的觀察、獎(jiǎng)勵(lì)如果有和完成標(biāo)志。上下文管理代理內(nèi)部需要維護(hù)會話歷史記住自己瀏覽過哪些頁面、看到過什么信息這是進(jìn)行多步推理的基礎(chǔ)。環(huán)境通常也會在觀察中提供有限的歷史上下文。4.3 評估流水線自動化評分與深入分析評測不能只靠最終答案的對錯(cuò)。需要一個(gè)自動化的流水線來收集數(shù)據(jù)并計(jì)算第3章提到的各項(xiàng)指標(biāo)。日志記錄詳盡記錄每個(gè)代理在每個(gè)回合的完整軌跡軌跡 [初始狀態(tài) 動作1 新狀態(tài)1 動作2 新狀態(tài)2, ..., 最終答案]。答案評估器客觀題對于有明確答案的事實(shí)性問題可以使用字符串匹配、關(guān)鍵實(shí)體抽取對比或使用一個(gè)強(qiáng)大的LLM作為“裁判”進(jìn)行評分。主觀題/摘要題對于觀點(diǎn)梳理、摘要生成等任務(wù)通常需要依賴LLM-as-a-Judge通過精心設(shè)計(jì)的提示詞讓一個(gè)高級模型如GPT-4根據(jù)標(biāo)準(zhǔn)答案或評分規(guī)則對代理的產(chǎn)出進(jìn)行多維度打分如事實(shí)準(zhǔn)確性、完整性、時(shí)效性、連貫性。軌跡分析器這是挖掘深層問題的關(guān)鍵。通過分析日志可以計(jì)算路徑效率、矛盾識別點(diǎn)、干擾項(xiàng)接觸情況等?？梢暬ぞ呷鐚g覽路徑畫成圖在這里非常有幫助。4.4 基準(zhǔn)的可持續(xù)性與擴(kuò)展性一個(gè)基準(zhǔn)要有生命力必須易于使用和擴(kuò)展。任務(wù)套件EvoBrowseComp應(yīng)該包含多個(gè)不同的任務(wù)集task suite每個(gè)任務(wù)集聚焦于一種特定的進(jìn)化模式如純事實(shí)更新、觀點(diǎn)演變、多源沖突等。研究人員可以測試他們的代理在特定方面的能力。難度分級每個(gè)任務(wù)可以有不同難度等級通過調(diào)節(jié)信息噪音大小、矛盾隱蔽性、所需瀏覽步數(shù)等參數(shù)來實(shí)現(xiàn)。社區(qū)貢獻(xiàn)設(shè)計(jì)清晰的格式允許社區(qū)貢獻(xiàn)新的“進(jìn)化劇本”和網(wǎng)頁模擬內(nèi)容使基準(zhǔn)不斷豐富和貼近現(xiàn)實(shí)。5. 對現(xiàn)有搜索代理系統(tǒng)的啟示與未來方向通過EvoBrowseComp的透鏡去審視當(dāng)前主流的搜索代理實(shí)現(xiàn)方案我們會發(fā)現(xiàn)一些共性的薄弱環(huán)節(jié)同時(shí)也指明了值得投入的改進(jìn)方向。5.1 當(dāng)前架構(gòu)的常見短板對時(shí)間信號的漠視很多代理的檢索器Retriever和閱讀器Reader并沒有顯式地處理時(shí)間信息。它們可能更關(guān)注語義相關(guān)性而忽略了文檔的時(shí)效性。在RAG架構(gòu)中如果向量數(shù)據(jù)庫里的文檔嵌入沒有包含時(shí)間特征那么檢索階段就可能把過時(shí)但語義高度相關(guān)的文檔排在前面。規(guī)劃能力的脆弱性基于ReAct推理行動或類似提示詞框架的代理其規(guī)劃能力嚴(yán)重依賴于底層大語言模型LLM的推理質(zhì)量。在面對EvoBrowseComp設(shè)計(jì)的復(fù)雜、長鏈條任務(wù)時(shí)模型很容易“迷失”出現(xiàn)循環(huán)動作、無效搜索或提前終止。信源評估的簡單化多數(shù)代理對信源可靠性的評估過于粗糙可能僅僅基于域名如.edu,.gov或簡單的流行度。在動態(tài)環(huán)境中一個(gè)傳統(tǒng)權(quán)威網(wǎng)站可能發(fā)布了未及時(shí)更新的舊聞而一個(gè)新興的專業(yè)博客可能提供了最新的一手分析。代理需要更細(xì)粒度、上下文相關(guān)的信源評估機(jī)制。5.2 有潛力的改進(jìn)思路增強(qiáng)時(shí)序感知的檢索在文檔嵌入或索引階段將發(fā)布時(shí)間作為一個(gè)強(qiáng)特征融入。可以探索學(xué)習(xí)一種“時(shí)間衰減”的相關(guān)性評分函數(shù)讓更新鮮的文檔在相似度接近時(shí)獲得排名提升?；蛘咴跈z索后增加一個(gè)專門的“時(shí)效性過濾”模塊。分層規(guī)劃與子目標(biāo)分解與其讓LLM一次性規(guī)劃整個(gè)復(fù)雜任務(wù)不如設(shè)計(jì)一個(gè)分層決策系統(tǒng)。高層控制器將大問題分解為邏輯子問題例如“先確認(rèn)事件A是否發(fā)生” - “再查找事件A的具體時(shí)間地點(diǎn)” - “最后搜集各方反應(yīng)”。每個(gè)子問題由更專注的模塊或策略來處理降低單步規(guī)劃的認(rèn)知負(fù)荷?；谧C據(jù)鏈的推理與驗(yàn)證要求代理在生成最終答案時(shí)必須同時(shí)輸出其“證據(jù)鏈”——即引用了哪些網(wǎng)頁的哪些具體片段以及這些片段的時(shí)間戳和信源。這不僅能提高答案的可解釋性也為評估提供了便利。更進(jìn)一步可以訓(xùn)練一個(gè)專門的“一致性校驗(yàn)器”模塊用來檢測證據(jù)鏈內(nèi)部以及證據(jù)鏈與初步答案之間的矛盾。模擬瀏覽與真實(shí)瀏覽的融合訓(xùn)練EvoBrowseComp這樣的模擬環(huán)境是絕佳的訓(xùn)練場。我們可以讓搜索代理在大量模擬任務(wù)中進(jìn)行試錯(cuò)學(xué)習(xí)通過強(qiáng)化學(xué)習(xí)或模仿學(xué)習(xí)來優(yōu)化其瀏覽策略。隨后再將習(xí)得的策略遷移到有安全限制的真實(shí)網(wǎng)絡(luò)瀏覽中實(shí)現(xiàn)能力提升。EvoBrowseComp這類動態(tài)評測基準(zhǔn)的出現(xiàn)標(biāo)志著AI智能體評估正在從一個(gè)“開卷考試”時(shí)代邁向一個(gè)“開卷且考題隨時(shí)在變”的更高維度競爭時(shí)代。它迫使我們?nèi)ニ伎妓阉鞯谋举|(zhì)——不僅僅是匹配已知模式更是在信息流中主動導(dǎo)航、持續(xù)學(xué)習(xí)、辯證思考的能力。作為從業(yè)者我們不應(yīng)該再把高分的靜態(tài)基準(zhǔn)成績視為終點(diǎn)而應(yīng)將其看作一個(gè)起點(diǎn)。真正的挑戰(zhàn)和機(jī)遇在于如何讓我們的智能體學(xué)會在永恒變化的世界里可靠地尋找、理解和整合信息。這不僅是技術(shù)問題也關(guān)乎我們?nèi)绾卧O(shè)計(jì)更健壯、更可信賴的人機(jī)協(xié)作系統(tǒng)。