1. 從“黑盒”到“白盒”為什么我們需要為搜索智能體穿上“韁繩”如果你最近在關(guān)注強(qiáng)化學(xué)習(xí)Reinforcement Learning, RL領(lǐng)域尤其是多智能體Multi-Agent或涉及復(fù)雜決策的智能體Agent研究可能會(huì)發(fā)現(xiàn)一個(gè)趨勢(shì)大家越來越不滿足于訓(xùn)練出一個(gè)“能跑”的模型而是更渴望理解它“為什么這么跑”。特別是在搜索Search這類任務(wù)中智能體需要在龐大的信息空間里探索、決策其內(nèi)部狀態(tài)State往往像一個(gè)黑盒我們只知道輸入和輸出卻難以洞察其決策邏輯和知識(shí)運(yùn)用過程。這就帶來了幾個(gè)核心痛點(diǎn)模型行為難以解釋、訓(xùn)練過程不穩(wěn)定、知識(shí)難以被有效復(fù)用和驗(yàn)證?！癏arness-1”這個(gè)概念或者說“State-Externalizing Harnesses”狀態(tài)外化韁繩正是為了解決這些問題而提出的一個(gè)框架性思路。它不是一個(gè)具體的算法而是一種設(shè)計(jì)范式。想象一下你訓(xùn)練一匹賽馬智能體去完成復(fù)雜的障礙賽搜索任務(wù)。傳統(tǒng)方法是你只給指令和終點(diǎn)馬兒自己摸索著跑跑得好就獎(jiǎng)勵(lì)跑不好就懲罰。但你不知道它為什么選擇跳這個(gè)欄桿而不是繞過去也不知道它是否記住了賽道的地形。而“韁繩”的作用就是讓你能實(shí)時(shí)感知到馬兒的肌肉狀態(tài)、視線焦點(diǎn)和心跳節(jié)奏即智能體的內(nèi)部狀態(tài)甚至能通過韁繩施加一些引導(dǎo)性的力。在技術(shù)層面這對(duì)應(yīng)著將智能體決策過程中的關(guān)鍵內(nèi)部狀態(tài)——比如它對(duì)當(dāng)前查詢Query的理解、對(duì)已檢索Retrieval信息的置信度、下一步探索的意圖、甚至是其內(nèi)部“工作記憶”——以一種結(jié)構(gòu)化的、可觀測(cè)的方式“外化”Externalize出來。這個(gè)外化的狀態(tài)就成為了一個(gè)可以被監(jiān)控、分析、甚至被另一個(gè)智能體如一個(gè)專門的“監(jiān)控子智能體”或“檢索子智能體”所利用的接口。這正是“retrieval subagent”這個(gè)熱詞常常出現(xiàn)的場(chǎng)景一個(gè)主智能體負(fù)責(zé)高層策略而一個(gè)或多個(gè)配備了“韁繩”的子智能體專門負(fù)責(zé)根據(jù)外化的狀態(tài)信息執(zhí)行更精準(zhǔn)的信息檢索或知識(shí)驗(yàn)證。所以當(dāng)我們談?wù)摗癏arness-1: Reinforcement Learning for Search Agents with State-Externalizing Harnesses”時(shí)我們討論的遠(yuǎn)不止是一個(gè)技術(shù)實(shí)現(xiàn)。它關(guān)乎如何構(gòu)建更透明、更可控、更協(xié)作的AI系統(tǒng)。這不僅僅是學(xué)術(shù)上的探索對(duì)于實(shí)際應(yīng)用——比如構(gòu)建一個(gè)能真正理解復(fù)雜問題、進(jìn)行多步推理的搜索引擎助手或者一個(gè)能自主查閱資料并生成可靠報(bào)告的分析智能體——具有至關(guān)重要的意義。接下來我將拆解這個(gè)框架的核心組件、實(shí)現(xiàn)邏輯并分享在構(gòu)建這類系統(tǒng)時(shí)可能遇到的“坑”和實(shí)戰(zhàn)技巧。2. 核心架構(gòu)拆解“韁繩”系統(tǒng)是如何工作的要理解Harness-1這類框架我們不能停留在比喻層面必須深入到其技術(shù)架構(gòu)。一個(gè)典型的基于狀態(tài)外化韁繩的強(qiáng)化學(xué)習(xí)搜索智能體系統(tǒng)通常包含以下幾個(gè)核心模塊它們共同協(xié)作將黑盒決策過程轉(zhuǎn)變?yōu)榭捎^測(cè)、可干預(yù)的流程。2.1 智能體本體與狀態(tài)空間定義首先我們有一個(gè)主搜索智能體Main Search Agent。它本質(zhì)上是一個(gè)強(qiáng)化學(xué)習(xí)策略網(wǎng)絡(luò)其目標(biāo)是最大化在搜索任務(wù)中獲得的總獎(jiǎng)勵(lì)。它的輸入通常是當(dāng)前的用戶查詢或任務(wù)描述以及環(huán)境反饋如上一輪搜索的結(jié)果質(zhì)量。它的輸出是動(dòng)作Action例如向搜索引擎提交一個(gè)修改后的關(guān)鍵詞、點(diǎn)擊某個(gè)特定結(jié)果、對(duì)已有信息進(jìn)行綜合、或者判斷任務(wù)已完成。關(guān)鍵點(diǎn)在于狀態(tài)State的定義。在傳統(tǒng)RL中狀態(tài)通常是環(huán)境觀測(cè)Observation的直接或間接表示。但在Harness-1范式中我們要求智能體內(nèi)部維護(hù)一個(gè)更豐富、更結(jié)構(gòu)化的“認(rèn)知狀態(tài)”。這個(gè)狀態(tài)需要被設(shè)計(jì)成可外化的通常包括意圖狀態(tài)Intent State智能體當(dāng)前試圖解決的具體子問題是什么例如從最初的“如何優(yōu)化深度學(xué)習(xí)模型訓(xùn)練速度”其意圖可能演變?yōu)椤安檎谊P(guān)于混合精度訓(xùn)練AMP的官方文檔”。信念狀態(tài)Belief State智能體對(duì)已獲取信息的信任程度。例如它對(duì)檢索到的第3條結(jié)果的置信度是85%但對(duì)第5條結(jié)果的置信度只有30%。這個(gè)置信度可能基于來源權(quán)威性、內(nèi)容一致性等內(nèi)部計(jì)算。知識(shí)狀態(tài)Knowledge State智能體從歷史交互中積累并結(jié)構(gòu)化后的關(guān)鍵信息片段。這不是原始檢索結(jié)果的堆砌而是經(jīng)過提煉的如實(shí)體、關(guān)系、事實(shí)主張。探索狀態(tài)Exploration State智能體處于搜索的哪個(gè)階段是廣泛探索Broad Exploration、聚焦深入Focused Investigation還是驗(yàn)證合成Verification Synthesis這個(gè)內(nèi)部狀態(tài)S_internal是智能體決策的核心依據(jù)。Harness-1的核心創(chuàng)新在于我們強(qiáng)制或鼓勵(lì)智能體將這個(gè)S_internal定期或按需輸出形成一個(gè)標(biāo)準(zhǔn)化的狀態(tài)描述S_external。這就是“狀態(tài)外化”。2.2 狀態(tài)外化接口與“韁繩”層狀態(tài)外化接口是連接智能體內(nèi)部世界和外部監(jiān)控/輔助系統(tǒng)的橋梁。S_external需要被編碼成一種機(jī)器可讀且含義明確的格式。JSON是一種常見選擇因?yàn)樗Y(jié)構(gòu)清晰易于解析。例如{ “current_intent”: “find comparative benchmarks between TensorFlow and PyTorch on transformer models”, “beliefs”: [ {“doc_id”: “result_42”, “confidence”: 0.92, “key_fact”: “PyTorch dynamic graphs aid research”}, {“doc_id”: “result_18”, “confidence”: 0.65, “key_fact”: “TF’s XLA can optimize static graphs for production”} ], “knowledge_graph”: {“entities”: [“TensorFlow”, “PyTorch”, “Transformer”], “relations”: [“compare”, “benchmark”]}, “exploration_phase”: “focused_investigation”, “next_planned_actions”: [“retrieve official benchmark papers from arXiv”, “search for recent community discussions”] }“韁繩”Harness層就是圍繞這個(gè)S_external構(gòu)建的一系列外部模塊。它不直接修改智能體的策略而是通過提供額外的信息或約束來影響智能體的決策環(huán)境。主要功能包括狀態(tài)監(jiān)控與記錄持續(xù)記錄S_external的演變用于事后分析、可解釋性報(bào)告和調(diào)試。當(dāng)智能體做出一個(gè)錯(cuò)誤決策時(shí)我們可以回溯查看它當(dāng)時(shí)的“想法”。獎(jiǎng)勵(lì)塑形Reward Shaping基于外化狀態(tài)計(jì)算額外的獎(jiǎng)勵(lì)信號(hào)。例如如果智能體的“意圖狀態(tài)”頻繁且無意義地跳變可以給予一個(gè)小的負(fù)獎(jiǎng)勵(lì)鼓勵(lì)其保持思考的連貫性。如果它的“知識(shí)狀態(tài)”成功地連接了兩個(gè)看似不相關(guān)的概念可以給予正獎(jiǎng)勵(lì)。安全與約束檢查檢查外化狀態(tài)是否觸發(fā)了預(yù)設(shè)的規(guī)則或紅線。例如如果“意圖狀態(tài)”涉及敏感領(lǐng)域或“信念狀態(tài)”中高置信度的信息來源于不可靠的網(wǎng)站“韁繩”可以強(qiáng)制智能體進(jìn)入一個(gè)安全狀態(tài)或觸發(fā)人工審核流程。為子智能體提供上下文這是“retrieval subagent”發(fā)揮作用的地方。主智能體的S_external被實(shí)時(shí)傳遞給一個(gè)專門的檢索子智能體。這個(gè)子智能體比通用的搜索引擎API更“聰明”它能理解主智能體的精確意圖和當(dāng)前知識(shí)缺口從而執(zhí)行更精準(zhǔn)、更高效的檢索。例如主智能體外化了“需要找TensorFlow 2.15版本中某個(gè)API變更的遷移指南”這一意圖檢索子智能體就會(huì)自動(dòng)過濾掉無關(guān)的版本討論和基礎(chǔ)教程直接定位到官方遷移文檔或核心開發(fā)者筆記。2.3 檢索子智能體的協(xié)同機(jī)制檢索子智能體Retrieval Subagent是Harness-1框架中一個(gè)極具價(jià)值的實(shí)踐點(diǎn)。它本身也可以是一個(gè)輕量級(jí)的智能體其策略是給定主智能體的外化狀態(tài)S_external和檢索歷史決定最佳的檢索策略如選擇哪個(gè)搜索引擎/數(shù)據(jù)庫、構(gòu)造怎樣的查詢語句、是否進(jìn)行多輪追問。它的訓(xùn)練同樣可以通過強(qiáng)化學(xué)習(xí)完成其獎(jiǎng)勵(lì)與主智能體的最終任務(wù)獎(jiǎng)勵(lì)對(duì)齊同時(shí)可能包含一些中間獎(jiǎng)勵(lì)如“檢索結(jié)果與主智能體意圖的相關(guān)性得分”。這種設(shè)計(jì)帶來了幾個(gè)好處解耦與專業(yè)化主智能體專注于高層策略和推理檢索子智能體專注于信息獲取的優(yōu)化。兩者通過標(biāo)準(zhǔn)化的狀態(tài)接口通信降低了系統(tǒng)復(fù)雜度?？蓮?fù)用性一個(gè)訓(xùn)練好的、高效的檢索子智能體可以服務(wù)于多個(gè)不同的主智能體任務(wù)?？稍u(píng)估性檢索質(zhì)量變得可獨(dú)立評(píng)估。我們可以直接分析給定某個(gè)外化狀態(tài)檢索子智能體返回的結(jié)果是否精準(zhǔn)。整個(gè)系統(tǒng)的數(shù)據(jù)流形成了一個(gè)閉環(huán)主智能體根據(jù)環(huán)境和自身狀態(tài)決策并行動(dòng) - 行動(dòng)結(jié)果如檢索結(jié)果反饋回環(huán)境并更新主智能體的內(nèi)部狀態(tài) - 內(nèi)部狀態(tài)被外化并傳遞給韁繩層和檢索子智能體 - 檢索子智能體基于此執(zhí)行新一輪檢索結(jié)果作為環(huán)境的一部分反饋給主智能體 - 韁繩層可能提供額外的獎(jiǎng)勵(lì)或安全信號(hào)。這個(gè)閉環(huán)使得整個(gè)系統(tǒng)的行為更加透明和可控。3. 實(shí)戰(zhàn)構(gòu)建從零設(shè)計(jì)一個(gè)簡(jiǎn)單的狀態(tài)外化搜索智能體理論講完了我們來點(diǎn)實(shí)際的。假設(shè)我們要構(gòu)建一個(gè)能回答復(fù)雜技術(shù)問題的智能體比如“幫我找出在Kubernetes集群中Service Mesh如Istio與原生Kubernetes服務(wù)發(fā)現(xiàn)機(jī)制在性能開銷上的具體對(duì)比數(shù)據(jù)并分析在微服務(wù)數(shù)量超過500個(gè)的場(chǎng)景下的適用性”。我們將分步實(shí)現(xiàn)一個(gè)簡(jiǎn)化版的Harness-1框架。3.1 環(huán)境與智能體基礎(chǔ)設(shè)置我們使用OpenAI的Gym風(fēng)格環(huán)境定義但狀態(tài)和動(dòng)作空間需要自定義。主智能體我們選用一個(gè)基于深度強(qiáng)化學(xué)習(xí)算法如PPO或A2C的模型但核心在于網(wǎng)絡(luò)結(jié)構(gòu)的設(shè)計(jì)。首先定義動(dòng)作空間。對(duì)于搜索任務(wù)動(dòng)作可以是離散的ACTION_REFINE_QUERY: 基于當(dāng)前理解細(xì)化搜索查詢。ACTION_CLICK_RESULT: “點(diǎn)擊”某個(gè)檢索結(jié)果實(shí)際是獲取其完整內(nèi)容。ACTION_SUMMARIZE: 對(duì)當(dāng)前收集到的信息進(jìn)行摘要。ACTION_ANSWER: 生成最終答案并結(jié)束回合。ACTION_REQUEST_SPECIFIC_INFO: 向外化接口發(fā)出一個(gè)特定信息請(qǐng)求如“我需要2019年后的基準(zhǔn)測(cè)試”。接下來是網(wǎng)絡(luò)結(jié)構(gòu)的關(guān)鍵修改。我們的策略網(wǎng)絡(luò)和價(jià)值網(wǎng)絡(luò)不僅接收環(huán)境觀測(cè)如當(dāng)前查詢、上一輪檢索結(jié)果摘要還必須接收上一時(shí)間步的外化狀態(tài)S_external作為輸入的一部分。同時(shí)網(wǎng)絡(luò)需要有一個(gè)專門的“狀態(tài)生成頭”State Generation Head。這個(gè)頭通常是一個(gè)多層感知機(jī)MLP它以策略網(wǎng)絡(luò)中間層的特征作為輸入輸出我們定義的結(jié)構(gòu)化狀態(tài)描述如意圖、信念的向量表示或直接生成JSON的token。import torch import torch.nn as nn import torch.nn.functional as F class SearchAgentPolicy(nn.Module): def __init__(self, obs_dim, action_dim, state_dim): super().__init__() # 特征提取層 self.feature_extractor nn.Sequential( nn.Linear(obs_dim state_dim, 256), # 注意輸入拼接了觀測(cè)和外化狀態(tài) nn.ReLU(), nn.Linear(256, 128), nn.ReLU() ) # 策略頭 self.action_head nn.Linear(128, action_dim) # 價(jià)值頭 self.value_head nn.Linear(128, 1) # **狀態(tài)外化頭**新增的關(guān)鍵部分 self.state_head nn.Sequential( nn.Linear(128, 64), nn.ReLU(), nn.Linear(64, state_dim) # state_dim 對(duì)應(yīng)外化狀態(tài)的編碼維度 ) def forward(self, obs, prev_external_state): # 拼接觀測(cè)和上一時(shí)刻的外化狀態(tài) x torch.cat([obs, prev_external_state], dim-1) features self.feature_extractor(x) action_logits self.action_head(features) state_value self.value_head(features) external_state_encoding self.state_head(features) # 生成當(dāng)前時(shí)刻的外化狀態(tài)編碼 return action_logits, state_value, external_state_encoding在這個(gè)設(shè)計(jì)中external_state_encoding是一個(gè)稠密向量。為了得到可讀的JSON我們還需要一個(gè)解碼器例如另一個(gè)小的MLP或序列模型將其映射到具體的狀態(tài)字段。在實(shí)驗(yàn)初期我們可以先用這個(gè)向量作為狀態(tài)的替代重點(diǎn)確保智能體學(xué)會(huì)生成有意義的、隨時(shí)間演變的向量。3.2 實(shí)現(xiàn)外化狀態(tài)到檢索子智能體的對(duì)接現(xiàn)在我們需要實(shí)現(xiàn)“韁繩”層。我們創(chuàng)建一個(gè)Harness類它接收主智能體產(chǎn)生的external_state_encoding。class StateExternalizingHarness: def __init__(self, retrieval_subagent): self.retrieval_subagent retrieval_subagent self.state_history [] def process_state(self, external_state_encoding, current_query): 處理外化狀態(tài)主要功能記錄、分析、調(diào)用子智能體。 # 1. 記錄歷史 decoded_state self._decode_state(external_state_encoding) # 將向量解碼為字典 self.state_history.append({ ‘timestep’: len(self.state_history), ‘state’: decoded_state, ‘query’: current_query }) # 2. 基于狀態(tài)進(jìn)行獎(jiǎng)勵(lì)塑形示例 additional_reward 0.0 if len(self.state_history) 1: # 計(jì)算意圖連貫性如果當(dāng)前意圖與上一時(shí)刻意圖相似度高給予正獎(jiǎng)勵(lì) prev_intent self.state_history[-2][‘state’].get(‘intent_embedding’, None) curr_intent decoded_state.get(‘intent_embedding’, None) if prev_intent is not None and curr_intent is not None: coherence F.cosine_similarity(prev_intent, curr_intent, dim0) additional_reward 0.1 * coherence.item() # 一個(gè)小的塑形獎(jiǎng)勵(lì) # 3. 調(diào)用檢索子智能體如果狀態(tài)表明需要新信息 if decoded_state.get(‘needs_refined_search’, False): # 根據(jù)外化狀態(tài)中的意圖構(gòu)造更精準(zhǔn)的查詢 refined_query self._generate_query_from_state(decoded_state, current_query) search_results self.retrieval_subagent.retrieve(refined_query) return additional_reward, search_results # 返回額外獎(jiǎng)勵(lì)和新檢索結(jié)果 return additional_reward, None def _decode_state(self, encoding): # 這里是一個(gè)簡(jiǎn)化的解碼示例。實(shí)際中可能需要更復(fù)雜的模型。 # 例如可以將encoding的不同切片映射到狀態(tài)的不同字段。 return { ‘intent_embedding’: encoding[:32], # 假設(shè)前32維是意圖編碼 ‘belief_strength’: torch.sigmoid(encoding[32]).item(), # 一個(gè)標(biāo)量置信度 ‘needs_refined_search’: encoding[33] 0, # 一個(gè)布爾標(biāo)志位 # ... 其他字段 }檢索子智能體retrieval_subagent可以是一個(gè)基于檢索增強(qiáng)生成RAG的簡(jiǎn)單模型它接收一個(gè)查詢調(diào)用搜索引擎API或本地向量數(shù)據(jù)庫并返回排序后的結(jié)果摘要。更高級(jí)的實(shí)現(xiàn)中它本身也可以有基于外化狀態(tài)進(jìn)行學(xué)習(xí)的策略。3.3 訓(xùn)練循環(huán)的整合與獎(jiǎng)勵(lì)設(shè)計(jì)訓(xùn)練循環(huán)需要將上述所有部分整合起來。關(guān)鍵點(diǎn)在于獎(jiǎng)勵(lì)函數(shù)的構(gòu)建?？偑?jiǎng)勵(lì)R_total由三部分組成R_total R_task α * R_harness β * R_subagentR_task: 任務(wù)最終獎(jiǎng)勵(lì)。例如最終生成的答案被人工或一個(gè)評(píng)判模型評(píng)為高質(zhì)量則獲得1獎(jiǎng)勵(lì)否則為0或負(fù)獎(jiǎng)勵(lì)。R_harness: 韁繩層提供的獎(jiǎng)勵(lì)。如上例中的意圖連貫性獎(jiǎng)勵(lì)。這部分獎(jiǎng)勵(lì)是“塑形獎(jiǎng)勵(lì)”幫助引導(dǎo)智能體學(xué)習(xí)更合理的行為模式但其權(quán)重α通常設(shè)置得較小如0.1防止智能體過度優(yōu)化塑形獎(jiǎng)勵(lì)而偏離最終任務(wù)目標(biāo)。R_subagent: 檢索子智能體的獎(jiǎng)勵(lì)?？梢耘c主任務(wù)獎(jiǎng)勵(lì)共享也可以獨(dú)立設(shè)計(jì)如檢索結(jié)果的相關(guān)性得分。在訓(xùn)練過程中主智能體、韁繩層、檢索子智能體是協(xié)同進(jìn)化的。主智能體學(xué)習(xí)生成有助于獲得更高R_harness和R_subagent的外化狀態(tài)檢索子智能體學(xué)習(xí)利用這些狀態(tài)進(jìn)行更有效的檢索韁繩層的規(guī)則如連貫性計(jì)算也可以根據(jù)訓(xùn)練效果進(jìn)行微調(diào)。注意獎(jiǎng)勵(lì)塑形是一把雙刃劍。設(shè)計(jì)不當(dāng)?shù)乃苄为?jiǎng)勵(lì)可能導(dǎo)致“獎(jiǎng)勵(lì)黑客”Reward Hacking行為即智能體找到一種奇怪的方式最大化塑形獎(jiǎng)勵(lì)卻無助于甚至有害于真實(shí)任務(wù)。例如如果只獎(jiǎng)勵(lì)意圖連貫性智能體可能會(huì)學(xué)會(huì)永遠(yuǎn)不改變意圖從而避免探索。因此塑形獎(jiǎng)勵(lì)的設(shè)計(jì)需要非常謹(jǐn)慎最好能與最終任務(wù)獎(jiǎng)勵(lì)高度相關(guān)。4. 核心挑戰(zhàn)與調(diào)優(yōu)經(jīng)驗(yàn)避開那些我踩過的“坑”構(gòu)建這樣一個(gè)系統(tǒng)絕非易事。在實(shí)際操作中你會(huì)遇到許多在純理論中不會(huì)提及的挑戰(zhàn)。以下是我在實(shí)驗(yàn)過程中總結(jié)的幾個(gè)關(guān)鍵問題和應(yīng)對(duì)策略。4.1 狀態(tài)表示的設(shè)計(jì)與維度災(zāi)難問題外化狀態(tài)應(yīng)該包含哪些信息粒度多細(xì)用向量表示還是結(jié)構(gòu)化數(shù)據(jù)如果狀態(tài)維度太高例如意圖用512維向量信念列表包含10個(gè)條目每個(gè)條目又有多個(gè)字段會(huì)導(dǎo)致智能體難以學(xué)習(xí)有效的策略也使得韁繩層的邏輯異常復(fù)雜。經(jīng)驗(yàn)從簡(jiǎn)開始動(dòng)態(tài)擴(kuò)展。初期只外化最核心的1-2個(gè)狀態(tài)。例如只外化一個(gè)“意圖摘要向量”比如32維和一個(gè)“信息需求度”標(biāo)量。讓智能體先學(xué)會(huì)有效利用這有限的狀態(tài)進(jìn)行通信。在智能體能穩(wěn)定利用這些狀態(tài)完成任務(wù)后再逐步增加新的狀態(tài)維度如“關(guān)鍵實(shí)體列表”或“置信度分布”。這種漸進(jìn)式的方法比一開始就設(shè)計(jì)一個(gè)龐大的狀態(tài)空間要有效得多。另一個(gè)技巧是使用分層狀態(tài)。高頻、細(xì)粒度的狀態(tài)如對(duì)當(dāng)前檢索句子的注意力權(quán)重可能只在調(diào)試時(shí)有用而低頻、粗粒度的狀態(tài)如當(dāng)前任務(wù)階段、核心假設(shè)才是跨模塊協(xié)調(diào)的關(guān)鍵。在設(shè)計(jì)時(shí)明確區(qū)分這兩種狀態(tài)并只為后者建立外化接口。4.2 訓(xùn)練不穩(wěn)定性與信用分配難題問題在引入了韁繩獎(jiǎng)勵(lì)和子智能體后整個(gè)系統(tǒng)的獎(jiǎng)勵(lì)信號(hào)變得多源且可能延遲。主智能體做了一個(gè)決策導(dǎo)致了好的最終結(jié)果但中間哪個(gè)部分主智能體策略、狀態(tài)生成、子智能體檢索貢獻(xiàn)最大信用分配Credit Assignment變得非常困難容易導(dǎo)致訓(xùn)練震蕩。經(jīng)驗(yàn)分階段訓(xùn)練不要一開始就進(jìn)行端到端的聯(lián)合訓(xùn)練。首先在固定、簡(jiǎn)單的檢索策略如直接使用原始查詢搜索下訓(xùn)練主智能體生成基本狀態(tài)并完成簡(jiǎn)單任務(wù)。然后凍結(jié)主智能體的狀態(tài)生成部分單獨(dú)訓(xùn)練檢索子智能體讓它學(xué)會(huì)利用固定的狀態(tài)格式進(jìn)行更好的檢索。最后再進(jìn)行輕度的聯(lián)合微調(diào)。這大大降低了訓(xùn)練難度。使用優(yōu)勢(shì)函數(shù)與基線在計(jì)算策略梯度時(shí)確保使用像GAEGeneralized Advantage Estimation這樣的優(yōu)勢(shì)函數(shù)它能更好地估計(jì)單個(gè)動(dòng)作的長期價(jià)值緩解延遲獎(jiǎng)勵(lì)問題。為韁繩獎(jiǎng)勵(lì)設(shè)置一個(gè)可學(xué)習(xí)的基線Baseline防止智能體盲目追求絕對(duì)值。監(jiān)控狀態(tài)-動(dòng)作對(duì)的相關(guān)性定期分析外化狀態(tài)與后續(xù)動(dòng)作、獎(jiǎng)勵(lì)的相關(guān)性。如果某個(gè)狀態(tài)維度與任何有價(jià)值的結(jié)果都不相關(guān)說明它可能是冗余的或未被有效利用可以考慮簡(jiǎn)化或調(diào)整其表示。4.3 檢索子智能體的“幻覺”與 grounding 問題問題檢索子智能體可能過度解讀主智能體的外化狀態(tài)產(chǎn)生“幻覺”。例如主智能體的意圖向量稍微偏向“性能”子智能體就只返回性能測(cè)試文章完全忽略了“架構(gòu)對(duì)比”或“配置指南”等同樣重要的信息。這會(huì)導(dǎo)致主智能體獲得的信息片面最終答案有偏差。經(jīng)驗(yàn)為檢索子智能體引入“Grounding 機(jī)制”。具體做法是在子智能體的訓(xùn)練數(shù)據(jù)或獎(jiǎng)勵(lì)中強(qiáng)制要求其檢索結(jié)果不僅要與主智能體的外化狀態(tài)相關(guān)還必須與原始的、未經(jīng)過濾的查詢或任務(wù)描述保持一定的相關(guān)性?？梢栽趽p失函數(shù)中加入一個(gè)“原始查詢重構(gòu)損失”或“原始查詢相關(guān)性獎(jiǎng)勵(lì)”迫使子智能體在關(guān)注細(xì)化狀態(tài)的同時(shí)不脫離任務(wù)的根本基礎(chǔ)。此外可以設(shè)計(jì)一個(gè)“檢索結(jié)果多樣性”獎(jiǎng)勵(lì)懲罰那些返回結(jié)果過于同質(zhì)化的行為鼓勵(lì)子智能體在核心方向下保持一定的探索廣度。4.4 評(píng)估體系的構(gòu)建問題如何評(píng)估整個(gè)Harness-1系統(tǒng)的有效性最終答案質(zhì)量是一個(gè)指標(biāo)但它過于籠統(tǒng)無法告訴我們狀態(tài)外化本身是否帶來了好處。經(jīng)驗(yàn)建立多維度的評(píng)估體系任務(wù)成功率最終答案的準(zhǔn)確率、完整性這是終極指標(biāo)。搜索效率智能體平均需要多少輪交互搜索-閱讀-決策才能完成任務(wù)狀態(tài)外化是否減少了不必要的搜索輪次狀態(tài)可解釋性人工或自動(dòng)化工具能否從記錄的外化狀態(tài)歷史中清晰地追溯智能體的決策邏輯可以設(shè)計(jì)一些“狀態(tài)合理性”評(píng)分例如意圖的演變是否連貫、信念的更新是否符合新證據(jù)。模塊化收益單獨(dú)評(píng)估檢索子智能體。在給定一批歷史外化狀態(tài)和查詢的情況下對(duì)比使用外化狀態(tài)和僅使用原始查詢的檢索效果如NDCGK。消融實(shí)驗(yàn)這是最有力的證明。訓(xùn)練一個(gè)完全相同的智能體但不進(jìn)行狀態(tài)外化即沒有韁繩層檢索子智能體只接收原始查詢?cè)谄渌麠l件一致的情況下對(duì)比性能。性能的提升或效率的提升才能直接歸因于狀態(tài)外化設(shè)計(jì)。5. 超越搜索狀態(tài)外化范式的更廣闊應(yīng)用場(chǎng)景雖然我們以搜索智能體為例但“狀態(tài)外化韁繩”的思想具有高度的通用性。任何涉及復(fù)雜決策、多步驟推理、或需要人機(jī)/機(jī)機(jī)協(xié)作的智能體系統(tǒng)都可以從中受益。在代碼生成與調(diào)試智能體中的應(yīng)用一個(gè)編程助手智能體其外化狀態(tài)可以包括當(dāng)前正在實(shí)現(xiàn)的函數(shù)目標(biāo)、已識(shí)別出的代碼模式、對(duì)潛在bug的假設(shè)、下一步的測(cè)試計(jì)劃。一個(gè)“調(diào)試子智能體”可以監(jiān)控這些狀態(tài)當(dāng)智能體對(duì)某個(gè)bug的置信度很高但嘗試多次修復(fù)失敗時(shí)子智能體可以主動(dòng)介入建議查看相關(guān)文檔或提供不同的調(diào)試策略。韁繩層可以檢查代碼是否引入了安全漏洞或性能反模式。在對(duì)話與談判智能體中的應(yīng)用多輪對(duì)話智能體可以外化其對(duì)話目標(biāo)、對(duì)用戶意圖的理解、已掌握的用戶畫像、以及下一步的對(duì)話策略。這允許一個(gè)更高級(jí)的“對(duì)話管理模塊”進(jìn)行宏觀協(xié)調(diào)或者在多智能體談判場(chǎng)景中讓每個(gè)智能體公開部分“心理狀態(tài)”從而促成更高效的協(xié)作或競(jìng)爭(zhēng)。在科學(xué)發(fā)現(xiàn)或數(shù)據(jù)分析智能體中的應(yīng)用這類智能體需要提出假設(shè)、設(shè)計(jì)實(shí)驗(yàn)、分析數(shù)據(jù)。外化狀態(tài)可以包括當(dāng)前的主要假設(shè)、支持/反對(duì)該假設(shè)的證據(jù)強(qiáng)度、下一步實(shí)驗(yàn)的優(yōu)先級(jí)列表。研究人員可以實(shí)時(shí)查看這些狀態(tài)理解AI的“思考過程”并在關(guān)鍵時(shí)刻注入人類直覺或領(lǐng)域知識(shí)實(shí)現(xiàn)真正的人機(jī)協(xié)同發(fā)現(xiàn)。與多智能體強(qiáng)化學(xué)習(xí)MARL的結(jié)合這正是“actor-attention-critic for multi-agent reinforcement learning”這類前沿技術(shù)可以大展身手的地方。在MARL中每個(gè)智能體將自己的部分狀態(tài)外化并通過一個(gè)注意力機(jī)制Attention的Critic網(wǎng)絡(luò)來學(xué)習(xí)關(guān)注其他智能體的哪些外化信息從而做出更好的協(xié)同決策。Harness-1為這種通信提供了一種結(jié)構(gòu)化的、語義明確的“語言”而不是原始的、難以理解的隱藏層向量?？偠灾瓾arness-1所代表的狀態(tài)外化思想是將AI從“神秘的黑箱”推向“可協(xié)作的白箱”的關(guān)鍵一步。它不追求構(gòu)建一個(gè)無所不能的單一巨模型而是倡導(dǎo)構(gòu)建一個(gè)由多個(gè)專業(yè)化、可理解、可互操作的模塊組成的智能系統(tǒng)。這條路雖然更具挑戰(zhàn)但無疑是通向更強(qiáng)大、更可靠、更值得信賴的人工智能的必經(jīng)之路。在實(shí)際項(xiàng)目中從小處著手聚焦一個(gè)具體的狀態(tài)維度實(shí)現(xiàn)一個(gè)最小可行閉環(huán)然后逐步迭代擴(kuò)展是取得成功的關(guān)鍵。