13-Agent評估指標(biāo)體系Passk能力上限與Pass^k連續(xù)可靠業(yè)務(wù)可靠性系列導(dǎo)讀本系列基于李博杰《深入理解AI Agent設(shè)計原理與工程實踐》的閱讀思考結(jié)合我在智慧農(nóng)業(yè)、無人售貨柜一線的工程實踐展開。這一篇聊一個所有做Agent落地的人都繞不開的話題——評估。一、沒有評估就沒有進(jìn)步先說一個扎心的現(xiàn)實很多團(tuán)隊的Agent項目demo驚艷上線翻車。為什么因為從第一天起就沒有一套嚴(yán)肅的評估體系。你在測試環(huán)境里手動點(diǎn)五次三次成功就敢說Agent能用了——這不是工程這是抽獎?！渡钊肜斫釧I Agent》里有一個核心觀點(diǎn)我非常認(rèn)同Agent的開發(fā)循環(huán)是評估驅(qū)動的。就像深度學(xué)習(xí)有訓(xùn)練集/驗證集Agent也需要一套可重復(fù)、可量化、可持續(xù)運(yùn)行的評估體系。你改了一版Prompt、換了一個模型、調(diào)了一次工具描述怎么知道是變好了還是變壞了靠感覺是不行的靠評估。評估的第一步是把成功率這個詞拆開。而拆開之后你會發(fā)現(xiàn)兩個長得極像但意義天差地別的指標(biāo)Passk和Pass^k。二、Passk能力上限也是技術(shù)奇觀的制造機(jī)Passk 的定義同一個任務(wù)讓Agent獨(dú)立嘗試 k 次至少有一次成功的概率。假設(shè)單次成功率為 p那么Passk 1 - (1 - p)^k直覺很樸素一次不行就再來一次只要有一次中獎就算贏。取 p 0.6k 5Pass5 1 - (0.4)^5 ≈ 1 - 0.0102 ≈ 98.98% ≈ 99%看單次只有60%的成功率五次嘗試下來成功率直接飆到99%。這就是過去兩年AI圈技術(shù)奇觀的數(shù)學(xué)原理Anthropic讓模型一周寫出一個C編譯器——背后可能是無數(shù)次嘗試中挑出最好的一次Manus演示虛擬電腦上絲滑操作——演示視頻是剪輯的精華不是連續(xù)實錄OpenClaw直播活人感對話——你看到的是幸存者偏差翻車的那些run沒人給你看。這些不是造假而是Passk視角下的能力展示它衡量的是Agent的能力上限——“最好能做成什么樣”。對于寫代碼、做研究、生成內(nèi)容這類可以人工審查、可以重試的場景Passk是有意義的指標(biāo)因為挑出一次成功結(jié)果的成本很低。三、Pass^k連續(xù)可靠業(yè)務(wù)落地的生死線再看 Pass^k 的定義同一個任務(wù)連續(xù)做 k 次每一次都成功的概率Pass^k p^k同樣取 p 0.6k 5Pass^5 0.6^5 0.07776 ≈ 7.8%對比一下Pass5 ≈ 99%Pass^5 ≈ 7.8%。同一個Agent同一個任務(wù)同一組數(shù)字結(jié)論差了十幾個數(shù)量級的體感。這兩個指標(biāo)的關(guān)系可以總結(jié)成一句話Passk 衡量能力上限Pass^k 衡量業(yè)務(wù)可靠性。前者是技術(shù)奇觀的放大器后者是生產(chǎn)系統(tǒng)的入場券。為什么業(yè)務(wù)系統(tǒng)看的是Pass^k因為在真實業(yè)務(wù)里很多操作是零容忍的支付扣款錯一次就是資損退款審批錯一次要么得罪用戶要么被薅羊毛權(quán)限變更錯一次就是安全事故生產(chǎn)部署錯一次就是線上事故凌晨三點(diǎn)被電話叫醒的就是你。在我的無人售貨柜業(yè)務(wù)里這感受極其強(qiáng)烈一個用戶掃碼開門取貨自動結(jié)算的Agent識別錯了、扣款錯了用戶直接投訴客訴一次的成本遠(yuǎn)高于它正確服務(wù)一百次創(chuàng)造的價值。這類場景下60%的單次成功率意味著什么意味著每五單就有兩單可能出問題——這不是產(chǎn)品這是定時炸彈。所以做Agent落地第一件事是問自己我的業(yè)務(wù)是Passk業(yè)務(wù)還是Pass^k業(yè)務(wù)內(nèi)容生成、代碼輔助、研究分析 → Passk業(yè)務(wù)允許重試和人工挑選支付、結(jié)算、庫存扣減、設(shè)備控制 → Pass^k業(yè)務(wù)必須連續(xù)可靠。四、光看成功率不夠過程指標(biāo)體系《深入理解AI Agent》強(qiáng)調(diào)評估要做軌跡與結(jié)果雙重覆蓋——只看最終結(jié)果你不知道Agent是怎么到達(dá)的只看過程你不知道結(jié)果對不對。一套完整的過程指標(biāo)至少包括行動合法率Agent執(zhí)行的動作是否在允許的動作空間內(nèi)。比如退款A(yù)gent跑去調(diào)用庫存查詢工具修改數(shù)據(jù)就是非法動作工具調(diào)用正確率參數(shù)對不對、調(diào)用的工具對不對。工具選對但參數(shù)傳錯是新手Agent最常見的病路徑效率完成任務(wù)用了多少步、多少token。10步能完成的事走了47步即使結(jié)果對了延遲和成本也不可接受檢索覆蓋率RAG場景召回的文檔里是否包含了回答問題所需的信息召回不行生成再好也是巧婦難為無米之炊成本與延遲單次任務(wù)的token消耗、端到端耗時這直接決定這個Agent在商業(yè)上能不能活下去。五、一票否決項安全合規(guī)與幻覺過程指標(biāo)是打分題但有些是判斷題而且判錯直接零分安全合規(guī)一票否決Agent把敏感數(shù)據(jù)發(fā)給外部API、執(zhí)行了越權(quán)操作、輸出了違規(guī)內(nèi)容——無論任務(wù)完成得多漂亮這條軌跡直接判負(fù)幻覺一票否決在事實性任務(wù)里編造不存在的訂單號、虛構(gòu)退款政策條款。對售貨柜退款A(yù)gent來說編造一個不存在的優(yōu)惠券規(guī)則說服用戶比承認(rèn)查不到嚴(yán)重一百倍?；糜X不是扣分項是出局項。六、魯棒性別只在晴天測試很多Agent在標(biāo)準(zhǔn)環(huán)境里表現(xiàn)優(yōu)秀一到線上就崩。魯棒性評估要做擾動測試隨機(jī)種子擾動同一輸入多次運(yùn)行輸出是否穩(wěn)定溫度、采樣帶來的方差有多大頁面/環(huán)境變化操作網(wǎng)頁的Agent按鈕換個位置、彈個新彈窗就傻了API抖動工具接口偶發(fā)超時、返回異常格式Agent是優(yōu)雅重試還是直接躺平長時記憶干擾多輪會話中早前的上下文是否污染當(dāng)前決策。七、人工抽檢與對抗式評審自動化評估再好也不能100%代替人。實踐建議人工抽檢按比例抽查軌跡重點(diǎn)看自動評估判成功的樣本——機(jī)器覺得對的不一定真對對抗式評審讓一個人專門扮演找茬的構(gòu)造邊界case、誘導(dǎo)性輸入、異常數(shù)據(jù)去攻擊Agent。攻擊者的視角永遠(yuǎn)比建設(shè)者毒辣。八、實戰(zhàn)售貨柜退款A(yù)gent的評估表給一個我們真實在用的評估框架縮影。退款A(yù)gent的任務(wù)用戶投訴掃碼扣款了但沒拿到貨Agent需要查訂單、查柜機(jī)日志、判斷責(zé)任、執(zhí)行退款或拒絕。維度指標(biāo)目標(biāo)值結(jié)果Pass^20連續(xù)20個真實退款案例全對≥ 95%幻覺虛構(gòu)訂單/政策條款0 容忍安全只允許調(diào)用退款白名單工具0 違規(guī)路徑效率平均工具調(diào)用步數(shù)≤ 6 步成本單案例token成本≤ ￥0.05魯棒性柜機(jī)日志接口超時5s時正確降級100%注意第一條我們考核的是Pass^20 而不是 Pass20。因為每一筆退款都是真實的錢用戶不會給你重試五次的機(jī)會。小結(jié)Passk 1-(1-p)^k衡量能力上限是技術(shù)奇觀的數(shù)學(xué)來源Pass^k p^k衡量業(yè)務(wù)可靠性是生產(chǎn)系統(tǒng)的生死線p0.6 時 Pass5≈99% 但 Pass^5≈7.8%同一個模型兩種命運(yùn)結(jié)果指標(biāo)之外補(bǔ)齊行動合法率、工具調(diào)用正確率、路徑效率、成本延遲等過程指標(biāo)安全合規(guī)與幻覺是一票否決不是扣分項用軌跡結(jié)果雙重覆蓋、擾動測試、人工抽檢和對抗式評審把評估做成體系而不是一次性的表演。評估做得好Agent的每一次迭代才有方向沒有評估的迭代只是在換著花樣碰運(yùn)氣。