程重排到底值不值？memsearch中英雙語檢索質(zhì)量評估實驗全解讀)
Jev遠(yuǎn)程重排到底值不值memsearch中英雙語檢索質(zhì)量評估實驗全解讀【免費下載鏈接】memsearchA persistent, unified memory layer for all your AI agents (e.g. Claude Code, Codex, DSH), backed by Markdown and Milvus.項目地址: https://gitcode.com/gh_mirrors/mem/memsearchmemsearch是一個為 Claude Code、Codex 等 AI Agent 提供持久統(tǒng)一記憶層的開源項目基于 Markdown Milvus 構(gòu)建語義檢索。其中的Jev 遠(yuǎn)程重排通過 TypeSafe API 對檢索結(jié)果二次排序是一項可選功能它到底能提升多少檢索質(zhì)量要花多少錢本文完整解讀 memsearch 官方的中英雙語重排評估實驗用 4344 條真實記憶語料的數(shù)據(jù)回答值不值。?太長不看Jev 讓 Recall5 從 0.7471 提升到 0.79414.70 個百分點代價約 $0.171/千次查詢對照組 Voyage rerank-3 質(zhì)量更高0.8187且更便宜$0.120/千次。Jev 是免費的午餐升級但不是最優(yōu)解——這正是它保持可選而非默認(rèn)的原因。一、實驗怎么設(shè)計的固定候選只比重排這次實驗非常嚴(yán)謹(jǐn)?shù)牡胤皆谟诳刂谱兞吭斠?evaluation/reranking-evaluation.md要素設(shè)定語料來自 12 個真實項目的 955 條記憶塊中英雙語查詢集每語言 2172 條955 簡單 926 復(fù)雜 291 多跳合計4344 行候選集每個查詢固定復(fù)用 BGE-M3 檢索的Top-10 候選三種方法比同一池子對照方法① 凍結(jié)原始排序基線② Jev 1.13.0 ③ Voyage rerank-3這樣做的意義候選成員完全一致測的是重排模型把正確答案往上挪的能力而不是端到端搜索系統(tǒng)。Jev 的提示詞適配自官方 reranking cookbook對每個候選獨立判斷它是否包含查詢所需的具體事實請求構(gòu)造邏輯在 src/memsearch/jev_reranker.py。二、核心結(jié)果三種方法的完整對賬方法Recall5MRR10NDCG10千次查詢成本凍結(jié)原始排序0.74710.63720.6728$0Jev 1.13.00.79410.68840.7114~$0.171Voyage rerank-30.81870.77540.7755~$0.120三個關(guān)鍵讀數(shù) Recall5Jev 比原始排序4.70 個百分點Voyage 再 2.46——兩個重排器都有效重排本身值得做MRR10Jev 與 Voyage 差距最大0.6884 vs 0.7754。Voyage 更擅長把正確答案推到最前幾位而不只是塞進(jìn) Top-5——對用戶只看前 3 條的場景更友好中英均衡Jev 的中文 MRR0.6885和英文0.6883幾乎相同說明翻譯后它和 Voyage 的差距并沒有消失不是語言問題。三、分題型拆解Jev 在哪類問題上最給力題型凍結(jié) R5Jev R5Voyage R5簡單事實題0.76750.82720.8398復(fù)雜推理題0.76570.80720.8396多跳題需多個片段0.62120.64360.6831 規(guī)律清晰越難的問題重排收益越明顯。多跳題基線最低0.6212但 Voyage 的提升也最大6.19ppJev 在多跳題上只小幅提升說明它更擅長判斷單個候選是否命中而非綜合多個候選排序。完整 40 組細(xì)分?jǐn)?shù)據(jù)在 evaluation/reranking-metrics.csv 中。四、成本賬本每千次查詢多少錢語言Jev 1.13.0Voyage rerank-3計費 Token1772 萬1045 萬估算費用$0.7443雙語$0.5225雙語平均延遲0.86 ~ 1.23 秒0.60 ~ 0.88 秒注意 Jev 是每個候選一個獨立問題的判定式設(shè)計token 消耗比 Voyage 高約 70%。對重度使用的 Agent每天上千次記憶召回這筆賬每月約 $5 vs $3.5差距不大但存在。五、結(jié)論Jev 值不值得開?值得你的記憶庫偏中英混合、想要零本地模型部署純 API、不下載模型、不改向量索引、且對成本不敏感時Jev 用約 $0.17/千次換來 4.7pp 的 Recall5是明顯賺的??猶豫如果首條命中率MRR對你更重要Voyage 質(zhì)量更高還更便宜是更理性的選擇不必日常低頻使用、或記憶內(nèi)容涉及隱私不想發(fā)往第三方 API 的場景保持默認(rèn)關(guān)閉reranker.model 即可——注意開啟后查詢和候選文本會發(fā)送到 TypeSafe官方建議只配置在可信的全局配置中。所以官方把 Jev 定位為顯式開啟的可選提供者而不是改變默認(rèn)配置——評估數(shù)據(jù)支撐了這個克制它證明 Jev 有效但沒證明它是最佳重排器。六、動手啟用 Jev 重排與復(fù)現(xiàn)評估啟用只需兩步配置說明export TYPESAFE_API_KEYyour-key memsearch config set reranker.model jev:jev-1.13.0 # 或 jev:jev-latest 跟隨最新穩(wěn)定版想在自己的數(shù)據(jù)集上復(fù)現(xiàn)這套評估官方提供了完整運行器 evaluation/rerank_evaluate.py支持--preflight在不發(fā)起任何 API 調(diào)用的情況下預(yù)估成本聚合結(jié)果存于 evaluation/reranking-results.json更早的 12 款嵌入模型基準(zhǔn)bge-m3 奪冠的那篇見 evaluation/README.md程序化接入方式見 docs/python-api.md。一句話總結(jié)Jev 遠(yuǎn)程重排在 memsearch 的中英雙語評估中用 4.7 個百分點的 Recall5 提升證明了自己值得存在但面對 Voyage 的成本-質(zhì)量組合它更適合作為按需開啟的增強(qiáng)項而非默認(rèn)答案?！久赓M下載鏈接】memsearchA persistent, unified memory layer for all your AI agents (e.g. Claude Code, Codex, DSH), backed by Markdown and Milvus.項目地址: https://gitcode.com/gh_mirrors/mem/memsearch創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Jev遠(yuǎn)程重排到底值不值？memsearch中英雙語檢索質(zhì)量評估實驗全解讀
Jev遠(yuǎn)程重排到底值不值memsearch中英雙語檢索質(zhì)量評估實驗全解讀【免費下載鏈接】memsearchA persistent, unified memory layer for all your AI agents (e.g. Claude Code, Codex, DSH), backed by Markdown and Milvus.項目地址: https://gitcode.com/gh_mirrors/mem/memsearchmemsearch是一個為 Claude Code、Codex 等 AI Agent 提供持久統(tǒng)一記憶層的開源項目基于 Markdown Milvus 構(gòu)建語義檢索。其中的Jev 遠(yuǎn)程重排通過 TypeSafe API 對檢索結(jié)果二次排序是一項可選功能它到底能提升多少檢索質(zhì)量要花多少錢本文完整解讀 memsearch 官方的中英雙語重排評估實驗用 4344 條真實記憶語料的數(shù)據(jù)回答值不值。?太長不看Jev 讓 Recall5 從 0.7471 提升到 0.79414.70 個百分點代價約 $0.171/千次查詢對照組 Voyage rerank-3 質(zhì)量更高0.8187且更便宜$0.120/千次。Jev 是免費的午餐升級但不是最優(yōu)解——這正是它保持可選而非默認(rèn)的原因。一、實驗怎么設(shè)計的固定候選只比重排這次實驗非常嚴(yán)謹(jǐn)?shù)牡胤皆谟诳刂谱兞吭斠?evaluation/reranking-evaluation.md要素設(shè)定語料來自 12 個真實項目的 955 條記憶塊中英雙語查詢集每語言 2172 條955 簡單 926 復(fù)雜 291 多跳合計4344 行候選集每個查詢固定復(fù)用 BGE-M3 檢索的Top-10 候選三種方法比同一池子對照方法① 凍結(jié)原始排序基線② Jev 1.13.0 ③ Voyage rerank-3這樣做的意義候選成員完全一致測的是重排模型把正確答案往上挪的能力而不是端到端搜索系統(tǒng)。Jev 的提示詞適配自官方 reranking cookbook對每個候選獨立判斷它是否包含查詢所需的具體事實請求構(gòu)造邏輯在 src/memsearch/jev_reranker.py。二、核心結(jié)果三種方法的完整對賬方法Recall5MRR10NDCG10千次查詢成本凍結(jié)原始排序0.74710.63720.6728$0Jev 1.13.00.79410.68840.7114~$0.171Voyage rerank-30.81870.77540.7755~$0.120三個關(guān)鍵讀數(shù) Recall5Jev 比原始排序4.70 個百分點Voyage 再 2.46——兩個重排器都有效重排本身值得做MRR10Jev 與 Voyage 差距最大0.6884 vs 0.7754。Voyage 更擅長把正確答案推到最前幾位而不只是塞進(jìn) Top-5——對用戶只看前 3 條的場景更友好中英均衡Jev 的中文 MRR0.6885和英文0.6883幾乎相同說明翻譯后它和 Voyage 的差距并沒有消失不是語言問題。三、分題型拆解Jev 在哪類問題上最給力題型凍結(jié) R5Jev R5Voyage R5簡單事實題0.76750.82720.8398復(fù)雜推理題0.76570.80720.8396多跳題需多個片段0.62120.64360.6831 規(guī)律清晰越難的問題重排收益越明顯。多跳題基線最低0.6212但 Voyage 的提升也最大6.19ppJev 在多跳題上只小幅提升說明它更擅長判斷單個候選是否命中而非綜合多個候選排序。完整 40 組細(xì)分?jǐn)?shù)據(jù)在 evaluation/reranking-metrics.csv 中。四、成本賬本每千次查詢多少錢語言Jev 1.13.0Voyage rerank-3計費 Token1772 萬1045 萬估算費用$0.7443雙語$0.5225雙語平均延遲0.86 ~ 1.23 秒0.60 ~ 0.88 秒注意 Jev 是每個候選一個獨立問題的判定式設(shè)計token 消耗比 Voyage 高約 70%。對重度使用的 Agent每天上千次記憶召回這筆賬每月約 $5 vs $3.5差距不大但存在。五、結(jié)論Jev 值不值得開?值得你的記憶庫偏中英混合、想要零本地模型部署純 API、不下載模型、不改向量索引、且對成本不敏感時Jev 用約 $0.17/千次換來 4.7pp 的 Recall5是明顯賺的??猶豫如果首條命中率MRR對你更重要Voyage 質(zhì)量更高還更便宜是更理性的選擇不必日常低頻使用、或記憶內(nèi)容涉及隱私不想發(fā)往第三方 API 的場景保持默認(rèn)關(guān)閉reranker.model 即可——注意開啟后查詢和候選文本會發(fā)送到 TypeSafe官方建議只配置在可信的全局配置中。所以官方把 Jev 定位為顯式開啟的可選提供者而不是改變默認(rèn)配置——評估數(shù)據(jù)支撐了這個克制它證明 Jev 有效但沒證明它是最佳重排器。六、動手啟用 Jev 重排與復(fù)現(xiàn)評估啟用只需兩步配置說明export TYPESAFE_API_KEYyour-key memsearch config set reranker.model jev:jev-1.13.0 # 或 jev:jev-latest 跟隨最新穩(wěn)定版想在自己的數(shù)據(jù)集上復(fù)現(xiàn)這套評估官方提供了完整運行器 evaluation/rerank_evaluate.py支持--preflight在不發(fā)起任何 API 調(diào)用的情況下預(yù)估成本聚合結(jié)果存于 evaluation/reranking-results.json更早的 12 款嵌入模型基準(zhǔn)bge-m3 奪冠的那篇見 evaluation/README.md程序化接入方式見 docs/python-api.md。一句話總結(jié)Jev 遠(yuǎn)程重排在 memsearch 的中英雙語評估中用 4.7 個百分點的 Recall5 提升證明了自己值得存在但面對 Voyage 的成本-質(zhì)量組合它更適合作為按需開啟的增強(qiáng)項而非默認(rèn)答案?！久赓M下載鏈接】memsearchA persistent, unified memory layer for all your AI agents (e.g. Claude Code, Codex, DSH), backed by Markdown and Milvus.項目地址: https://gitcode.com/gh_mirrors/mem/memsearch創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考