1. 為什么要把 LLM、Tools、MCP、Skills 塞進(jìn)同一個(gè)網(wǎng)關(guān)第一次看到 tsm-hub 這個(gè)項(xiàng)目名的時(shí)候我腦子里冒出來(lái)的第一個(gè)念頭是又是一個(gè)大一統(tǒng)的抽象層。做后端和 AI 應(yīng)用的人對(duì)統(tǒng)一網(wǎng)關(guān)這四個(gè)字應(yīng)該都不陌生API Gateway、服務(wù)網(wǎng)格、BFF 層本質(zhì)上都是在解決同一個(gè)問(wèn)題——當(dāng)系統(tǒng)里的組件越來(lái)越多、協(xié)議越來(lái)越雜、調(diào)用方越來(lái)越懶的時(shí)候你需要一個(gè)中間人把臟活累活全接過(guò)去。但 tsm-hub 要收攏的東西有點(diǎn)特殊LLM、Tools、MCP、Skills。這四個(gè)詞放在一起其實(shí)代表了當(dāng)前 AI 應(yīng)用開(kāi)發(fā)里四條完全不同的技術(shù)脈絡(luò)。LLM 是模型本身是那個(gè)會(huì)說(shuō)話的大腦。Tools 是模型能調(diào)用的外部函數(shù)比如查天氣、算數(shù)學(xué)、讀數(shù)據(jù)庫(kù)。MCP 是 Model Context Protocol一套讓模型和外部工具、數(shù)據(jù)源之間用標(biāo)準(zhǔn)方式對(duì)話的協(xié)議。Skills 則是更高層的封裝是把一組工具、提示詞、執(zhí)行邏輯打包成一個(gè)可復(fù)用的能力單元比如幫我做數(shù)學(xué)建?；蛘邘臀覍?xiě)漫劇腳本。問(wèn)題在于這四樣?xùn)|西在傳統(tǒng)架構(gòu)里是各管各的。模型走一套 API工具走另一套注冊(cè)中心MCP 服務(wù)端單獨(dú)部署Skills 又散落在各個(gè)項(xiàng)目的 prompt 目錄里。你每接一個(gè)新模型就要重寫(xiě)一遍工具調(diào)用邏輯每加一個(gè) MCP server就要改一遍路由配置每換一個(gè) Skills 庫(kù)就要重新對(duì)齊參數(shù)格式。tsm-hub 的核心價(jià)值就在這里它把模型、工具、協(xié)議、技能四層抽象收斂到一個(gè)統(tǒng)一的入口。調(diào)用方只需要面對(duì)一個(gè)網(wǎng)關(guān)地址至于背后是哪個(gè)模型、走的是原生 function call 還是 MCP 協(xié)議、加載的是哪套 Skills全部由網(wǎng)關(guān)內(nèi)部消化。我實(shí)測(cè)下來(lái)的感受是這種設(shè)計(jì)對(duì)兩類(lèi)人特別友好。一類(lèi)是快速做原型的獨(dú)立開(kāi)發(fā)者不想在基礎(chǔ)設(shè)施上花時(shí)間只想把模型和工具拼起來(lái)跑通業(yè)務(wù)。另一類(lèi)是團(tuán)隊(duì)里的平臺(tái)工程師需要給多個(gè)業(yè)務(wù)線提供統(tǒng)一的 AI 能力出口但又不想讓每個(gè)業(yè)務(wù)線都去理解 MCP 和 Skills 的細(xì)節(jié)。注意統(tǒng)一網(wǎng)關(guān)不是銀彈。它解決的是接入復(fù)雜度問(wèn)題不解決模型能力問(wèn)題。如果你的場(chǎng)景只需要調(diào)一個(gè)模型做文本生成硬上網(wǎng)關(guān)反而是過(guò)度設(shè)計(jì)。2. tsm-hub 的四層抽象到底各自管什么要理解 tsm-hub 的設(shè)計(jì)得先把 LLM、Tools、MCP、Skills 這四層各自的職責(zé)邊界劃清楚。很多人第一次接觸這些概念時(shí)容易混淆尤其是 MCP 和 Tools看起來(lái)都是讓模型調(diào)用外部能力但它們的抽象層級(jí)完全不同。2.1 LLM 層模型接入與路由LLM 層負(fù)責(zé)的是模型本身的接入。tsm-hub 在這一層做的事情包括統(tǒng)一不同廠商的 API 格式、管理模型列表、處理鑒權(quán)、做請(qǐng)求路由和降級(jí)。舉個(gè)實(shí)際場(chǎng)景。你手上有三個(gè)模型來(lái)源一個(gè)本地部署的開(kāi)源模型、一個(gè)云端商用模型、一個(gè)專門(mén)做代碼補(bǔ)全的小模型。如果沒(méi)有網(wǎng)關(guān)你的業(yè)務(wù)代碼里會(huì)散落著三套不同的 SDK 調(diào)用邏輯每套的請(qǐng)求體格式、返回結(jié)構(gòu)、錯(cuò)誤碼都不一樣。tsm-hub 的做法是在這一層做適配器模式把不同來(lái)源的模型統(tǒng)一成一套內(nèi)部接口。路由策略是這一層的重點(diǎn)。我見(jiàn)過(guò)比較實(shí)用的幾種策略策略類(lèi)型適用場(chǎng)景實(shí)現(xiàn)要點(diǎn)按任務(wù)類(lèi)型路由代碼任務(wù)走代碼模型對(duì)話走通用模型在請(qǐng)求里帶 task_type 字段按成本路由簡(jiǎn)單任務(wù)走便宜模型復(fù)雜任務(wù)走貴模型需要預(yù)估 token 量或復(fù)雜度按可用性降級(jí)主模型超時(shí)自動(dòng)切備用模型設(shè)置超時(shí)閾值和重試次數(shù)按上下文長(zhǎng)度路由長(zhǎng)文本走長(zhǎng)窗口模型請(qǐng)求前統(tǒng)計(jì) token 數(shù)這一層最容易踩的坑是錯(cuò)誤碼不統(tǒng)一。不同廠商對(duì)限流的返回碼不一樣有的是 429有的是自定義錯(cuò)誤碼。網(wǎng)關(guān)必須把這些統(tǒng)一映射否則上層業(yè)務(wù)沒(méi)法做統(tǒng)一的異常處理。2.2 Tools 層函數(shù)注冊(cè)與調(diào)用Tools 層管的是模型可以調(diào)用的外部函數(shù)。這一層的核心是注冊(cè)機(jī)制和參數(shù)校驗(yàn)。一個(gè)工具在 tsm-hub 里的生命周期大概是這樣的先注冊(cè)工具定義名稱、描述、參數(shù) schema然后模型在對(duì)話中決定調(diào)用哪個(gè)工具并生成參數(shù)網(wǎng)關(guān)校驗(yàn)參數(shù)后執(zhí)行實(shí)際函數(shù)最后把結(jié)果回傳給模型。參數(shù)校驗(yàn)這一步特別關(guān)鍵。模型生成的參數(shù)經(jīng)常不靠譜比如該傳數(shù)字的傳了字符串該傳枚舉值的傳了個(gè)不存在的選項(xiàng)。如果不在網(wǎng)關(guān)層攔住錯(cuò)誤會(huì)一路傳到業(yè)務(wù)函數(shù)里排查起來(lái)非常痛苦。tsm-hub 在這一層用 JSON Schema 做校驗(yàn)不通過(guò)的直接返回錯(cuò)誤給模型讓它重新生成。我自己的經(jīng)驗(yàn)是工具描述寫(xiě)得好不好直接決定模型調(diào)用準(zhǔn)確率。描述里要明確說(shuō)清楚這個(gè)工具做什么、什么時(shí)候用、參數(shù)是什么含義、返回什么格式。我見(jiàn)過(guò)太多人把工具描述寫(xiě)成一句話然后抱怨模型老是調(diào)錯(cuò)工具。2.3 MCP 層協(xié)議適配與連接管理MCP 是這一層里最容易被誤解的。很多人第一次聽(tīng)到 MCP會(huì)以為它是某種硬件協(xié)議或者網(wǎng)絡(luò)傳輸協(xié)議。其實(shí) MCP 是 Model Context Protocol是一套應(yīng)用層協(xié)議規(guī)定的是模型和外部上下文提供者之間怎么交換信息。tsm-hub 在 MCP 層做的事情本質(zhì)上是協(xié)議轉(zhuǎn)換。因?yàn)?MCP 有自己的消息格式和交互流程而網(wǎng)關(guān)內(nèi)部用的是統(tǒng)一的工具調(diào)用接口所以需要一個(gè)適配層把 MCP 的請(qǐng)求翻譯成內(nèi)部格式再把內(nèi)部結(jié)果翻譯回 MCP 格式。這一層的連接管理是個(gè)技術(shù)難點(diǎn)。MCP server 可能是本地進(jìn)程也可能是遠(yuǎn)程服務(wù)連接方式可能是 stdio也可能是 HTTP 或 WebSocket。網(wǎng)關(guān)需要維護(hù)這些連接的生命周期處理斷線重連、超時(shí)、并發(fā)調(diào)用等問(wèn)題。提示如果你在配置 MCP 連接時(shí)遇到握手失敗先檢查兩件事——協(xié)議版本是否匹配以及 server 端是否真的在監(jiān)聽(tīng)。我踩過(guò)好幾次坑最后發(fā)現(xiàn)是 server 啟動(dòng)腳本里的端口寫(xiě)錯(cuò)了。2.4 Skills 層能力封裝與復(fù)用Skills 層是最高層的抽象。一個(gè) Skill 可以理解為一個(gè)技能包里面包含了一組工具、一段系統(tǒng)提示詞、一套執(zhí)行流程甚至一些示例對(duì)話。為什么需要 Skills 這一層因?yàn)?Tools 和 MCP 解決的是模型能做什么而 Skills 解決的是模型應(yīng)該怎么做。同樣是調(diào)用搜索工具做學(xué)術(shù)調(diào)研和做新聞?wù)恼{(diào)用方式、結(jié)果處理、輸出格式完全不同。Skills 就是把這些領(lǐng)域知識(shí)固化下來(lái)讓模型不用每次從零開(kāi)始理解任務(wù)。tsm-hub 在 Skills 層的設(shè)計(jì)思路是聲明式加載。你只需要在配置里聲明要加載哪些 Skills網(wǎng)關(guān)會(huì)自動(dòng)把 Skill 里的工具注冊(cè)到 Tools 層把提示詞注入到對(duì)話上下文把執(zhí)行流程編排好。這一層最實(shí)用的特性是Skills 組合。比如你可以把數(shù)學(xué)建模Skill 和數(shù)據(jù)可視化Skill 組合起來(lái)模型就能同時(shí)具備建模和畫(huà)圖的能力。組合的時(shí)候要注意工具命名沖突兩個(gè) Skill 里如果有同名工具需要做命名空間隔離。3. 從零搭一個(gè) tsm-hub 實(shí)例的完整路徑光講概念沒(méi)意思我把自己搭 tsm-hub 的完整過(guò)程拆一遍。這套流程我在不同環(huán)境里跑過(guò)三次每次都會(huì)遇到一些新問(wèn)題下面把關(guān)鍵步驟和踩坑點(diǎn)都列出來(lái)。3.1 環(huán)境準(zhǔn)備與依賴確認(rèn)第一步是確認(rèn)運(yùn)行環(huán)境。tsm-hub 本身是個(gè)服務(wù)需要 Node.js 或 Python 運(yùn)行時(shí)取決于你選的實(shí)現(xiàn)版本還需要能訪問(wèn)模型 API 的網(wǎng)絡(luò)環(huán)境。我建議在動(dòng)手之前先列一個(gè)清單運(yùn)行時(shí)版本Node.js 18 或 Python 3.10包管理器npm/pnpm 或 pip/uv模型 API 憑證至少一個(gè)可用的模型來(lái)源存儲(chǔ)如果需要持久化配置和日志準(zhǔn)備一個(gè) SQLite 或 PostgreSQL網(wǎng)絡(luò)確認(rèn)能訪問(wèn)模型 API 和 MCP server 地址這里有個(gè)容易忽略的點(diǎn)時(shí)區(qū)和字符編碼。我有一次在容器里跑日志時(shí)間全是 UTC排查問(wèn)題時(shí)對(duì)不上業(yè)務(wù)時(shí)間。還有一次 Skills 里的中文提示詞出現(xiàn)亂碼最后發(fā)現(xiàn)是環(huán)境變量里的 LANG 沒(méi)設(shè)置。3.2 配置文件的結(jié)構(gòu)與關(guān)鍵字段tsm-hub 的配置一般分幾塊模型配置、工具配置、MCP 配置、Skills 配置、服務(wù)配置。我用一個(gè)簡(jiǎn)化版的結(jié)構(gòu)說(shuō)明server: port: 8080 log_level: info models: - name: default-chat provider: openai-compatible base_url: https://api.example.com/v1 api_key: ${MODEL_API_KEY} model: gpt-4o-mini timeout: 30s tools: - name: get_weather description: 查詢指定城市的當(dāng)前天氣 parameters: type: object properties: city: type: string description: 城市名稱 required: [city] handler: ./handlers/weather.js mcp: servers: - name: filesystem transport: stdio command: npx args: [-y, modelcontextprotocol/server-filesystem, /data] skills: - name: math-modeling path: ./skills/math-modeling enabled: true幾個(gè)關(guān)鍵字段的說(shuō)明provider字段決定用哪個(gè)適配器。如果是標(biāo)準(zhǔn) OpenAI 兼容接口用openai-compatible就行。如果是特殊廠商可能需要自定義適配器。timeout一定要設(shè)。我見(jiàn)過(guò)太多因?yàn)闆](méi)設(shè)超時(shí)導(dǎo)致請(qǐng)求掛死的情況。建議根據(jù)模型響應(yīng)速度設(shè)一般 30 到 60 秒。transport字段在 MCP 配置里很關(guān)鍵。stdio 適合本地進(jìn)程http 和 websocket 適合遠(yuǎn)程服務(wù)。選錯(cuò)了連不上。3.3 啟動(dòng)與首次連通性驗(yàn)證配置寫(xiě)完后啟動(dòng)服務(wù)。啟動(dòng)日志里會(huì)打印加載了哪些模型、注冊(cè)了哪些工具、連接了哪些 MCP server、啟用了哪些 Skills。這一步一定要仔細(xì)看日志很多配置錯(cuò)誤在啟動(dòng)階段就會(huì)暴露。驗(yàn)證連通性我一般分三步先調(diào)一個(gè)最簡(jiǎn)單的對(duì)話接口確認(rèn)模型層通了再調(diào)一個(gè)帶工具調(diào)用的請(qǐng)求確認(rèn) Tools 層通了最后調(diào)一個(gè)需要 MCP 或 Skills 的復(fù)雜請(qǐng)求確認(rèn)全鏈路通了第三步最容易出問(wèn)題。我遇到過(guò)一次模型層和工具層都正常但一走到 MCP 就超時(shí)。排查了半天發(fā)現(xiàn)是 MCP server 的啟動(dòng)命令里路徑寫(xiě)的是相對(duì)路徑而網(wǎng)關(guān)的工作目錄和我想的不一樣。注意首次驗(yàn)證時(shí)把日志級(jí)別調(diào)到 debug能看到完整的請(qǐng)求和響應(yīng)鏈路。確認(rèn)沒(méi)問(wèn)題后再調(diào)回 info否則日志量會(huì)很大。3.4 接入第一個(gè)真實(shí)業(yè)務(wù)場(chǎng)景跑通 demo 之后下一步是接真實(shí)業(yè)務(wù)。我建議從一個(gè)具體的、邊界清晰的任務(wù)開(kāi)始不要一上來(lái)就做通用助手。比如根據(jù)用戶輸入的城市名查詢天氣并生成出行建議就是一個(gè)好場(chǎng)景。它涉及模型調(diào)用、工具調(diào)用、結(jié)果格式化但邏輯不復(fù)雜出問(wèn)題容易定位。接入過(guò)程中要重點(diǎn)關(guān)注錯(cuò)誤處理。模型調(diào)用可能超時(shí)工具執(zhí)行可能拋異常MCP 連接可能斷開(kāi)。這些錯(cuò)誤在網(wǎng)關(guān)層怎么處理、怎么返回給調(diào)用方需要提前設(shè)計(jì)好。我的做法是定義一套統(tǒng)一的錯(cuò)誤碼上層業(yè)務(wù)根據(jù)錯(cuò)誤碼決定是重試、降級(jí)還是提示用戶。4. 那些文檔里不會(huì)寫(xiě)的踩坑記錄這一節(jié)是我最想寫(xiě)的部分。官方文檔和 README 通常只講怎么用不講哪里會(huì)炸。下面這些坑都是我實(shí)際踩過(guò)的希望能幫你省點(diǎn)時(shí)間。4.1 MCP 連接握手失敗的排查鏈路MCP 連接失敗是最常見(jiàn)的問(wèn)題而且報(bào)錯(cuò)信息往往很模糊。我的排查鏈路是這樣的先看網(wǎng)關(guān)日志里 MCP 相關(guān)的輸出確認(rèn)是連接階段失敗還是握手階段失敗。連接階段失敗通常是地址或命令不對(duì)握手階段失敗通常是協(xié)議版本或初始化參數(shù)不匹配。如果是 stdio 傳輸檢查啟動(dòng)命令能不能在命令行里手動(dòng)跑通。我有一次配的 MCP server 需要特定環(huán)境變量網(wǎng)關(guān)啟動(dòng)時(shí)沒(méi)帶上導(dǎo)致 server 啟動(dòng)就崩了。如果是 HTTP 或 WebSocket 傳輸先用 curl 或 websocket 客戶端工具直接連一下確認(rèn)服務(wù)端是活的。這一步能排除掉一半的問(wèn)題。最后檢查協(xié)議版本。MCP 協(xié)議在演進(jìn)不同版本的 server 和 client 可能不兼容。網(wǎng)關(guān)配置里如果有版本協(xié)商選項(xiàng)確認(rèn)兩邊對(duì)得上。4.2 工具參數(shù)校驗(yàn)的邊界情況JSON Schema 校驗(yàn)看起來(lái)簡(jiǎn)單實(shí)際用起來(lái)邊界情況很多。模型有時(shí)候會(huì)傳null給一個(gè)非必填但類(lèi)型是 string 的參數(shù)。嚴(yán)格校驗(yàn)會(huì)拒絕但模型的本意可能是不傳這個(gè)參數(shù)。這種情況我一般在校驗(yàn)前先做一層清洗把null轉(zhuǎn)成 undefined。還有枚舉值的問(wèn)題。模型可能傳一個(gè)語(yǔ)義相近但不在枚舉列表里的值。比如枚舉是[北京, 上海, 廣州]模型傳了北京市。嚴(yán)格校驗(yàn)會(huì)失敗但用戶意圖是明確的。我的做法是在校驗(yàn)失敗時(shí)先嘗試做一次模糊匹配匹配不上再返回錯(cuò)誤讓模型重試。數(shù)字類(lèi)型也有坑。模型可能把數(shù)字傳成字符串25或者傳成浮點(diǎn)數(shù)25.0而 schema 要求 integer。這些都需要在校驗(yàn)層做兼容處理。4.3 Skills 加載順序與覆蓋規(guī)則Skills 加載順序會(huì)影響最終行為這一點(diǎn)很多人沒(méi)注意到。如果兩個(gè) Skill 都定義了同名工具后加載的會(huì)覆蓋先加載的。如果兩個(gè) Skill 都注入了系統(tǒng)提示詞提示詞會(huì)拼接在一起但拼接順序會(huì)影響模型的理解。我的建議是顯式聲明加載順序不要依賴默認(rèn)順序。在配置里按優(yōu)先級(jí)從低到高排列高優(yōu)先級(jí)的 Skill 放后面。同時(shí)給每個(gè) Skill 的工具加命名空間前綴避免沖突。還有一個(gè)坑是 Skills 的依賴關(guān)系。有的 Skill 依賴另一個(gè) Skill 提供的工具如果加載順序不對(duì)依賴的工具還沒(méi)注冊(cè)Skill 初始化就會(huì)失敗。這種情況需要在配置里聲明依賴讓網(wǎng)關(guān)按依賴順序加載。4.4 高并發(fā)下的連接池與限流單機(jī)跑 demo 沒(méi)問(wèn)題一上并發(fā)就原形畢露。MCP 連接是長(zhǎng)連接如果每個(gè)請(qǐng)求都新建連接很快就會(huì)把 server 端打滿。網(wǎng)關(guān)需要維護(hù)連接池復(fù)用連接。連接池的大小要根據(jù) server 端的承載能力設(shè)置太小會(huì)排隊(duì)太大會(huì)把 server 壓垮。模型 API 一般都有速率限制。網(wǎng)關(guān)需要做限流超過(guò)限制的請(qǐng)求要么排隊(duì)要么降級(jí)。我一般用令牌桶算法桶的大小根據(jù) API 的配額設(shè)置。還有一個(gè)容易忽略的點(diǎn)是超時(shí)傳遞。如果調(diào)用方設(shè)了 10 秒超時(shí)網(wǎng)關(guān)內(nèi)部調(diào)模型設(shè)了 30 秒那調(diào)用方早就超時(shí)了網(wǎng)關(guān)還在等模型。正確的做法是網(wǎng)關(guān)的超時(shí)時(shí)間要小于調(diào)用方的超時(shí)時(shí)間留出處理余量。5. 把 tsm-hub 用出花來(lái)的幾個(gè)進(jìn)階思路基礎(chǔ)功能跑通之后可以玩一些進(jìn)階的。這些思路有的是我自己實(shí)踐過(guò)的有的是看到社區(qū)里別人分享的都挺有意思。5.1 用 Skills 做領(lǐng)域知識(shí)的固化Skills 最大的價(jià)值不是封裝工具而是固化領(lǐng)域知識(shí)。舉個(gè)例子做醫(yī)療問(wèn)答場(chǎng)景。通用模型對(duì)醫(yī)學(xué)術(shù)語(yǔ)的理解可能不夠準(zhǔn)確但如果你把一套醫(yī)學(xué)知識(shí)庫(kù)的檢索工具、一套醫(yī)學(xué)術(shù)語(yǔ)的標(biāo)準(zhǔn)化處理流程、一套回答格式規(guī)范打包成一個(gè) Skill模型的表現(xiàn)會(huì)好很多。再比如做法律文書(shū)生成。不同文書(shū)的格式要求、引用規(guī)范、措辭習(xí)慣都不一樣。把這些做成 Skills模型就不用每次從零學(xué)習(xí)。我自己的做法是每做一個(gè)新場(chǎng)景先花時(shí)間把領(lǐng)域知識(shí)整理成 Skill。前期投入大但后面復(fù)用的時(shí)候非常省事。5.2 多模型協(xié)同的路由策略tsm-hub 支持多模型這給了做協(xié)同路由的空間。一種思路是大小模型配合。簡(jiǎn)單任務(wù)走小模型復(fù)雜任務(wù)走大模型。判斷任務(wù)復(fù)雜度可以用規(guī)則也可以用一個(gè)小模型做分類(lèi)。另一種思路是多模型投票。同一個(gè)問(wèn)題發(fā)給多個(gè)模型取多數(shù)一致的結(jié)果。適合對(duì)準(zhǔn)確性要求高的場(chǎng)景但成本會(huì)翻倍。還有一種是模型接力。第一個(gè)模型做初步處理第二個(gè)模型做精修。比如先讓模型生成大綱再讓另一個(gè)模型根據(jù)大綱寫(xiě)正文。這些策略在 tsm-hub 里都可以通過(guò)路由配置實(shí)現(xiàn)不需要改業(yè)務(wù)代碼。5.3 可觀測(cè)性建設(shè)日志、指標(biāo)、追蹤網(wǎng)關(guān)是流量的必經(jīng)之路天然適合做可觀測(cè)性。日志方面我建議記錄每個(gè)請(qǐng)求的完整鏈路調(diào)了哪個(gè)模型、用了哪些工具、走了哪些 MCP、加載了哪些 Skills、各階段耗時(shí)多少。這些信息在排查問(wèn)題時(shí)非常有用。指標(biāo)方面關(guān)注幾個(gè)核心數(shù)據(jù)請(qǐng)求量、成功率、平均延遲、各模型的調(diào)用分布、各工具的調(diào)用頻率。這些指標(biāo)能幫你發(fā)現(xiàn)瓶頸和異常。追蹤方面如果團(tuán)隊(duì)有分布式追蹤系統(tǒng)把網(wǎng)關(guān)的調(diào)用鏈路接進(jìn)去。一個(gè)請(qǐng)求從進(jìn)入到返回中間經(jīng)過(guò)了哪些環(huán)節(jié)一目了然。提示日志里不要記錄完整的請(qǐng)求和響應(yīng)內(nèi)容尤其是涉及用戶隱私的場(chǎng)景。記錄摘要和元數(shù)據(jù)就夠了。5.4 安全邊界鑒權(quán)、審計(jì)、內(nèi)容過(guò)濾網(wǎng)關(guān)作為統(tǒng)一入口也是做安全控制的好地方。鑒權(quán)方面可以在網(wǎng)關(guān)層做 API Key 校驗(yàn)、JWT 驗(yàn)證、權(quán)限控制。不同調(diào)用方給不同的權(quán)限能訪問(wèn)哪些模型、哪些工具、哪些 Skills都在網(wǎng)關(guān)層控制。審計(jì)方面記錄誰(shuí)在什么時(shí)候調(diào)了什么用于事后追溯。合規(guī)要求高的場(chǎng)景審計(jì)日志是必須的。內(nèi)容過(guò)濾方面可以在請(qǐng)求進(jìn)入模型之前和響應(yīng)返回調(diào)用方之前做過(guò)濾。輸入過(guò)濾防止惡意提示詞注入輸出過(guò)濾防止敏感內(nèi)容泄露。這些安全能力如果散落在各個(gè)業(yè)務(wù)里維護(hù)成本很高。收斂到網(wǎng)關(guān)層統(tǒng)一管理省事很多。6. 關(guān)于統(tǒng)一網(wǎng)關(guān)這件事我的真實(shí)看法寫(xiě)到這里我想說(shuō)點(diǎn)掏心窩的話。統(tǒng)一網(wǎng)關(guān)這個(gè)思路在工程上是對(duì)的。它確實(shí)能降低接入復(fù)雜度提高復(fù)用率讓業(yè)務(wù)方專注于業(yè)務(wù)邏輯。tsm-hub 把 LLM、Tools、MCP、Skills 四層收攏到一個(gè)入口設(shè)計(jì)上是清晰的。但網(wǎng)關(guān)不是沒(méi)有代價(jià)的。它引入了一個(gè)額外的抽象層意味著多一跳網(wǎng)絡(luò)開(kāi)銷(xiāo)多一個(gè)故障點(diǎn)多一層需要維護(hù)的配置。如果團(tuán)隊(duì)規(guī)模小、場(chǎng)景簡(jiǎn)單硬上網(wǎng)關(guān)可能是負(fù)優(yōu)化。我的判斷標(biāo)準(zhǔn)是當(dāng)你發(fā)現(xiàn)同樣的接入邏輯在三個(gè)以上的地方重復(fù)出現(xiàn)時(shí)就該考慮抽網(wǎng)關(guān)層了。如果只有一個(gè)業(yè)務(wù)在用直接在業(yè)務(wù)里調(diào)模型和工具反而更簡(jiǎn)單。另外網(wǎng)關(guān)的抽象要適度。我見(jiàn)過(guò)一些網(wǎng)關(guān)設(shè)計(jì)得過(guò)于通用配置項(xiàng)多到?jīng)]人能看懂最后大家還是繞過(guò)網(wǎng)關(guān)直接調(diào)底層。好的網(wǎng)關(guān)應(yīng)該是默認(rèn)配置就能用高級(jí)配置才需要看文檔。tsm-hub 目前給我的感覺(jué)是抽象層級(jí)把握得還不錯(cuò)四層各司其職沒(méi)有過(guò)度設(shè)計(jì)。但具體到每個(gè)團(tuán)隊(duì)還是要根據(jù)自己的場(chǎng)景做取舍。工具是死的人是活的適合自己的才是最好的。最后分享一個(gè)小技巧搭網(wǎng)關(guān)的時(shí)候先別急著接所有模型和工具。先用一個(gè)模型、一個(gè)工具、一個(gè) Skill 把全鏈路跑通確認(rèn)架構(gòu)沒(méi)問(wèn)題再逐步擴(kuò)展。我見(jiàn)過(guò)太多人一上來(lái)就配一大堆結(jié)果出了問(wèn)題根本不知道是哪一層的事。從最小可用開(kāi)始逐步迭代這個(gè)原則在網(wǎng)關(guān)搭建上同樣適用。