項(xiàng)目實(shí)戰(zhàn)：從Agent應(yīng)用到算力與數(shù)據(jù)中心部署)
AI 小鎮(zhèn)AI Town這類多智能體模擬項(xiàng)目是 AI Agent 應(yīng)用開發(fā)中很值得動(dòng)手拆解的示例。它用大模型驅(qū)動(dòng)多個(gè)虛擬角色在同一個(gè)虛擬空間里生活、記憶、聊天和行動(dòng)背后涉及 Prompt 工程、記憶檢索、事件調(diào)度和持久化設(shè)計(jì)。真正把一個(gè) AI 小鎮(zhèn)項(xiàng)目從源碼拉到本地跑起來之后你會(huì)發(fā)現(xiàn)這不僅是前端頁面和幾個(gè) API 的事還牽扯到模型推理的算力、并發(fā)請(qǐng)求的排隊(duì)、向量庫的容量以及更上層的數(shù)據(jù)中心部署規(guī)劃。這篇文章圍繞一個(gè)常見的開源 AI 小鎮(zhèn)項(xiàng)目形態(tài)展開講解如何讀懂項(xiàng)目結(jié)構(gòu)、本地搭建運(yùn)行、把大模型推理服務(wù)化并從數(shù)據(jù)中心視角估算算力和基礎(chǔ)設(shè)施需求。適合想入門 AI Agent 應(yīng)用開發(fā)的開發(fā)者也適合正在做 AI 項(xiàng)目部署規(guī)劃、DCIM 和園區(qū)網(wǎng)基礎(chǔ)設(shè)施選型的工程人員。讀完你會(huì)得到一條清晰的路線從一行代碼到一套可部署、可監(jiān)控、可擴(kuò)展的 AI 應(yīng)用基礎(chǔ)設(shè)施。1. 為什么用 AI 小鎮(zhèn)項(xiàng)目理解 Agent 工程與算力1.1 多智能體模擬解決什么問題單個(gè)聊天機(jī)器人只需要處理“用戶輸入 上下文”和“模型輸出”的關(guān)系。但 AI 小鎮(zhèn)不是單輪對(duì)話它模擬的是多角色共存的虛擬社會(huì)每個(gè)角色有自己的身份、目標(biāo)和性格。角色之間會(huì)互相打招呼、交談、傳遞信息。角色會(huì)根據(jù)時(shí)間、地點(diǎn)和當(dāng)前事件決定下一步行動(dòng)。角色需要記住過去發(fā)生的事并在后續(xù)對(duì)話中引用這些記憶。一個(gè)最簡(jiǎn)單的場(chǎng)景是角色 A 在廣場(chǎng)遇到角色 BA 想起昨天 B 幫過自己于是主動(dòng)說“謝謝你昨天的幫助”。這個(gè)行為背后有三層邏輯事件觸發(fā)AI 小鎮(zhèn)的調(diào)度器按時(shí)間推進(jìn)檢測(cè)到 A 和 B 在同一地點(diǎn)。記憶檢索A 的長(zhǎng)期記憶庫中檢索到與 B 相關(guān)的過往記錄。對(duì)話生成A 根據(jù)“當(dāng)前場(chǎng)景 記憶”構(gòu)造 Prompt調(diào)用大模型生成自然語言。所以AI 小鎮(zhèn)的核心價(jià)值不是做出一個(gè)好看的虛擬世界而是把 Agent 工程的完整鏈路串起來狀態(tài)管理、事件調(diào)度、記憶存儲(chǔ)、向量檢索、模型調(diào)用、結(jié)構(gòu)化輸出解析。這些能力在真實(shí)的客服機(jī)器人、游戲 NPC、教育仿真、企業(yè)知識(shí)助手場(chǎng)景里都能復(fù)用。1.2 從 demo 到工程化的三個(gè)關(guān)鍵差異在本地把 AI 小鎮(zhèn)跑起來只是第一步。它的 demo 模式通常很簡(jiǎn)單一個(gè)前端頁面、一個(gè)后端進(jìn)程、直接調(diào)用大模型 API。但進(jìn)入工程化階段至少有三個(gè)問題會(huì)暴露出來。第一個(gè)是模型響應(yīng)不穩(wěn)定。大模型輸出的內(nèi)容不一定符合前端 schema比如角色行動(dòng)指令期望是 JSON模型可能返回一段普通文本。工程上必須做輸出解析、校驗(yàn)和重試。第二個(gè)是狀態(tài)持久化。demo 里記憶可以放內(nèi)存重啟就丟。工程化后需要把角色記憶寫入向量數(shù)據(jù)庫把世界狀態(tài)寫入關(guān)系型數(shù)據(jù)庫或?qū)ο蟠鎯?chǔ)。第三個(gè)是并發(fā)問題。多個(gè)角色同時(shí)行動(dòng)時(shí)如果所有請(qǐng)求都串行調(diào)用大模型整個(gè)小鎮(zhèn)會(huì)非?？ā９こ躺闲枰氩l(fā)控制、隊(duì)列、限流和超時(shí)機(jī)制。這三個(gè)差異決定了 AI 小鎮(zhèn)項(xiàng)目不能只靠一個(gè) Python 腳本完成它需要按“前端層、服務(wù)層、Agent 運(yùn)行時(shí)、模型服務(wù)層、數(shù)據(jù)層”來分層組織。1.3 數(shù)據(jù)中心視角為什么算力規(guī)劃要提前做AI 小鎮(zhèn)項(xiàng)目跑通之后你會(huì)遇到一個(gè)很現(xiàn)實(shí)的問題如果角色數(shù)量從 5 個(gè)增加到 500 個(gè)聊天延遲和吞吐量怎么變化如果要把開源模型部署成自托管服務(wù)需要幾張 GPU 卡如果整個(gè)系統(tǒng)放進(jìn)數(shù)據(jù)中心一個(gè) 8 兆瓦的園區(qū)能放下多少臺(tái) AI 服務(wù)器這些問題不是 AI 小鎮(zhèn)特有的而是所有 AI 應(yīng)用最終都會(huì)遇到的部署難題。模型推理是計(jì)算密集型任務(wù)GPU 服務(wù)器的功率密度比普通 CPU 服務(wù)器高很多。一臺(tái)高配 GPU 服務(wù)器整機(jī)功耗可能達(dá)到幾千瓦一個(gè)機(jī)柜可能只能放 4 到 8 臺(tái)。如果不在項(xiàng)目早期做算力估算和容量規(guī)劃后期擴(kuò)展時(shí)就會(huì)遇到電力不夠、散熱跟不上、網(wǎng)絡(luò)帶寬不足的尷尬。這就是為什么把 AI 小鎮(zhèn)項(xiàng)目和 DCIM、園區(qū)網(wǎng)、算力規(guī)劃放在一起討論前者是理解模型和 Agent 邏輯的入口后者是讓 AI 應(yīng)用真正做到生產(chǎn)可用的基礎(chǔ)設(shè)施保證。2. 讀懂一個(gè) AI 小鎮(zhèn)開源項(xiàng)目的典型工程結(jié)構(gòu)2.1 項(xiàng)目分層與模塊不同 AI 小鎮(zhèn)開源倉庫的實(shí)現(xiàn)細(xì)節(jié)會(huì)有差異但工程結(jié)構(gòu)通常都能歸成五個(gè)層次展示層前端頁面負(fù)責(zé)渲染地圖、角色、對(duì)話氣泡和行動(dòng)日志。服務(wù)層提供后端 API負(fù)責(zé)登錄、世界狀態(tài)查詢、角色操作、消息發(fā)送。Agent 運(yùn)行時(shí)處理角色行為邏輯包括行動(dòng)決策、記憶讀取、對(duì)話生成、事件調(diào)度。模型服務(wù)層封裝大模型調(diào)用可以是外部 API也可以是自托管的 OpenAI 兼容服務(wù)。數(shù)據(jù)層保存角色記憶、世界狀態(tài)、消息歷史。常用 SQLite、PostgreSQL、ChromaDB、LanceDB。理解這些層次后再看項(xiàng)目代碼就不會(huì)迷茫。看一個(gè)文件時(shí)先問自己它屬于哪一層它在這一層解決什么問題它依賴了哪些其他模塊2.2 典型目錄結(jié)構(gòu)示例下面是一個(gè)常見的 AI 小鎮(zhèn)類項(xiàng)目目錄結(jié)構(gòu)示例具體文件名以你拉取的倉庫 README 為準(zhǔn)my_ai_town/ frontend/ src/ components/ pages/ api/ package.json backend/ app/ main.py config.py agents/ world/ memory/ llm/ api/ tests/ requirements.txt docker/ docker-compose.yml data/ chroma/ sqlite/ .env.example README.md對(duì)應(yīng)關(guān)系是agents/放角色定義、行為決策、對(duì)話邏輯。world/放世界狀態(tài)、地點(diǎn)、物品和事件調(diào)度。memory/放記憶寫入和向量檢索。llm/放模型調(diào)用封裝例如支持 OpenAI 格式的 Chat API。api/放 REST 接口給前端調(diào)用。如果倉庫結(jié)構(gòu)和你看到的略有不同優(yōu)先以 README 中說明的架構(gòu)為準(zhǔn)。開源項(xiàng)目結(jié)構(gòu)調(diào)整很快代碼會(huì)變分層思想不會(huì)變。2.3 一次角色對(duì)話會(huì)經(jīng)過哪些環(huán)節(jié)讀代碼時(shí)最有效的做法是順著一條數(shù)據(jù)流走。以“用戶讓角色 A 主動(dòng)去找角色 B 聊天”為例前端發(fā)起請(qǐng)求告訴后端“角色 A 要與角色 B 互動(dòng)”。服務(wù)層接收請(qǐng)求寫入事件隊(duì)列。Agent 運(yùn)行時(shí)從隊(duì)列取出事件查詢角色 A 的狀態(tài)和位置。Agent 調(diào)用記憶模塊在向量庫中檢索角色 A 對(duì) B 的歷史記憶。檢索結(jié)果和當(dāng)前場(chǎng)景一起拼成 Prompt。模型服務(wù)層調(diào)用大模型拿到對(duì)話文本和行動(dòng)指令。解析模塊把模型輸出轉(zhuǎn)成結(jié)構(gòu)化動(dòng)作例如“說話”或“移動(dòng)”。記憶模塊把這次交互寫入向量庫。世界狀態(tài)更新前端通過 WebSocket 或輪詢拿到變化。這個(gè)流程里最容易出問題的步驟是 5 和 6。Prompt 沒有給足上下文模型就會(huì)說出無關(guān)內(nèi)容模型輸出格式不穩(wěn)定解析就會(huì)失敗。所以工程實(shí)現(xiàn)里通常會(huì)有 schema 校驗(yàn)和重試邏輯。2.4 先看 README 里的哪些信息拉取任意 AI 小鎮(zhèn)項(xiàng)目后不要急著執(zhí)行啟動(dòng)命令。先核對(duì)以下信息大模型接口地址必須用 OpenAI 兼容接口還是支持其他協(xié)議。向量數(shù)據(jù)庫哪種數(shù)據(jù)庫版本是什么是否需要單獨(dú)啟動(dòng)容器。前端構(gòu)建工具Node 版本要求包管理器是 npm 還是 pnpm。后端運(yùn)行方式Docker Compose 還是本地 Python 環(huán)境。模型白名單哪些模型經(jīng)過驗(yàn)證哪些模型會(huì)導(dǎo)致輸出解析失敗。這些信息全部集中在 README 或.env.example中。跳過它直接啟動(dòng)大概率會(huì)在依賴版本、模型名稱和網(wǎng)絡(luò)地址上浪費(fèi)大量時(shí)間。3. 本地搭建 AI 小鎮(zhèn)環(huán)境、依賴和啟動(dòng)驗(yàn)證3.1 環(huán)境準(zhǔn)備清單一個(gè)典型的 AI 小鎮(zhèn)學(xué)習(xí)環(huán)境需要這些組件組件建議要求說明Python3.10 或更高Agent 后端常用 Python 實(shí)現(xiàn)Node.js18 或更高前端構(gòu)建和本地開發(fā)服務(wù)Docker20.10 或更高啟動(dòng)向量數(shù)據(jù)庫和中間件大模型 API KeyOpenAI 兼容格式也可以用本地模型服務(wù)替代向量數(shù)據(jù)庫ChromaDB 或 LanceDB保存角色長(zhǎng)期記憶內(nèi)存至少 8GB運(yùn)行多個(gè)服務(wù)、加載模型時(shí)更寬裕學(xué)習(xí)環(huán)境追求的是快速跑通不需要 GPU。直接用外部大模型 API把向量數(shù)據(jù)庫放 Docker 容器里就能完成全部功能驗(yàn)證。生產(chǎn)環(huán)境則不同。外部 API 雖然省事但存在數(shù)據(jù)出境、隱私、成本和接口限流問題。很多團(tuán)隊(duì)會(huì)選擇自托管開源模型這時(shí) GPU、顯存、并發(fā)和散熱就變成了核心指標(biāo)。3.2 配置環(huán)境變量把倉庫克隆下來后通常需要復(fù)制.env.example為.env然后填寫真實(shí)配置。下面是一個(gè)示例LLM_API_KEYsk-xxx LLM_BASE_URLhttps://api.openai.com/v1 LLM_MODELgpt-4o-mini EMBEDDING_API_KEYsk-xxx EMBEDDING_MODELtext-embedding-3-small VECTOR_DB_PATH./data/chroma FRONTEND_PORT5173 BACKEND_PORT8000各個(gè)變量的含義LLM_BASE_URL模型服務(wù)地址。默認(rèn)指向外部平臺(tái)時(shí)走公網(wǎng)接口如果本地用 vLLM 部署了 OpenAI 兼容服務(wù)可以改成http://localhost:8001/v1。LLM_MODEL對(duì)話模型的名稱要和服務(wù)端實(shí)際加載的模型名完全一致。EMBEDDING_MODEL向量化模型。角色記憶要轉(zhuǎn)成向量存庫檢索時(shí)也要用同一個(gè)模型編碼查詢文本。VECTOR_DB_PATH向量數(shù)據(jù)庫數(shù)據(jù)目錄。學(xué)習(xí)環(huán)境可以放在項(xiàng)目目錄下生產(chǎn)環(huán)境應(yīng)該掛載獨(dú)立磁盤。這里最容易踩的坑是對(duì)話模型和向量化模型不匹配。比如記憶寫入時(shí)用模型 A 編碼查詢時(shí)換成了模型 B兩者向量空間不一致檢索結(jié)果會(huì)變得毫無意義。3.3 用 Docker Compose 啟動(dòng)依賴服務(wù)學(xué)習(xí)環(huán)境建議用 Docker Compose 啟動(dòng)向量庫避免本地手動(dòng)安裝帶來環(huán)境污染。下面是一個(gè)最小示例services: vector-db: image: chromadb/chroma:latest container_name: ai-town-chroma volumes: - ./data/chroma:/chroma/chroma ports: - 8002:8000 restart: unless-stopped啟動(dòng)命令docker compose -f docker/docker-compose.yml up -d檢查容器狀態(tài)docker ps | grep ai-town-chroma正常結(jié)果會(huì)看到容器處于Up狀態(tài)。如果容器反復(fù)重啟先看日志docker logs ai-town-chroma常見原因包括端口占用和數(shù)據(jù)目錄權(quán)限不對(duì)。清理沖突端口或調(diào)整目錄權(quán)限后重新啟動(dòng)。向量庫單獨(dú)用容器跑主項(xiàng)目則直接在本地跑 Python 進(jìn)程這樣調(diào)試代碼時(shí)不用頻繁重啟容器。3.4 啟動(dòng)后端并完成健康檢查先安裝 Python 依賴cd backend python -m venv .venv source .venv/bin/activate pip install -r requirements.txt啟動(dòng)后端python app/main.py后端啟動(dòng)后先做健康檢查。常見的健康檢查接口是curl http://localhost:8000/api/health預(yù)期返回類似{status:ok,version:0.1.0}如果接口返回 500先查看終端日志。最常見的錯(cuò)誤是.env未加載、數(shù)據(jù)庫連接失敗、模型名稱不對(duì)。后端可用后再啟動(dòng)前端cd frontend npm install npm run dev瀏覽器訪問http://localhost:5173創(chuàng)建一個(gè)角色并發(fā)送一條消息如果角色能在對(duì)話氣泡中回復(fù)本地鏈路就通了。注意只驗(yàn)證頁面能打開是不夠的。至少要驗(yàn)證“創(chuàng)建角色 - 角色回話 - 刷新頁面后對(duì)話歷史還在”這條完整鏈路。記憶持久化沒有生效時(shí)頁面刷新后角色會(huì)忘掉剛才說過的話。4. AI 推理服務(wù)的算力部署4.1 外部 API 與自托管模型的取舍本地跑通階段使用外部大模型 API 是最快的路徑但生產(chǎn)環(huán)境往往需要自托管模型。對(duì)比一下維度外部托管 API自托管開源模型啟動(dòng)速度只需拿到 Key 就能用需要下載模型、配置 GPU 服務(wù)成本按 token 計(jì)費(fèi)高并發(fā)時(shí)成本高前期硬件投入高長(zhǎng)期用量大時(shí)成本可控?cái)?shù)據(jù)隱私數(shù)據(jù)經(jīng)過第三方服務(wù)數(shù)據(jù)留在自有基礎(chǔ)設(shè)施內(nèi)定制能力只能使用平臺(tái)提供的模型可微調(diào)模型、可改采樣參數(shù)運(yùn)維復(fù)雜度低需要監(jiān)控、升級(jí)、回滾、容量規(guī)劃如果項(xiàng)目還處在原型階段不要急著買 GPU 服務(wù)器。先用外部 API 把產(chǎn)品邏輯驗(yàn)證完等用戶量和調(diào)用量穩(wěn)定后再根據(jù)真實(shí)用量做算力規(guī)劃。4.2 用 vLLM 部署一個(gè) OpenAI 兼容模型服務(wù)自托管模型時(shí)vLLM 是常見的選擇。它把模型暴露成 OpenAI 兼容接口AI 小鎮(zhèn)項(xiàng)目只需要把LLM_BASE_URL改成本地地址代碼幾乎不用動(dòng)。安裝 vLLM 并啟動(dòng)模型服務(wù)pip install vllm python -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen2.5-7B-Instruct \ --served-model-name my-agent-model \ --tensor-parallel-size 1 \ --gpu-memory-utilization 0.9 \ --max-model-len 8192 \ --port 8001參數(shù)說明--modelHuggingFace 模型名稱或本地模型路徑。首次啟動(dòng)會(huì)下載權(quán)重耗時(shí)較長(zhǎng)。--served-model-name對(duì)外暴露的模型名。AI 小鎮(zhèn).env中的LLM_MODEL必須和它一致。--tensor-parallel-size張量并行數(shù)。單張 GPU 可以設(shè)為 1多卡時(shí)需要設(shè)置為卡數(shù)。--gpu-memory-utilization允許使用的顯存比例。設(shè)成 0.9 是給 CUDA 上下文留余量。--max-model-len最大上下文長(zhǎng)度。不只是字符長(zhǎng)度是 token 數(shù)直接影響顯存占用。啟動(dòng)成功后用 curl 驗(yàn)證接口curl http://localhost:8001/v1/chat/completions \ -H Content-Type: application/json \ -d {model:my-agent-model,messages:[{role:user,content:你好}]}能返回choices數(shù)組說明模型服務(wù)正常。然后修改.envLLM_BASE_URLhttp://localhost:8001/v1 LLM_MODELmy-agent-model重啟后端即可切到本地模型。4.3 并發(fā)和吞吐評(píng)估方法模型服務(wù)啟動(dòng)后不能只看單條請(qǐng)求是否成功還要看并發(fā)能力。簡(jiǎn)單壓測(cè)可以用 hey 工具h(yuǎn)ey -n 100 -c 10 -m POST \ -H Content-Type: application/json \ -d {model:my-agent-model,messages:[{role:user,content:你好}],max_tokens:200} \ http://localhost:8001/v1/chat/completions其中-n 100表示總請(qǐng)求數(shù) 100-c 10表示并發(fā)數(shù) 10。重點(diǎn)觀察P95 延遲用戶能感知的響應(yīng)速度。錯(cuò)誤率是否出現(xiàn)超時(shí)或 429。GPU 顯存占用是否接近上限。如果顯存不夠優(yōu)先做三件事減小max-model-len、降低gpu-memory-utilization對(duì)應(yīng)的并發(fā)上限、換一個(gè)小模型。不要直接盲目堆 GPU 數(shù)量先確認(rèn)瓶頸在顯存、帶寬還是 CPU 調(diào)度。4.4 一個(gè) 8 兆瓦數(shù)據(jù)中心能放多少臺(tái) AI 服務(wù)器算力規(guī)劃里經(jīng)常遇到一個(gè)問題“8 兆瓦的數(shù)據(jù)中心可以部署多少臺(tái) B300 服務(wù)器”。要回答它不能只看單機(jī)功耗還要考慮 PUE、制冷、配電冗余和 IT 負(fù)載率。計(jì)算公式如下園區(qū)總功率8 兆瓦即 8000 千瓦。PUE 是數(shù)據(jù)中心總能耗與 IT 設(shè)備能耗的比值假設(shè) PUE 為 1.3則 IT 設(shè)備可用功率約為 8000 / 1.3約 6153 千瓦。實(shí)際運(yùn)行中不會(huì)把 IT 功率全部用滿按 90% 利用率計(jì)算約 5538 千瓦。將可用功率除以單臺(tái)服務(wù)器整機(jī)功耗。用一段 Python 腳本演示total_power_kw 8000 pue 1.3 utilization 0.9 server_power_kw 5.5 # 示例整機(jī)功耗實(shí)際以設(shè)備規(guī)格為準(zhǔn) it_power_kw total_power_kw / pue available_power_kw it_power_kw * utilization server_count int(available_power_kw // server_power_kw) print(IT 設(shè)備可用功率, round(it_power_kw, 2), kW) print(考慮利用率后的可用功率, round(available_power_kw, 2), kW) print(預(yù)估可部署服務(wù)器數(shù)量, server_count)以不同單機(jī)功耗代入結(jié)果如下單臺(tái)服務(wù)器整機(jī)功耗IT 可用功率約 5538 kW 時(shí)可部署數(shù)量4 kW1384 臺(tái)5.5 kW1006 臺(tái)8 kW692 臺(tái)12 kW461 臺(tái)這只是粗略估算實(shí)際部署還要考慮機(jī)柜承重、散熱方式、網(wǎng)絡(luò)端口數(shù)、UPS 容量、柴發(fā)容量和機(jī)柜空間。AI 服務(wù)器通常功耗密度高一個(gè)機(jī)柜可能只能放 4 到 8 臺(tái)否則制冷系統(tǒng)會(huì)扛不住。注意不要直接拿總功率除以單機(jī)功耗。PUE、配電損耗、制冷功耗和冗余策略會(huì)占掉很大一部分容量。容量規(guī)劃要留出至少 10% 到 20% 的余量。4.5 關(guān)鍵參數(shù)速查表做 AI 算力規(guī)劃時(shí)建議用表格整理關(guān)鍵參數(shù)參數(shù)含義影響PUE數(shù)據(jù)中心總能耗與 IT 能耗比值數(shù)值越低留給 IT 設(shè)備的功率越多IT 利用率實(shí)際運(yùn)行功率占 IT 額定功率的比例防止過載跳閘單機(jī)功耗整臺(tái)服務(wù)器滿載功耗直接決定機(jī)柜數(shù)量和電力容量顯存容量GPU 上的可用顯存決定能加載的模型規(guī)模和并發(fā)數(shù)上下文長(zhǎng)度模型單次推理的最大 token 數(shù)越長(zhǎng)越占顯存和計(jì)算量網(wǎng)絡(luò)收斂比接入帶寬與上行帶寬的比例影響多卡并行和向量檢索延遲這些參數(shù)不是越大約好。顯存大但電源不夠機(jī)器也跑不進(jìn)去上下文長(zhǎng)但業(yè)務(wù)不需要反而浪費(fèi)顯存。所有參數(shù)都要回到真實(shí)業(yè)務(wù)流量來判斷。5. 數(shù)據(jù)中心基礎(chǔ)設(shè)施與 DCIM 設(shè)計(jì)5.1 從單機(jī)部署到園區(qū)網(wǎng)AI 小鎮(zhèn)單機(jī)部署時(shí)后端、向量庫、模型服務(wù)可以都跑在同一臺(tái)機(jī)器上網(wǎng)絡(luò)只要本機(jī)回環(huán)就夠了。但生產(chǎn)環(huán)境部署多副本、多模型服務(wù)后流量模型會(huì)發(fā)生變化。AI 推理集群有三個(gè)明顯特點(diǎn)東西向流量大多個(gè) Agent 服務(wù)之間頻繁調(diào)用模型服務(wù)模型服務(wù)和其他微服務(wù)之間也要交換數(shù)據(jù)東西向流量遠(yuǎn)大于傳統(tǒng) Web 應(yīng)用。存儲(chǔ)流量大向量庫的寫入和查詢、訓(xùn)練數(shù)據(jù)的讀取都需要高速存儲(chǔ)網(wǎng)絡(luò)。延遲敏感角色對(duì)話如果經(jīng)常超時(shí)用戶能明顯感覺到“角色變笨了”。所以在園區(qū)網(wǎng)設(shè)計(jì)上AI 集群通常需要更高的接入帶寬核心交換機(jī)要考慮端口密度和轉(zhuǎn)發(fā)能力。網(wǎng)絡(luò)收斂比如果太高多個(gè) GPU 服務(wù)器同時(shí)通信時(shí)會(huì)出現(xiàn)丟包。5.2 DCIM 記錄哪些數(shù)據(jù)DCIMData Center Infrastructure Management是數(shù)據(jù)中心基礎(chǔ)設(shè)施管理系統(tǒng)的簡(jiǎn)稱。它把物理資產(chǎn)、電力和環(huán)境數(shù)據(jù)集中管理起來讓運(yùn)維人員知道每個(gè)機(jī)柜里有什么設(shè)備、功率是多少、溫度是否異常。一個(gè)實(shí)用的 DCIM 至少應(yīng)該覆蓋這些數(shù)據(jù)數(shù)據(jù)類別具體內(nèi)容典型字段機(jī)柜信息物理位置、U 位空間機(jī)房、行、列、總 U 數(shù)設(shè)備信息服務(wù)器、交換機(jī)、PDU設(shè)備型號(hào)、序列號(hào)、所在 U 位電力信息供電回路、功耗、UPS額定功率、當(dāng)前功率、供電單元網(wǎng)絡(luò)信息端口、IP、VLAN管理 IP、業(yè)務(wù) IP、上聯(lián)端口環(huán)境信息溫度、濕度、水浸機(jī)房溫度、機(jī)柜前后溫度這些數(shù)據(jù)看起來簡(jiǎn)單但沒有系統(tǒng)管理時(shí)往往散落在 Excel、圖紙和運(yùn)維筆記里等要擴(kuò)容時(shí)才發(fā)現(xiàn)某機(jī)柜電力已經(jīng)滿了。5.3 一個(gè)最小 DCIM 數(shù)據(jù)模型如果團(tuán)隊(duì)還沒有 DCIM可以先從數(shù)據(jù)庫表開始設(shè)計(jì)。下面是一個(gè)最小模型示例CREATE TABLE racks ( id SERIAL PRIMARY KEY, room_name VARCHAR(64), row_name VARCHAR(16), rack_name VARCHAR(16), total_u INT DEFAULT 42 ); CREATE TABLE devices ( id SERIAL PRIMARY KEY, rack_id INT REFERENCES racks(id), device_name VARCHAR(128), device_type VARCHAR(32), start_u INT, height_u INT, rated_power_w INT, current_power_w INT, manage_ip VARCHAR(64) ); CREATE TABLE power_feeds ( id SERIAL PRIMARY KEY, device_id INT REFERENCES devices(id), pdu_name VARCHAR(64), circuit_name VARCHAR(64), voltage INT, max_current_a NUMERIC(6, 2) );這個(gè)模型能支持兩個(gè)核心查詢某個(gè)機(jī)柜當(dāng)前已安裝多少 U 位設(shè)備剩余多少空間。某個(gè)配電回路下所有設(shè)備總功耗是否超過安全閾值。查詢示例SELECT r.room_name, r.row_name, r.rack_name, SUM(d.rated_power_w) AS total_rated_power, COUNT(d.id) AS device_count FROM racks r LEFT JOIN devices d ON d.rack_id r.id GROUP BY r.id;結(jié)果可以看出每個(gè)機(jī)柜的額定額度是否被超配。實(shí)際 DCIM 系統(tǒng)還會(huì)增加自動(dòng)采集、告警、容量預(yù)測(cè)和可視化但核心思路一直是把物理資源的“剩余量”算清楚才能安全擴(kuò)容。5.4 學(xué)習(xí)環(huán)境與生產(chǎn)環(huán)境的差異本地學(xué)習(xí)階段可以用一張電子表格模擬 DCIM 管理記錄每臺(tái)設(shè)備的功耗和機(jī)柜 U 位。生產(chǎn)環(huán)境則會(huì)有天然區(qū)別本地過程手動(dòng)、頻率低、覆蓋單機(jī)房。生產(chǎn)需要自動(dòng)采集功率計(jì)和溫度傳感器數(shù)據(jù)實(shí)時(shí)更新。本地表格壞了可以重建。生產(chǎn)DCIM 數(shù)據(jù)錯(cuò)誤會(huì)導(dǎo)致擴(kuò)容誤判必須在建設(shè)初期就保證資產(chǎn)錄入準(zhǔn)確。這些差異決定了 DCIM 不能靠運(yùn)維人員“想起來才更新”它需要監(jiān)控系統(tǒng)、資產(chǎn)變更流程和容量分析工具配合使用。6. 常見問題排查6.1 服務(wù)起不來怎么辦現(xiàn)象執(zhí)行啟動(dòng)命令后前端或后端進(jìn)程直接退出終端報(bào)錯(cuò)。排查順序檢查.env是否存在字段是否完整。缺失LLM_API_KEY時(shí)很多項(xiàng)目會(huì)在啟動(dòng)階段放棄運(yùn)行。檢查端口是否被占用。8000、8001、5173是常見沖突端口。檢查容器日志。向量庫起不來后端連不上數(shù)據(jù)庫同樣會(huì)退出。檢查依賴版本。Python 包版本和 Node 包版本不匹配會(huì)導(dǎo)致運(yùn)行時(shí)ModuleNotFoundError或編譯失敗。常見解決方案lsof -i :8000 kill -9 PID6.2 角色不回復(fù)或回復(fù)很慢現(xiàn)象前端能打開角色也能創(chuàng)建但發(fā)消息后一直轉(zhuǎn)圈或者半天沒有回復(fù)?？赡茉騆LM_MODEL與模型服務(wù)實(shí)際名稱不一致。外部 API Key 額度不足或接口限流。請(qǐng)求超時(shí)時(shí)間設(shè)置太短。向量庫查詢太慢拖慢了 Prompt 構(gòu)建。檢查方式查看后端日志看請(qǐng)求是否到達(dá)模型服務(wù)。直接 curl 模型接口確認(rèn)模型返回正常。用小數(shù)據(jù)集測(cè)試向量檢索耗時(shí)排除索引問題。推薦做法給模型調(diào)用設(shè)置單獨(dú)的超時(shí)和重試參數(shù)不要把超時(shí)時(shí)間設(shè)成 5 秒后就認(rèn)為是模型出問題。6.3 向量庫連接失敗現(xiàn)象后端日志提示連接localhost:8002被拒絕或 ChromaDB 返回Cannot connect to host。排查步驟確認(rèn)容器是否在運(yùn)行docker ps。確認(rèn)端口映射curl http://localhost:8002/api/v1/heartbeat。確認(rèn)項(xiàng)目配置的端口是容器映射后的端口不是容器內(nèi)端口。預(yù)防措施每次重啟機(jī)器后先檢查 Docker 容器狀態(tài)。在 Docker Compose 中加入restart: unless-stopped減少手動(dòng)重啟。6.4 GPU 顯存不足現(xiàn)象vLLM 啟動(dòng)時(shí)報(bào)CUDA out of memory或請(qǐng)求時(shí)顯存逐漸漲滿后報(bào)錯(cuò)。處理方案按優(yōu)先級(jí)降低max-model-len從 8192 改到 4096。降低gpu-memory-utilization給其他進(jìn)程留出空間。減小并發(fā)批次限制最大并發(fā)數(shù)。換一個(gè)更小的模型例如從 14B 降到 7B 或 3B。多卡部署時(shí)設(shè)置--tensor-parallel-size 2但要注意多卡通信網(wǎng)絡(luò)是否滿足帶寬要求。6.5 排查鏈路清單現(xiàn)象檢查點(diǎn)命令或日志位置服務(wù)起不來環(huán)境變量、端口、依賴.env、docker logs、npm run dev輸出角色不回復(fù)模型名稱、API Key、超時(shí)后端日志、curl 模型接口請(qǐng)求超時(shí)并發(fā)過高、網(wǎng)絡(luò)抖動(dòng)hey 壓測(cè)、P95 延遲向量庫連接失敗容器狀態(tài)、端口映射docker ps、curl /api/v1/heartbeat顯存不足模型大小、上下文長(zhǎng)度、并發(fā)nvidia-smi、vLLM 日志頁面刷新后記憶丟失向量庫持久化、數(shù)據(jù)目錄data/chroma目錄是否有文件記住一個(gè)原則先確認(rèn)輸入沒問題再看路徑和命名然后看依賴版本最后看日志。不要一上來就懷疑模型本身的問題。7. 最佳實(shí)踐與擴(kuò)展方向7.1 搭建 AI 小鎮(zhèn)前的檢查清單把項(xiàng)目從倉庫拉到本地前建議先過一遍清單[ ] 確認(rèn) Python、Node.js、Docker 版本滿足要求。[ ] 閱讀 README 的快速開始部分。[ ] 復(fù)制.env.example為.env。[ ] 確認(rèn)大模型 API 的模型名和接口地址。[ ] 確認(rèn)向量數(shù)據(jù)庫是否需要提前啟動(dòng)容器。[ ] 確認(rèn)前端和后端默認(rèn)端口是否被占用。[ ] 準(zhǔn)備一條最小驗(yàn)證路徑創(chuàng)建角色、發(fā)送消息、刷新頁面。這個(gè)清單不僅能用于 AI 小鎮(zhèn)也適用于大多數(shù)開源 AI 項(xiàng)目的首次搭建。7.2 從 AI 小鎮(zhèn)到真實(shí)業(yè)務(wù)場(chǎng)景AI 小鎮(zhèn)項(xiàng)目里的記憶檢索、角色調(diào)度、對(duì)話生成本質(zhì)上可以遷移到很多真實(shí)場(chǎng)景游戲 NPC讓 NPC 記住玩家交互歷史行為更像真實(shí)角色。客服機(jī)器人把用戶歷史工單、故障記錄向量化在應(yīng)答時(shí)做記憶增強(qiáng)。教學(xué)仿真模擬不同性格的虛擬學(xué)生用于教師培訓(xùn)。企業(yè)知識(shí)助手在對(duì)話中加入企業(yè)文檔檢索提供帶來源的回答。遷移時(shí)要把“小鎮(zhèn)”概念替換成“業(yè)務(wù)領(lǐng)域”。保留 Agent 調(diào)度和記憶框架替換掉世界地圖和角色移動(dòng)邏輯即可。7.3 Java 生態(tài)和 Spring AI 的擴(kuò)展如果團(tuán)隊(duì)技術(shù)棧是 Java可以關(guān)注 Spring AI。它的思路類似一個(gè)輕量的 AI 編排層把大模型、向量庫、函數(shù)調(diào)用統(tǒng)一成 Spring 風(fēng)格的 API。在 AI 小鎮(zhèn)這類項(xiàng)目中如果后端需要接入現(xiàn)有 Java 系統(tǒng)可以考慮用 Spring AI 實(shí)現(xiàn) Agent 對(duì)話和記憶檢索而不是引入一個(gè)全新的 Python 服務(wù)。技術(shù)選型的原則是不要因?yàn)槟硞€(gè)技術(shù)熱門就強(qiáng)行引入要看它是否適合團(tuán)隊(duì)現(xiàn)有基礎(chǔ)設(shè)施和運(yùn)維體系。7.4 學(xué)習(xí)路徑建議AI 小鎮(zhèn)項(xiàng)目適合作為 AI Agent 應(yīng)用開發(fā)的第一站但不要停留在“能跑起來”的程度。建議按這個(gè)順序深化先手工調(diào)用大模型 API理解 Chat Completion 和函數(shù)調(diào)用的基本原理。再給項(xiàng)目增加一個(gè)自定義工具調(diào)用例如讓角色能查詢天氣。接著替換外部 API用 vLLM 或類似工具部署一個(gè)開源模型。然后做壓力測(cè)試記錄并發(fā)和延遲數(shù)據(jù)。最后把這些數(shù)據(jù)用于數(shù)據(jù)中心容量規(guī)劃計(jì)算需要的功率、機(jī)柜和網(wǎng)絡(luò)資源。AI Agent 應(yīng)用最終會(huì)走向模型、數(shù)據(jù)、算力和基礎(chǔ)設(shè)施四個(gè)方向的協(xié)同。AI 小鎮(zhèn)項(xiàng)目讓你從應(yīng)用層看到模型層和基礎(chǔ)設(shè)施層之間如何連接這是單純看文檔很難得到的感覺。動(dòng)手跑通一個(gè)完整鏈路比只讀十篇理論文章有效得多。 AI小鎮(zhèn)項(xiàng)目實(shí)戰(zhàn)：從Agent應(yīng)用到算力與數(shù)據(jù)中心部署
AI 小鎮(zhèn)AI Town這類多智能體模擬項(xiàng)目是 AI Agent 應(yīng)用開發(fā)中很值得動(dòng)手拆解的示例。它用大模型驅(qū)動(dòng)多個(gè)虛擬角色在同一個(gè)虛擬空間里生活、記憶、聊天和行動(dòng)背后涉及 Prompt 工程、記憶檢索、事件調(diào)度和持久化設(shè)計(jì)。真正把一個(gè) AI 小鎮(zhèn)項(xiàng)目從源碼拉到本地跑起來之后你會(huì)發(fā)現(xiàn)這不僅是前端頁面和幾個(gè) API 的事還牽扯到模型推理的算力、并發(fā)請(qǐng)求的排隊(duì)、向量庫的容量以及更上層的數(shù)據(jù)中心部署規(guī)劃。這篇文章圍繞一個(gè)常見的開源 AI 小鎮(zhèn)項(xiàng)目形態(tài)展開講解如何讀懂項(xiàng)目結(jié)構(gòu)、本地搭建運(yùn)行、把大模型推理服務(wù)化并從數(shù)據(jù)中心視角估算算力和基礎(chǔ)設(shè)施需求。適合想入門 AI Agent 應(yīng)用開發(fā)的開發(fā)者也適合正在做 AI 項(xiàng)目部署規(guī)劃、DCIM 和園區(qū)網(wǎng)基礎(chǔ)設(shè)施選型的工程人員。讀完你會(huì)得到一條清晰的路線從一行代碼到一套可部署、可監(jiān)控、可擴(kuò)展的 AI 應(yīng)用基礎(chǔ)設(shè)施。1. 為什么用 AI 小鎮(zhèn)項(xiàng)目理解 Agent 工程與算力1.1 多智能體模擬解決什么問題單個(gè)聊天機(jī)器人只需要處理“用戶輸入 上下文”和“模型輸出”的關(guān)系。但 AI 小鎮(zhèn)不是單輪對(duì)話它模擬的是多角色共存的虛擬社會(huì)每個(gè)角色有自己的身份、目標(biāo)和性格。角色之間會(huì)互相打招呼、交談、傳遞信息。角色會(huì)根據(jù)時(shí)間、地點(diǎn)和當(dāng)前事件決定下一步行動(dòng)。角色需要記住過去發(fā)生的事并在后續(xù)對(duì)話中引用這些記憶。一個(gè)最簡(jiǎn)單的場(chǎng)景是角色 A 在廣場(chǎng)遇到角色 BA 想起昨天 B 幫過自己于是主動(dòng)說“謝謝你昨天的幫助”。這個(gè)行為背后有三層邏輯事件觸發(fā)AI 小鎮(zhèn)的調(diào)度器按時(shí)間推進(jìn)檢測(cè)到 A 和 B 在同一地點(diǎn)。記憶檢索A 的長(zhǎng)期記憶庫中檢索到與 B 相關(guān)的過往記錄。對(duì)話生成A 根據(jù)“當(dāng)前場(chǎng)景 記憶”構(gòu)造 Prompt調(diào)用大模型生成自然語言。所以AI 小鎮(zhèn)的核心價(jià)值不是做出一個(gè)好看的虛擬世界而是把 Agent 工程的完整鏈路串起來狀態(tài)管理、事件調(diào)度、記憶存儲(chǔ)、向量檢索、模型調(diào)用、結(jié)構(gòu)化輸出解析。這些能力在真實(shí)的客服機(jī)器人、游戲 NPC、教育仿真、企業(yè)知識(shí)助手場(chǎng)景里都能復(fù)用。1.2 從 demo 到工程化的三個(gè)關(guān)鍵差異在本地把 AI 小鎮(zhèn)跑起來只是第一步。它的 demo 模式通常很簡(jiǎn)單一個(gè)前端頁面、一個(gè)后端進(jìn)程、直接調(diào)用大模型 API。但進(jìn)入工程化階段至少有三個(gè)問題會(huì)暴露出來。第一個(gè)是模型響應(yīng)不穩(wěn)定。大模型輸出的內(nèi)容不一定符合前端 schema比如角色行動(dòng)指令期望是 JSON模型可能返回一段普通文本。工程上必須做輸出解析、校驗(yàn)和重試。第二個(gè)是狀態(tài)持久化。demo 里記憶可以放內(nèi)存重啟就丟。工程化后需要把角色記憶寫入向量數(shù)據(jù)庫把世界狀態(tài)寫入關(guān)系型數(shù)據(jù)庫或?qū)ο蟠鎯?chǔ)。第三個(gè)是并發(fā)問題。多個(gè)角色同時(shí)行動(dòng)時(shí)如果所有請(qǐng)求都串行調(diào)用大模型整個(gè)小鎮(zhèn)會(huì)非?？ā９こ躺闲枰氩l(fā)控制、隊(duì)列、限流和超時(shí)機(jī)制。這三個(gè)差異決定了 AI 小鎮(zhèn)項(xiàng)目不能只靠一個(gè) Python 腳本完成它需要按“前端層、服務(wù)層、Agent 運(yùn)行時(shí)、模型服務(wù)層、數(shù)據(jù)層”來分層組織。1.3 數(shù)據(jù)中心視角為什么算力規(guī)劃要提前做AI 小鎮(zhèn)項(xiàng)目跑通之后你會(huì)遇到一個(gè)很現(xiàn)實(shí)的問題如果角色數(shù)量從 5 個(gè)增加到 500 個(gè)聊天延遲和吞吐量怎么變化如果要把開源模型部署成自托管服務(wù)需要幾張 GPU 卡如果整個(gè)系統(tǒng)放進(jìn)數(shù)據(jù)中心一個(gè) 8 兆瓦的園區(qū)能放下多少臺(tái) AI 服務(wù)器這些問題不是 AI 小鎮(zhèn)特有的而是所有 AI 應(yīng)用最終都會(huì)遇到的部署難題。模型推理是計(jì)算密集型任務(wù)GPU 服務(wù)器的功率密度比普通 CPU 服務(wù)器高很多。一臺(tái)高配 GPU 服務(wù)器整機(jī)功耗可能達(dá)到幾千瓦一個(gè)機(jī)柜可能只能放 4 到 8 臺(tái)。如果不在項(xiàng)目早期做算力估算和容量規(guī)劃后期擴(kuò)展時(shí)就會(huì)遇到電力不夠、散熱跟不上、網(wǎng)絡(luò)帶寬不足的尷尬。這就是為什么把 AI 小鎮(zhèn)項(xiàng)目和 DCIM、園區(qū)網(wǎng)、算力規(guī)劃放在一起討論前者是理解模型和 Agent 邏輯的入口后者是讓 AI 應(yīng)用真正做到生產(chǎn)可用的基礎(chǔ)設(shè)施保證。2. 讀懂一個(gè) AI 小鎮(zhèn)開源項(xiàng)目的典型工程結(jié)構(gòu)2.1 項(xiàng)目分層與模塊不同 AI 小鎮(zhèn)開源倉庫的實(shí)現(xiàn)細(xì)節(jié)會(huì)有差異但工程結(jié)構(gòu)通常都能歸成五個(gè)層次展示層前端頁面負(fù)責(zé)渲染地圖、角色、對(duì)話氣泡和行動(dòng)日志。服務(wù)層提供后端 API負(fù)責(zé)登錄、世界狀態(tài)查詢、角色操作、消息發(fā)送。Agent 運(yùn)行時(shí)處理角色行為邏輯包括行動(dòng)決策、記憶讀取、對(duì)話生成、事件調(diào)度。模型服務(wù)層封裝大模型調(diào)用可以是外部 API也可以是自托管的 OpenAI 兼容服務(wù)。數(shù)據(jù)層保存角色記憶、世界狀態(tài)、消息歷史。常用 SQLite、PostgreSQL、ChromaDB、LanceDB。理解這些層次后再看項(xiàng)目代碼就不會(huì)迷茫。看一個(gè)文件時(shí)先問自己它屬于哪一層它在這一層解決什么問題它依賴了哪些其他模塊2.2 典型目錄結(jié)構(gòu)示例下面是一個(gè)常見的 AI 小鎮(zhèn)類項(xiàng)目目錄結(jié)構(gòu)示例具體文件名以你拉取的倉庫 README 為準(zhǔn)my_ai_town/ frontend/ src/ components/ pages/ api/ package.json backend/ app/ main.py config.py agents/ world/ memory/ llm/ api/ tests/ requirements.txt docker/ docker-compose.yml data/ chroma/ sqlite/ .env.example README.md對(duì)應(yīng)關(guān)系是agents/放角色定義、行為決策、對(duì)話邏輯。world/放世界狀態(tài)、地點(diǎn)、物品和事件調(diào)度。memory/放記憶寫入和向量檢索。llm/放模型調(diào)用封裝例如支持 OpenAI 格式的 Chat API。api/放 REST 接口給前端調(diào)用。如果倉庫結(jié)構(gòu)和你看到的略有不同優(yōu)先以 README 中說明的架構(gòu)為準(zhǔn)。開源項(xiàng)目結(jié)構(gòu)調(diào)整很快代碼會(huì)變分層思想不會(huì)變。2.3 一次角色對(duì)話會(huì)經(jīng)過哪些環(huán)節(jié)讀代碼時(shí)最有效的做法是順著一條數(shù)據(jù)流走。以“用戶讓角色 A 主動(dòng)去找角色 B 聊天”為例前端發(fā)起請(qǐng)求告訴后端“角色 A 要與角色 B 互動(dòng)”。服務(wù)層接收請(qǐng)求寫入事件隊(duì)列。Agent 運(yùn)行時(shí)從隊(duì)列取出事件查詢角色 A 的狀態(tài)和位置。Agent 調(diào)用記憶模塊在向量庫中檢索角色 A 對(duì) B 的歷史記憶。檢索結(jié)果和當(dāng)前場(chǎng)景一起拼成 Prompt。模型服務(wù)層調(diào)用大模型拿到對(duì)話文本和行動(dòng)指令。解析模塊把模型輸出轉(zhuǎn)成結(jié)構(gòu)化動(dòng)作例如“說話”或“移動(dòng)”。記憶模塊把這次交互寫入向量庫。世界狀態(tài)更新前端通過 WebSocket 或輪詢拿到變化。這個(gè)流程里最容易出問題的步驟是 5 和 6。Prompt 沒有給足上下文模型就會(huì)說出無關(guān)內(nèi)容模型輸出格式不穩(wěn)定解析就會(huì)失敗。所以工程實(shí)現(xiàn)里通常會(huì)有 schema 校驗(yàn)和重試邏輯。2.4 先看 README 里的哪些信息拉取任意 AI 小鎮(zhèn)項(xiàng)目后不要急著執(zhí)行啟動(dòng)命令。先核對(duì)以下信息大模型接口地址必須用 OpenAI 兼容接口還是支持其他協(xié)議。向量數(shù)據(jù)庫哪種數(shù)據(jù)庫版本是什么是否需要單獨(dú)啟動(dòng)容器。前端構(gòu)建工具Node 版本要求包管理器是 npm 還是 pnpm。后端運(yùn)行方式Docker Compose 還是本地 Python 環(huán)境。模型白名單哪些模型經(jīng)過驗(yàn)證哪些模型會(huì)導(dǎo)致輸出解析失敗。這些信息全部集中在 README 或.env.example中。跳過它直接啟動(dòng)大概率會(huì)在依賴版本、模型名稱和網(wǎng)絡(luò)地址上浪費(fèi)大量時(shí)間。3. 本地搭建 AI 小鎮(zhèn)環(huán)境、依賴和啟動(dòng)驗(yàn)證3.1 環(huán)境準(zhǔn)備清單一個(gè)典型的 AI 小鎮(zhèn)學(xué)習(xí)環(huán)境需要這些組件組件建議要求說明Python3.10 或更高Agent 后端常用 Python 實(shí)現(xiàn)Node.js18 或更高前端構(gòu)建和本地開發(fā)服務(wù)Docker20.10 或更高啟動(dòng)向量數(shù)據(jù)庫和中間件大模型 API KeyOpenAI 兼容格式也可以用本地模型服務(wù)替代向量數(shù)據(jù)庫ChromaDB 或 LanceDB保存角色長(zhǎng)期記憶內(nèi)存至少 8GB運(yùn)行多個(gè)服務(wù)、加載模型時(shí)更寬裕學(xué)習(xí)環(huán)境追求的是快速跑通不需要 GPU。直接用外部大模型 API把向量數(shù)據(jù)庫放 Docker 容器里就能完成全部功能驗(yàn)證。生產(chǎn)環(huán)境則不同。外部 API 雖然省事但存在數(shù)據(jù)出境、隱私、成本和接口限流問題。很多團(tuán)隊(duì)會(huì)選擇自托管開源模型這時(shí) GPU、顯存、并發(fā)和散熱就變成了核心指標(biāo)。3.2 配置環(huán)境變量把倉庫克隆下來后通常需要復(fù)制.env.example為.env然后填寫真實(shí)配置。下面是一個(gè)示例LLM_API_KEYsk-xxx LLM_BASE_URLhttps://api.openai.com/v1 LLM_MODELgpt-4o-mini EMBEDDING_API_KEYsk-xxx EMBEDDING_MODELtext-embedding-3-small VECTOR_DB_PATH./data/chroma FRONTEND_PORT5173 BACKEND_PORT8000各個(gè)變量的含義LLM_BASE_URL模型服務(wù)地址。默認(rèn)指向外部平臺(tái)時(shí)走公網(wǎng)接口如果本地用 vLLM 部署了 OpenAI 兼容服務(wù)可以改成http://localhost:8001/v1。LLM_MODEL對(duì)話模型的名稱要和服務(wù)端實(shí)際加載的模型名完全一致。EMBEDDING_MODEL向量化模型。角色記憶要轉(zhuǎn)成向量存庫檢索時(shí)也要用同一個(gè)模型編碼查詢文本。VECTOR_DB_PATH向量數(shù)據(jù)庫數(shù)據(jù)目錄。學(xué)習(xí)環(huán)境可以放在項(xiàng)目目錄下生產(chǎn)環(huán)境應(yīng)該掛載獨(dú)立磁盤。這里最容易踩的坑是對(duì)話模型和向量化模型不匹配。比如記憶寫入時(shí)用模型 A 編碼查詢時(shí)換成了模型 B兩者向量空間不一致檢索結(jié)果會(huì)變得毫無意義。3.3 用 Docker Compose 啟動(dòng)依賴服務(wù)學(xué)習(xí)環(huán)境建議用 Docker Compose 啟動(dòng)向量庫避免本地手動(dòng)安裝帶來環(huán)境污染。下面是一個(gè)最小示例services: vector-db: image: chromadb/chroma:latest container_name: ai-town-chroma volumes: - ./data/chroma:/chroma/chroma ports: - 8002:8000 restart: unless-stopped啟動(dòng)命令docker compose -f docker/docker-compose.yml up -d檢查容器狀態(tài)docker ps | grep ai-town-chroma正常結(jié)果會(huì)看到容器處于Up狀態(tài)。如果容器反復(fù)重啟先看日志docker logs ai-town-chroma常見原因包括端口占用和數(shù)據(jù)目錄權(quán)限不對(duì)。清理沖突端口或調(diào)整目錄權(quán)限后重新啟動(dòng)。向量庫單獨(dú)用容器跑主項(xiàng)目則直接在本地跑 Python 進(jìn)程這樣調(diào)試代碼時(shí)不用頻繁重啟容器。3.4 啟動(dòng)后端并完成健康檢查先安裝 Python 依賴cd backend python -m venv .venv source .venv/bin/activate pip install -r requirements.txt啟動(dòng)后端python app/main.py后端啟動(dòng)后先做健康檢查。常見的健康檢查接口是curl http://localhost:8000/api/health預(yù)期返回類似{status:ok,version:0.1.0}如果接口返回 500先查看終端日志。最常見的錯(cuò)誤是.env未加載、數(shù)據(jù)庫連接失敗、模型名稱不對(duì)。后端可用后再啟動(dòng)前端cd frontend npm install npm run dev瀏覽器訪問http://localhost:5173創(chuàng)建一個(gè)角色并發(fā)送一條消息如果角色能在對(duì)話氣泡中回復(fù)本地鏈路就通了。注意只驗(yàn)證頁面能打開是不夠的。至少要驗(yàn)證“創(chuàng)建角色 - 角色回話 - 刷新頁面后對(duì)話歷史還在”這條完整鏈路。記憶持久化沒有生效時(shí)頁面刷新后角色會(huì)忘掉剛才說過的話。4. AI 推理服務(wù)的算力部署4.1 外部 API 與自托管模型的取舍本地跑通階段使用外部大模型 API 是最快的路徑但生產(chǎn)環(huán)境往往需要自托管模型。對(duì)比一下維度外部托管 API自托管開源模型啟動(dòng)速度只需拿到 Key 就能用需要下載模型、配置 GPU 服務(wù)成本按 token 計(jì)費(fèi)高并發(fā)時(shí)成本高前期硬件投入高長(zhǎng)期用量大時(shí)成本可控?cái)?shù)據(jù)隱私數(shù)據(jù)經(jīng)過第三方服務(wù)數(shù)據(jù)留在自有基礎(chǔ)設(shè)施內(nèi)定制能力只能使用平臺(tái)提供的模型可微調(diào)模型、可改采樣參數(shù)運(yùn)維復(fù)雜度低需要監(jiān)控、升級(jí)、回滾、容量規(guī)劃如果項(xiàng)目還處在原型階段不要急著買 GPU 服務(wù)器。先用外部 API 把產(chǎn)品邏輯驗(yàn)證完等用戶量和調(diào)用量穩(wěn)定后再根據(jù)真實(shí)用量做算力規(guī)劃。4.2 用 vLLM 部署一個(gè) OpenAI 兼容模型服務(wù)自托管模型時(shí)vLLM 是常見的選擇。它把模型暴露成 OpenAI 兼容接口AI 小鎮(zhèn)項(xiàng)目只需要把LLM_BASE_URL改成本地地址代碼幾乎不用動(dòng)。安裝 vLLM 并啟動(dòng)模型服務(wù)pip install vllm python -m vllm.entrypoints.openai.api_server \ --model Qwen/Qwen2.5-7B-Instruct \ --served-model-name my-agent-model \ --tensor-parallel-size 1 \ --gpu-memory-utilization 0.9 \ --max-model-len 8192 \ --port 8001參數(shù)說明--modelHuggingFace 模型名稱或本地模型路徑。首次啟動(dòng)會(huì)下載權(quán)重耗時(shí)較長(zhǎng)。--served-model-name對(duì)外暴露的模型名。AI 小鎮(zhèn).env中的LLM_MODEL必須和它一致。--tensor-parallel-size張量并行數(shù)。單張 GPU 可以設(shè)為 1多卡時(shí)需要設(shè)置為卡數(shù)。--gpu-memory-utilization允許使用的顯存比例。設(shè)成 0.9 是給 CUDA 上下文留余量。--max-model-len最大上下文長(zhǎng)度。不只是字符長(zhǎng)度是 token 數(shù)直接影響顯存占用。啟動(dòng)成功后用 curl 驗(yàn)證接口curl http://localhost:8001/v1/chat/completions \ -H Content-Type: application/json \ -d {model:my-agent-model,messages:[{role:user,content:你好}]}能返回choices數(shù)組說明模型服務(wù)正常。然后修改.envLLM_BASE_URLhttp://localhost:8001/v1 LLM_MODELmy-agent-model重啟后端即可切到本地模型。4.3 并發(fā)和吞吐評(píng)估方法模型服務(wù)啟動(dòng)后不能只看單條請(qǐng)求是否成功還要看并發(fā)能力。簡(jiǎn)單壓測(cè)可以用 hey 工具h(yuǎn)ey -n 100 -c 10 -m POST \ -H Content-Type: application/json \ -d {model:my-agent-model,messages:[{role:user,content:你好}],max_tokens:200} \ http://localhost:8001/v1/chat/completions其中-n 100表示總請(qǐng)求數(shù) 100-c 10表示并發(fā)數(shù) 10。重點(diǎn)觀察P95 延遲用戶能感知的響應(yīng)速度。錯(cuò)誤率是否出現(xiàn)超時(shí)或 429。GPU 顯存占用是否接近上限。如果顯存不夠優(yōu)先做三件事減小max-model-len、降低gpu-memory-utilization對(duì)應(yīng)的并發(fā)上限、換一個(gè)小模型。不要直接盲目堆 GPU 數(shù)量先確認(rèn)瓶頸在顯存、帶寬還是 CPU 調(diào)度。4.4 一個(gè) 8 兆瓦數(shù)據(jù)中心能放多少臺(tái) AI 服務(wù)器算力規(guī)劃里經(jīng)常遇到一個(gè)問題“8 兆瓦的數(shù)據(jù)中心可以部署多少臺(tái) B300 服務(wù)器”。要回答它不能只看單機(jī)功耗還要考慮 PUE、制冷、配電冗余和 IT 負(fù)載率。計(jì)算公式如下園區(qū)總功率8 兆瓦即 8000 千瓦。PUE 是數(shù)據(jù)中心總能耗與 IT 設(shè)備能耗的比值假設(shè) PUE 為 1.3則 IT 設(shè)備可用功率約為 8000 / 1.3約 6153 千瓦。實(shí)際運(yùn)行中不會(huì)把 IT 功率全部用滿按 90% 利用率計(jì)算約 5538 千瓦。將可用功率除以單臺(tái)服務(wù)器整機(jī)功耗。用一段 Python 腳本演示total_power_kw 8000 pue 1.3 utilization 0.9 server_power_kw 5.5 # 示例整機(jī)功耗實(shí)際以設(shè)備規(guī)格為準(zhǔn) it_power_kw total_power_kw / pue available_power_kw it_power_kw * utilization server_count int(available_power_kw // server_power_kw) print(IT 設(shè)備可用功率, round(it_power_kw, 2), kW) print(考慮利用率后的可用功率, round(available_power_kw, 2), kW) print(預(yù)估可部署服務(wù)器數(shù)量, server_count)以不同單機(jī)功耗代入結(jié)果如下單臺(tái)服務(wù)器整機(jī)功耗IT 可用功率約 5538 kW 時(shí)可部署數(shù)量4 kW1384 臺(tái)5.5 kW1006 臺(tái)8 kW692 臺(tái)12 kW461 臺(tái)這只是粗略估算實(shí)際部署還要考慮機(jī)柜承重、散熱方式、網(wǎng)絡(luò)端口數(shù)、UPS 容量、柴發(fā)容量和機(jī)柜空間。AI 服務(wù)器通常功耗密度高一個(gè)機(jī)柜可能只能放 4 到 8 臺(tái)否則制冷系統(tǒng)會(huì)扛不住。注意不要直接拿總功率除以單機(jī)功耗。PUE、配電損耗、制冷功耗和冗余策略會(huì)占掉很大一部分容量。容量規(guī)劃要留出至少 10% 到 20% 的余量。4.5 關(guān)鍵參數(shù)速查表做 AI 算力規(guī)劃時(shí)建議用表格整理關(guān)鍵參數(shù)參數(shù)含義影響PUE數(shù)據(jù)中心總能耗與 IT 能耗比值數(shù)值越低留給 IT 設(shè)備的功率越多IT 利用率實(shí)際運(yùn)行功率占 IT 額定功率的比例防止過載跳閘單機(jī)功耗整臺(tái)服務(wù)器滿載功耗直接決定機(jī)柜數(shù)量和電力容量顯存容量GPU 上的可用顯存決定能加載的模型規(guī)模和并發(fā)數(shù)上下文長(zhǎng)度模型單次推理的最大 token 數(shù)越長(zhǎng)越占顯存和計(jì)算量網(wǎng)絡(luò)收斂比接入帶寬與上行帶寬的比例影響多卡并行和向量檢索延遲這些參數(shù)不是越大約好。顯存大但電源不夠機(jī)器也跑不進(jìn)去上下文長(zhǎng)但業(yè)務(wù)不需要反而浪費(fèi)顯存。所有參數(shù)都要回到真實(shí)業(yè)務(wù)流量來判斷。5. 數(shù)據(jù)中心基礎(chǔ)設(shè)施與 DCIM 設(shè)計(jì)5.1 從單機(jī)部署到園區(qū)網(wǎng)AI 小鎮(zhèn)單機(jī)部署時(shí)后端、向量庫、模型服務(wù)可以都跑在同一臺(tái)機(jī)器上網(wǎng)絡(luò)只要本機(jī)回環(huán)就夠了。但生產(chǎn)環(huán)境部署多副本、多模型服務(wù)后流量模型會(huì)發(fā)生變化。AI 推理集群有三個(gè)明顯特點(diǎn)東西向流量大多個(gè) Agent 服務(wù)之間頻繁調(diào)用模型服務(wù)模型服務(wù)和其他微服務(wù)之間也要交換數(shù)據(jù)東西向流量遠(yuǎn)大于傳統(tǒng) Web 應(yīng)用。存儲(chǔ)流量大向量庫的寫入和查詢、訓(xùn)練數(shù)據(jù)的讀取都需要高速存儲(chǔ)網(wǎng)絡(luò)。延遲敏感角色對(duì)話如果經(jīng)常超時(shí)用戶能明顯感覺到“角色變笨了”。所以在園區(qū)網(wǎng)設(shè)計(jì)上AI 集群通常需要更高的接入帶寬核心交換機(jī)要考慮端口密度和轉(zhuǎn)發(fā)能力。網(wǎng)絡(luò)收斂比如果太高多個(gè) GPU 服務(wù)器同時(shí)通信時(shí)會(huì)出現(xiàn)丟包。5.2 DCIM 記錄哪些數(shù)據(jù)DCIMData Center Infrastructure Management是數(shù)據(jù)中心基礎(chǔ)設(shè)施管理系統(tǒng)的簡(jiǎn)稱。它把物理資產(chǎn)、電力和環(huán)境數(shù)據(jù)集中管理起來讓運(yùn)維人員知道每個(gè)機(jī)柜里有什么設(shè)備、功率是多少、溫度是否異常。一個(gè)實(shí)用的 DCIM 至少應(yīng)該覆蓋這些數(shù)據(jù)數(shù)據(jù)類別具體內(nèi)容典型字段機(jī)柜信息物理位置、U 位空間機(jī)房、行、列、總 U 數(shù)設(shè)備信息服務(wù)器、交換機(jī)、PDU設(shè)備型號(hào)、序列號(hào)、所在 U 位電力信息供電回路、功耗、UPS額定功率、當(dāng)前功率、供電單元網(wǎng)絡(luò)信息端口、IP、VLAN管理 IP、業(yè)務(wù) IP、上聯(lián)端口環(huán)境信息溫度、濕度、水浸機(jī)房溫度、機(jī)柜前后溫度這些數(shù)據(jù)看起來簡(jiǎn)單但沒有系統(tǒng)管理時(shí)往往散落在 Excel、圖紙和運(yùn)維筆記里等要擴(kuò)容時(shí)才發(fā)現(xiàn)某機(jī)柜電力已經(jīng)滿了。5.3 一個(gè)最小 DCIM 數(shù)據(jù)模型如果團(tuán)隊(duì)還沒有 DCIM可以先從數(shù)據(jù)庫表開始設(shè)計(jì)。下面是一個(gè)最小模型示例CREATE TABLE racks ( id SERIAL PRIMARY KEY, room_name VARCHAR(64), row_name VARCHAR(16), rack_name VARCHAR(16), total_u INT DEFAULT 42 ); CREATE TABLE devices ( id SERIAL PRIMARY KEY, rack_id INT REFERENCES racks(id), device_name VARCHAR(128), device_type VARCHAR(32), start_u INT, height_u INT, rated_power_w INT, current_power_w INT, manage_ip VARCHAR(64) ); CREATE TABLE power_feeds ( id SERIAL PRIMARY KEY, device_id INT REFERENCES devices(id), pdu_name VARCHAR(64), circuit_name VARCHAR(64), voltage INT, max_current_a NUMERIC(6, 2) );這個(gè)模型能支持兩個(gè)核心查詢某個(gè)機(jī)柜當(dāng)前已安裝多少 U 位設(shè)備剩余多少空間。某個(gè)配電回路下所有設(shè)備總功耗是否超過安全閾值。查詢示例SELECT r.room_name, r.row_name, r.rack_name, SUM(d.rated_power_w) AS total_rated_power, COUNT(d.id) AS device_count FROM racks r LEFT JOIN devices d ON d.rack_id r.id GROUP BY r.id;結(jié)果可以看出每個(gè)機(jī)柜的額定額度是否被超配。實(shí)際 DCIM 系統(tǒng)還會(huì)增加自動(dòng)采集、告警、容量預(yù)測(cè)和可視化但核心思路一直是把物理資源的“剩余量”算清楚才能安全擴(kuò)容。5.4 學(xué)習(xí)環(huán)境與生產(chǎn)環(huán)境的差異本地學(xué)習(xí)階段可以用一張電子表格模擬 DCIM 管理記錄每臺(tái)設(shè)備的功耗和機(jī)柜 U 位。生產(chǎn)環(huán)境則會(huì)有天然區(qū)別本地過程手動(dòng)、頻率低、覆蓋單機(jī)房。生產(chǎn)需要自動(dòng)采集功率計(jì)和溫度傳感器數(shù)據(jù)實(shí)時(shí)更新。本地表格壞了可以重建。生產(chǎn)DCIM 數(shù)據(jù)錯(cuò)誤會(huì)導(dǎo)致擴(kuò)容誤判必須在建設(shè)初期就保證資產(chǎn)錄入準(zhǔn)確。這些差異決定了 DCIM 不能靠運(yùn)維人員“想起來才更新”它需要監(jiān)控系統(tǒng)、資產(chǎn)變更流程和容量分析工具配合使用。6. 常見問題排查6.1 服務(wù)起不來怎么辦現(xiàn)象執(zhí)行啟動(dòng)命令后前端或后端進(jìn)程直接退出終端報(bào)錯(cuò)。排查順序檢查.env是否存在字段是否完整。缺失LLM_API_KEY時(shí)很多項(xiàng)目會(huì)在啟動(dòng)階段放棄運(yùn)行。檢查端口是否被占用。8000、8001、5173是常見沖突端口。檢查容器日志。向量庫起不來后端連不上數(shù)據(jù)庫同樣會(huì)退出。檢查依賴版本。Python 包版本和 Node 包版本不匹配會(huì)導(dǎo)致運(yùn)行時(shí)ModuleNotFoundError或編譯失敗。常見解決方案lsof -i :8000 kill -9 PID6.2 角色不回復(fù)或回復(fù)很慢現(xiàn)象前端能打開角色也能創(chuàng)建但發(fā)消息后一直轉(zhuǎn)圈或者半天沒有回復(fù)?？赡茉騆LM_MODEL與模型服務(wù)實(shí)際名稱不一致。外部 API Key 額度不足或接口限流。請(qǐng)求超時(shí)時(shí)間設(shè)置太短。向量庫查詢太慢拖慢了 Prompt 構(gòu)建。檢查方式查看后端日志看請(qǐng)求是否到達(dá)模型服務(wù)。直接 curl 模型接口確認(rèn)模型返回正常。用小數(shù)據(jù)集測(cè)試向量檢索耗時(shí)排除索引問題。推薦做法給模型調(diào)用設(shè)置單獨(dú)的超時(shí)和重試參數(shù)不要把超時(shí)時(shí)間設(shè)成 5 秒后就認(rèn)為是模型出問題。6.3 向量庫連接失敗現(xiàn)象后端日志提示連接localhost:8002被拒絕或 ChromaDB 返回Cannot connect to host。排查步驟確認(rèn)容器是否在運(yùn)行docker ps。確認(rèn)端口映射curl http://localhost:8002/api/v1/heartbeat。確認(rèn)項(xiàng)目配置的端口是容器映射后的端口不是容器內(nèi)端口。預(yù)防措施每次重啟機(jī)器后先檢查 Docker 容器狀態(tài)。在 Docker Compose 中加入restart: unless-stopped減少手動(dòng)重啟。6.4 GPU 顯存不足現(xiàn)象vLLM 啟動(dòng)時(shí)報(bào)CUDA out of memory或請(qǐng)求時(shí)顯存逐漸漲滿后報(bào)錯(cuò)。處理方案按優(yōu)先級(jí)降低max-model-len從 8192 改到 4096。降低gpu-memory-utilization給其他進(jìn)程留出空間。減小并發(fā)批次限制最大并發(fā)數(shù)。換一個(gè)更小的模型例如從 14B 降到 7B 或 3B。多卡部署時(shí)設(shè)置--tensor-parallel-size 2但要注意多卡通信網(wǎng)絡(luò)是否滿足帶寬要求。6.5 排查鏈路清單現(xiàn)象檢查點(diǎn)命令或日志位置服務(wù)起不來環(huán)境變量、端口、依賴.env、docker logs、npm run dev輸出角色不回復(fù)模型名稱、API Key、超時(shí)后端日志、curl 模型接口請(qǐng)求超時(shí)并發(fā)過高、網(wǎng)絡(luò)抖動(dòng)hey 壓測(cè)、P95 延遲向量庫連接失敗容器狀態(tài)、端口映射docker ps、curl /api/v1/heartbeat顯存不足模型大小、上下文長(zhǎng)度、并發(fā)nvidia-smi、vLLM 日志頁面刷新后記憶丟失向量庫持久化、數(shù)據(jù)目錄data/chroma目錄是否有文件記住一個(gè)原則先確認(rèn)輸入沒問題再看路徑和命名然后看依賴版本最后看日志。不要一上來就懷疑模型本身的問題。7. 最佳實(shí)踐與擴(kuò)展方向7.1 搭建 AI 小鎮(zhèn)前的檢查清單把項(xiàng)目從倉庫拉到本地前建議先過一遍清單[ ] 確認(rèn) Python、Node.js、Docker 版本滿足要求。[ ] 閱讀 README 的快速開始部分。[ ] 復(fù)制.env.example為.env。[ ] 確認(rèn)大模型 API 的模型名和接口地址。[ ] 確認(rèn)向量數(shù)據(jù)庫是否需要提前啟動(dòng)容器。[ ] 確認(rèn)前端和后端默認(rèn)端口是否被占用。[ ] 準(zhǔn)備一條最小驗(yàn)證路徑創(chuàng)建角色、發(fā)送消息、刷新頁面。這個(gè)清單不僅能用于 AI 小鎮(zhèn)也適用于大多數(shù)開源 AI 項(xiàng)目的首次搭建。7.2 從 AI 小鎮(zhèn)到真實(shí)業(yè)務(wù)場(chǎng)景AI 小鎮(zhèn)項(xiàng)目里的記憶檢索、角色調(diào)度、對(duì)話生成本質(zhì)上可以遷移到很多真實(shí)場(chǎng)景游戲 NPC讓 NPC 記住玩家交互歷史行為更像真實(shí)角色。客服機(jī)器人把用戶歷史工單、故障記錄向量化在應(yīng)答時(shí)做記憶增強(qiáng)。教學(xué)仿真模擬不同性格的虛擬學(xué)生用于教師培訓(xùn)。企業(yè)知識(shí)助手在對(duì)話中加入企業(yè)文檔檢索提供帶來源的回答。遷移時(shí)要把“小鎮(zhèn)”概念替換成“業(yè)務(wù)領(lǐng)域”。保留 Agent 調(diào)度和記憶框架替換掉世界地圖和角色移動(dòng)邏輯即可。7.3 Java 生態(tài)和 Spring AI 的擴(kuò)展如果團(tuán)隊(duì)技術(shù)棧是 Java可以關(guān)注 Spring AI。它的思路類似一個(gè)輕量的 AI 編排層把大模型、向量庫、函數(shù)調(diào)用統(tǒng)一成 Spring 風(fēng)格的 API。在 AI 小鎮(zhèn)這類項(xiàng)目中如果后端需要接入現(xiàn)有 Java 系統(tǒng)可以考慮用 Spring AI 實(shí)現(xiàn) Agent 對(duì)話和記憶檢索而不是引入一個(gè)全新的 Python 服務(wù)。技術(shù)選型的原則是不要因?yàn)槟硞€(gè)技術(shù)熱門就強(qiáng)行引入要看它是否適合團(tuán)隊(duì)現(xiàn)有基礎(chǔ)設(shè)施和運(yùn)維體系。7.4 學(xué)習(xí)路徑建議AI 小鎮(zhèn)項(xiàng)目適合作為 AI Agent 應(yīng)用開發(fā)的第一站但不要停留在“能跑起來”的程度。建議按這個(gè)順序深化先手工調(diào)用大模型 API理解 Chat Completion 和函數(shù)調(diào)用的基本原理。再給項(xiàng)目增加一個(gè)自定義工具調(diào)用例如讓角色能查詢天氣。接著替換外部 API用 vLLM 或類似工具部署一個(gè)開源模型。然后做壓力測(cè)試記錄并發(fā)和延遲數(shù)據(jù)。最后把這些數(shù)據(jù)用于數(shù)據(jù)中心容量規(guī)劃計(jì)算需要的功率、機(jī)柜和網(wǎng)絡(luò)資源。AI Agent 應(yīng)用最終會(huì)走向模型、數(shù)據(jù)、算力和基礎(chǔ)設(shè)施四個(gè)方向的協(xié)同。AI 小鎮(zhèn)項(xiàng)目讓你從應(yīng)用層看到模型層和基礎(chǔ)設(shè)施層之間如何連接這是單純看文檔很難得到的感覺。動(dòng)手跑通一個(gè)完整鏈路比只讀十篇理論文章有效得多。