構(gòu)建卡頓先從依賴鏈查起說明本文以 AI 產(chǎn)品場景說明降級、版本測試和預(yù)算控制。日志、成本、時延與成功率均為示例不代表實際運(yùn)行結(jié)果。三個月前團(tuán)隊為了讓旗下的 Markdown 筆記與文檔協(xié)作工具“智能化”發(fā)起了一項實驗引入基于 LLM Agent 的全自動編輯助手。最初的設(shè)想非常美好——用戶只要選中一段文本輸入任何指令如“重構(gòu)這段邏輯”、“生成對應(yīng)思維導(dǎo)圖”、“補(bǔ)充示例代碼”LLM 就會自動解析意圖并調(diào)用后端的函數(shù)鏈完成操作。然而這套系統(tǒng)上線測試僅兩周我們就被真實的運(yùn)維數(shù)據(jù)澆了一頭冷水延遲崩潰由于將意圖識別、上下文檢索與代碼生成全部交由 GPT-4 串行處理單次操作的平均 P95 延遲高達(dá) 8.6 秒用戶吐槽“比自己寫還慢”。成本雪崩高頻小文本修改觸發(fā)了完整的 Prompt 攜帶API 費(fèi)用在第 10 天就耗盡了整個季度的預(yù)算。狀態(tài)機(jī)失控模型幻覺導(dǎo)致生成的 JSON 格式偶發(fā)損壞直接把用戶的本地文檔給清空了一半。這次失敗的實驗迫使我們重新思考獨(dú)立產(chǎn)品在引入 AI 驅(qū)動生產(chǎn)力工具時究竟應(yīng)該如何平衡智能化體驗與確定的工程質(zhì)量1. 失敗架構(gòu) vs 二段式降級架構(gòu)最初導(dǎo)致慘敗的核心原因在于過分迷信 LLM 的通用能力將本屬于本地確定性算法的邏輯也全權(quán)托管給大模型。2. 核心實現(xiàn)本地快速意圖路由與 AST 剪枝為了將延遲從 8 秒壓縮至 300ms 以內(nèi)我們實現(xiàn)了一套輕量級的本地意圖路由分發(fā)器。簡單的文本變換如格式化、轉(zhuǎn)換 Markdown 標(biāo)題、去除空行直接由本地正則與 AST 引擎處理只有真正的創(chuàng)想類指令才會透傳給遠(yuǎn)端 LLM。// services/ai/intent-router.ts export type IntentType LOCAL_FORMAT | LOCAL_TABLE | LLM_REWRITE | LLM_GENERATE; interface RouterResult { type: IntentType; handler?: (text: string) string; payload?: Recordstring, any; } export class FastIntentRouter { // 本地意圖正則表達(dá)式詞表 private static localRules: Array{ reg: RegExp; type: IntentType; transform: (t: string) string } [ { reg: /^format:?\s*/i, type: LOCAL_FORMAT, transform: (text) text.trim().replace(/\n{3,}/g, \n\n), }, { reg: /^to-table:?\s*/i, type: LOCAL_TABLE, transform: (text) { const lines text.trim().split(\n); return lines.map((l) | ${l.split(/[,\t]/).join( | )} |).join(\n); }, }, ]; public static route(inputPrompt: string, selectedText: string): RouterResult { // 1. 優(yōu)先匹配本地硬核操作 for (const rule of this.localRules) { if (rule.reg.test(inputPrompt)) { return { type: rule.type, handler: () rule.transform(selectedText), }; } } // 2. 判斷是否滿足 LLM 最簡觸發(fā)條件控制 Token 攜帶 if (selectedText.length 4000) { // 超長文本智能剪枝提取關(guān)鍵句 selectedText selectedText.slice(0, 2000) \n...[已自動剪枝]...\n selectedText.slice(-1500); } return { type: inputPrompt.includes(生成) ? LLM_GENERATE : LLM_REWRITE, payload: { prompt: inputPrompt, context: selectedText }, }; } }3. 核心實現(xiàn)可中斷的 SSE 流式生成控制器生產(chǎn)力工具應(yīng)給用戶絕對的控制權(quán)。如果用戶發(fā)現(xiàn) AI 生成方向偏差應(yīng)能按下Esc或點(diǎn)擊“中斷”按鈕立即停止 Token 消費(fèi)并回滾文檔。以下展示帶安全熔斷能力的 SSEServer-Sent Events消費(fèi)封裝// services/ai/stream-controller.ts export class StreamAIController { private abortController: AbortController | null null; public async executeStreamTask( endpoint: string, payload: Recordstring, any, onDelta: (chunk: string) void, onError: (err: Error) void ): Promisevoid { this.abortController new AbortController(); try { const response await fetch(endpoint, { method: POST, headers: { Content-Type: application/json }, body: JSON.stringify(payload), signal: this.abortController.signal, }); if (!response.ok || !response.body) { throw new Error(HTTP Error: ${response.status}); } const reader response.body.getReader(); const decoder new TextDecoder(utf-8); let accumulatedText ; while (true) { const { done, value } await reader.read(); if (done) break; const chunk decoder.decode(value, { stream: true }); accumulatedText chunk; // 增量吐出給 UI Shadow Layer onDelta(chunk); } } catch (err: any) { if (err.name AbortError) { console.warn([AI Stream] 用戶手動中斷生成); } else { onError(err); } } finally { this.abortController null; } } // 用戶按下 Esc 或切換視窗時觸發(fā) public cancel() { if (this.abortController) { this.abortController.abort(); } } }4. 成本與性能優(yōu)化指標(biāo)對照經(jīng)過二段式架構(gòu)重構(gòu)后產(chǎn)品關(guān)鍵技術(shù)指標(biāo)變化如下指標(biāo)維度失敗實驗階段 (全 LLM 包辦)改造升級后 (規(guī)則LLM二段式)優(yōu)化幅度首字響應(yīng)時間 (TTFB)3.2s180ms?? 94.3%P95 任務(wù)完成耗時8.6s1.1s (包含流式展示)?? 87.2%單用戶日均 Token 消費(fèi)45,000 Tokens4,200 Tokens?? 90.6%JSON 格式解析崩潰率4.8%0.01% (引入本地陰影層)?? 99.7%5. 獨(dú)立開發(fā)者打造 AI 工具的 4 條止損總結(jié)別用 LLM 替換正則表達(dá)式格式化、簡單語法轉(zhuǎn)換、字符統(tǒng)計等確定性邏輯始終用本地代碼實現(xiàn)性能提升百倍且完全免費(fèi)。始終提供影子陰影層 (Shadow Buffer)AI 生成的內(nèi)容在確認(rèn)合入用戶原文檔前應(yīng)在獨(dú)立的臨時視窗或 Draft 狀態(tài)中校驗絕不能直接修改用戶主數(shù)據(jù)棧。前端控制流中斷務(wù)必支持AbortController傳輸中斷既幫用戶節(jié)省等待時間也幫開發(fā)者節(jié)省 API 賬單成本。漸進(jìn)式智能化不要試圖一次性做“全能 AI 代理”。先從小而確定的 Prompt 場景切入逐個打磨體驗才是獨(dú)立產(chǎn)品存活的根本。