數(shù)據(jù)不出設(shè)備的「端側(cè)夢」Edge0 的隱私賬到底怎么算【免費下載鏈接】Edge0-35B-A3B-preview項目地址: https://ai.gitcode.com/hf_mirrors/Edge0/Edge0-35B-A3B-preview2026 年 9 月無界方舟開源了 Edge0 流式 MoE 推理框架首發(fā) 35B 與 8B 兩個預(yù)覽檔位配套的 README.md 寫著一行極具傳播力的標(biāo)語Runs in phone-class memory——35B 級模型峰值活躍內(nèi)存不到 3 GiB解碼 15 tok/s4-bit 量化后平均僅損失 3.9 分。隨后 Edge0-35B 登頂 Hugging Face Trending 榜社區(qū)跟進文章密集出現(xiàn)「3GB 內(nèi)存跑 35B MoE 模型」「iPhone 也能跑 35B 大模型」。在這些技術(shù)興奮點背后藏著一個被順帶消費的敘事——本地推理 數(shù)據(jù)不出設(shè)備 隱私安全。本文不打算復(fù)述 Edge0 有多快而是把隱私當(dāng)作一本賬來算本地推理到底承諾了什么、沒承諾什么SSD 流式加載與磁盤緩存引入了哪些新的風(fēng)險面離線與低成本優(yōu)勢的另一面是什么以及數(shù)據(jù)不出設(shè)備這句口號里哪些是工程事實哪些只是營銷成分。「數(shù)據(jù)不出設(shè)備」這句話精確地說只承諾了一件事先看 Edge0 的工程事實。倉庫中模型文件的實際構(gòu)成是四個基礎(chǔ)權(quán)重分片model-00001 至 model-00004-of-00004.safetensors合計約 19.5GB外加 lora_edge0_35b.safetensors約 42MB與 prerouter_edge0_35b.safetensors約 138MB兩個適配器全部與基礎(chǔ)權(quán)重同位存放model.safetensors.index.json 中登記的 total_size 約 20.4GB。README.md 對運行方式的描述是完整 4-bit 權(quán)重留在存儲上專家按需流式加載內(nèi)存中只有活躍權(quán)重——no sharding and no upfront download of the weights into memory。也就是說推理時沒有一段用戶輸入會被拼裝進 HTTP 請求發(fā)往云端這是整個隱私敘事里最硬核、也最可驗證的一條提示詞的處理路徑完全在本地進程內(nèi)完成與 Cloud API 的輸入必然出境有本質(zhì)區(qū)別。但注意這句話的邊界——它承諾的是推理環(huán)節(jié)提示詞不出設(shè)備而不是設(shè)備從此不聯(lián)網(wǎng)。權(quán)重本身約 20GB必須先通過huggingface-cli download從遠端模型倉庫拉取到本地磁盤LoRA 與 prerouter 適配器也來自同一渠道。隱私賬的第一行就要寫清楚這是推理本地化不是全鏈路離線化。數(shù)據(jù)流的隱私核算要區(qū)分三個環(huán)節(jié)權(quán)重獲取云端→設(shè)備一次性、推理設(shè)備內(nèi)、服務(wù)暴露設(shè)備→局域網(wǎng)/互聯(lián)網(wǎng)可選。Edge0 只對中間環(huán)節(jié)給出了強承諾。流式加載與磁盤緩存風(fēng)險面沒有變小只是換了位置Edge0 的三板斧——SSD 專家卸載、prerouter 路由預(yù)判、Recover-LoRA——在 README.md 里有清晰的機制描述專家權(quán)重按路由結(jié)果按需從存儲流式讀取內(nèi)存只保留活躍集合prerouter 是一個經(jīng)過訓(xùn)練的預(yù)測頭提前一步預(yù)測下一層的專家路由使讀盤與計算重疊解碼吞吐最多提升 59%Recover-LoRA 在凍結(jié)的 int4 基座上用蒸餾恢復(fù)量化損失。這三項技術(shù)解決的是內(nèi)存墻本身不涉及用戶數(shù)據(jù)。但把它們放進隱私賬本會發(fā)現(xiàn)幾個此前少有人討論的風(fēng)險面其一內(nèi)存上限與 OS swap 的交界處。2.9 GiB 是短上下文下的峰值活躍內(nèi)存README.md 的 Limitations 明確寫道Long contexts grow the KV cacheuse shorter contexts to keep peak memory at 3 GiB。當(dāng)上下文變長、KV cache 膨脹疊加系統(tǒng)其他進程的內(nèi)存競爭操作系統(tǒng)會啟動 swap。此時推理過程中的中間狀態(tài)含提示詞對應(yīng)的激活與 KV 緩存可能被換入磁盤交換文件而這恰恰發(fā)生在數(shù)據(jù)不出設(shè)備最被信任的場景里——設(shè)備沒聯(lián)網(wǎng)但數(shù)據(jù)以另一種形式落盤了。對普通用戶這或許無害但對涉密環(huán)境這就把內(nèi)存中處理悄悄變成了可能落盤而 README 的隱私敘述并未覆蓋這一層。其二磁盤上躺著的不只是權(quán)重。流式加載依賴本地存儲意味著模型文件長駐 SSD如果推理框架或宿主應(yīng)用把對話歷史寫入日志或會話緩存那么模型文件 對話殘留會同時存在于磁盤。倉庫層面無法驗證運行時是否落盤日志這份鏡像只包含模型目錄不包含 edge0 運行時源碼但這恰恰是審計點開源的是模型與適配器運行時的數(shù)據(jù)留存策略需要使用者自行核驗。其三本地服務(wù)端口的暴露面。README 提供了edge0 serve --port 8085的 OpenAI 兼容 API 一鍵服務(wù)。本地推理與本地服務(wù)是兩回事一旦服務(wù)監(jiān)聽地址不限于 127.0.0.1提示詞就會以明文 HTTP 在局域網(wǎng)內(nèi)流動此時不出設(shè)備的邊界已悄悄退到不出路由器。這是本地部署最常見的隱私泄漏姿勢也是數(shù)據(jù)不出設(shè)備敘事中最容易被誤解的工程細節(jié)。其四預(yù)取機制的隱私語義。社區(qū)實測文章提到 Edge0 還配合 N-Gram 預(yù)取與熱專家緩存來提升命中率。這類預(yù)取讀的是專家權(quán)重而非用戶內(nèi)容隱私語義上是干凈的但它也讓運行時讀了磁盤的哪些區(qū)域變得不可見對安全審計而言是一個觀察盲區(qū)需要依賴運行時開源來彌合。離線可用與成本優(yōu)勢的另一面Edge0 的另一條賣點是免費、離線、低成本。社區(qū)橫評給出的數(shù)據(jù)是Mac mini M4 Pro 上峰值活躍內(nèi)存 2.9 GiB、解碼 14.9–17.7 tok/s、預(yù)熱后 prefill 達 140 tok/siOS 端實測約 6.4 tok/s、峰值內(nèi)存 4GB輕量檔 edge0-8b24 層、K8峰值內(nèi)存壓到約 1.0 GiB解碼速度約為 35B 檔的 1.5 倍。這些數(shù)字說明用消費級設(shè)備跑大模型從實驗室變成了可交互體驗。但成本賬的另一面同樣具體存儲是硬門檻不是軟約束。35B 檔 4-bit 權(quán)重約 20GB且流式加載對存儲介質(zhì)敏感——社區(qū)實測普遍強調(diào)需要 NVMe SSDSATA 與機械硬盤因帶寬不足會讓按需讀專家變成按秒卡頓。這意味著端側(cè)夢的實際成本清單里最便宜的反而不是模型而是那塊快速閃存。算力成本被轉(zhuǎn)移給電池與硬件壽命。云上按 token 計費消失后代價轉(zhuǎn)嫁為持續(xù)解碼功耗、散熱與 SSD 磨損。對手機、眼鏡、耳機這類形態(tài)6–15 tok/s 的交互體驗與待機時間的權(quán)衡是離線敘事很少展示的另一半。離線 ≠ 免維護。模型要升級、適配器要更換每一次更新都是一次新的云端下載。所謂永久免費離線在版本迭代的時間軸上并不成立。隱私敘事的營銷成分與真實邊界把上面所有條目匯總Edge0 的隱私賬可以結(jié)算成三筆入賬真實承諾推理階段提示詞不經(jīng)過任何外部推理服務(wù)離線可運行意味著斷網(wǎng)不降級全部權(quán)重與適配器開源、可本地審計。對數(shù)據(jù)出境合規(guī)這一最現(xiàn)實的監(jiān)管關(guān)切本地推理確實提供了干凈的解法——數(shù)據(jù)駐留data residency在設(shè)備內(nèi)成立。出賬被弱化的代價約 20GB 權(quán)重從云端拉取供應(yīng)鏈環(huán)節(jié)存在模型被篡改或投毒的理論風(fēng)險倉庫未提供強校驗說明運行時與適配器由廠商訓(xùn)練并發(fā)布使用者需要信任其數(shù)據(jù)留存與遙測策略長上下文 內(nèi)存壓力可能觸發(fā) swap 落盤serve模式的端口暴露與明文 HTTP 屬于部署層責(zé)任不寫進模型卡的隱私承諾。真正被營銷放大的部分把本地推理偷換為全面隱私是當(dāng)前端側(cè) AI 敘事的通病。事實上提示詞一旦輸入設(shè)備它的安全邊界就取決于設(shè)備本身——本地惡意軟件、共享設(shè)備的其他用戶、未加密的磁盤都能在數(shù)據(jù)不出設(shè)備的框架內(nèi)合法地接觸這些數(shù)據(jù)。本地推理消除的是云端收集這一條攻擊面而不是隱私的全部它把風(fēng)險從信任一個云服務(wù)商轉(zhuǎn)移成了信任自己的設(shè)備與供應(yīng)鏈。這也是 Edge0 這類項目最值得肯定的一點它沒有把隱私寫成玄學(xué)而是把內(nèi)存占用的物理上限做成了可測量、可復(fù)現(xiàn)的工程指標(biāo)——3 GiB、15 tok/s、3.9 分每一個數(shù)字都在 README.md 的基準(zhǔn)表里可查證。隱私賬的正確答案不是本地 絕對安全而是像這份 README 一樣把每一條承諾的邊界都寫清楚哪些數(shù)據(jù)在設(shè)備內(nèi)、哪些數(shù)據(jù)曾經(jīng)過網(wǎng)絡(luò)、哪些行為會把數(shù)據(jù)重新放到磁盤上。算清了這本賬端側(cè)夢才真正可信?！久赓M下載鏈接】Edge0-35B-A3B-preview項目地址: https://ai.gitcode.com/hf_mirrors/Edge0/Edge0-35B-A3B-preview創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考