1. 從本地跑大模型這件事說起第一次聽說 Ollama 的人十有八九是在某個(gè)技術(shù)群里看到別人曬截圖終端里敲一行命令幾秒鐘后一個(gè)對話界面就出來了模型回答流暢而且斷網(wǎng)也能用。這時(shí)候大多數(shù)人的第一反應(yīng)是這玩意兒是不是又要配環(huán)境、裝驅(qū)動(dòng)、折騰一整天第二反應(yīng)是我這臺(tái)筆記本能跑得動(dòng)嗎。Ollama 解決的正是這兩個(gè)問題。它把大模型的下載、量化、加載、推理服務(wù)這幾件事打包成了一個(gè)命令行工具你不需要懂 CUDA、不需要手動(dòng)轉(zhuǎn)模型格式、不需要自己寫推理服務(wù)一條ollama run就能把模型拉起來對話。它本質(zhì)上是一個(gè)本地大模型運(yùn)行時(shí)管理器類似 Docker 之于容器——你只管說要哪個(gè)模型剩下的它來處理。這篇文章適合三類人看一是完全沒接觸過本地推理、想知道這東西到底值不值得裝的新手二是已經(jīng)裝了但搞不清楚我到底能跑多大的模型的觀望者三是想把它接進(jìn)自己項(xiàng)目、需要了解 API 和顯存占用規(guī)律的開發(fā)者。我會(huì)把模型規(guī)模的判斷邏輯、顯存和內(nèi)存的換算、量化等級(jí)的取舍、實(shí)際跑起來的體感這幾件事講透讓你看完能自己算出我這臺(tái)機(jī)器該選哪個(gè)模型。先說結(jié)論省得你往下翻一臺(tái) 16GB 內(nèi)存的普通輕薄本能流暢跑 7B 到 8B 級(jí)別的量化模型32GB 內(nèi)存或者有 8GB 以上顯存的機(jī)器可以上 14B 到 32B想跑 70B 級(jí)別基本要有 48GB 以上的顯存或者大內(nèi)存加耐心。具體怎么算出來的下面慢慢拆。2. Ollama 到底幫你做了哪些臟活累活2.1 它不是一個(gè)模型而是一套運(yùn)行時(shí)很多人一開始會(huì)混淆概念以為 Ollama 是某個(gè)模型的名字。不是。Ollama 是一個(gè)工具模型是它去倉庫里拉下來的。你可以把它理解成一個(gè)模型的應(yīng)用商店加啟動(dòng)器它維護(hù)了一個(gè)模型庫每個(gè)模型有不同的參數(shù)規(guī)模和量化版本你用ollama pull下載用ollama run啟動(dòng)。它底層其實(shí)是基于一個(gè)開源推理引擎做的封裝把模型加載、顯存分配、上下文管理、HTTP 服務(wù)這些環(huán)節(jié)都自動(dòng)化了。你啟動(dòng)一個(gè)模型之后它默認(rèn)會(huì)在本地起一個(gè)服務(wù)端口對外提供兼容常見接口規(guī)范的 API。這意味著你不僅能命令行對話還能用代碼去調(diào)它把它當(dāng)成一個(gè)本地的大模型服務(wù)來用。2.2 自動(dòng)量化為什么下載的模型比原始模型小那么多這是新手最容易困惑的點(diǎn)。你在網(wǎng)上看到某個(gè) 7B 模型原始權(quán)重是十幾個(gè) GB但 Ollama 拉下來只有 4GB 左右是不是被閹割了不是閹割是量化。原始模型權(quán)重通常是 16 位浮點(diǎn)數(shù)存儲(chǔ)每個(gè)參數(shù)占 2 字節(jié)。7B 參數(shù)就是 70 億乘 2 字節(jié)約 14GB。量化就是把每個(gè)參數(shù)的存儲(chǔ)精度降低比如降到 4 位那每個(gè)參數(shù)只占 0.5 字節(jié)7B 就變成約 3.5GB。精度降了模型能力會(huì)有損失但 4 位量化在大多數(shù)對話任務(wù)上損失很小肉眼幾乎感覺不到差別。Ollama 默認(rèn)拉取的往往是 4 位量化版本這就是為什么它下載快、占用小。它幫你省掉了自己找量化工具、自己轉(zhuǎn)格式這一步這是它最實(shí)在的價(jià)值之一。2.3 跨平臺(tái)這件事比想象中重要Ollama 支持主流桌面操作系統(tǒng)也支持在服務(wù)器環(huán)境里跑。這個(gè)跨平臺(tái)特性看著不起眼實(shí)際用起來很關(guān)鍵你在 Mac 上試好的模型和命令換到 Linux 服務(wù)器上基本能原樣復(fù)用團(tuán)隊(duì)里有人用不同系統(tǒng)也不會(huì)因?yàn)榄h(huán)境差異導(dǎo)致我這能跑你那跑不了。它還會(huì)自動(dòng)識(shí)別硬件。有獨(dú)立顯卡就用顯卡加速?zèng)]有就用 CPU 加內(nèi)存硬扛蘋果芯片的機(jī)器會(huì)用統(tǒng)一內(nèi)存架構(gòu)。你不需要手動(dòng)指定用哪個(gè)設(shè)備它自己判斷。當(dāng)然判斷結(jié)果不一定最優(yōu)后面講性能調(diào)優(yōu)時(shí)會(huì)說怎么干預(yù)。3. 模型規(guī)模、量化等級(jí)與硬件需求的換算邏輯3.1 先記住一個(gè)粗略公式判斷能不能跑核心看兩樣?xùn)|西顯存有獨(dú)顯或內(nèi)存純 CPU 或統(tǒng)一內(nèi)存架構(gòu)。模型運(yùn)行時(shí)的占用大致等于模型文件大小 上下文緩存開銷 運(yùn)行時(shí)開銷模型文件大小就是你在 Ollama 里看到的那個(gè)數(shù)字比如 4.1GB、8.0GB。上下文緩存取決于你設(shè)置的上下文長度越長占用越大。運(yùn)行時(shí)開銷一般幾百 MB 到 1GB 不等。一個(gè)更實(shí)用的經(jīng)驗(yàn)法則是模型文件大小乘以 1.2 到 1.5就是你需要的可用顯存或內(nèi)存下限。比如一個(gè) 4.7GB 的 8B 模型你至少要有 6GB 左右的可用顯存才跑得舒服如果只有 4GB 顯存它會(huì)溢出到內(nèi)存速度斷崖式下跌。3.2 不同參數(shù)規(guī)模對應(yīng)的量化后體積下面這張表是我實(shí)測和整理出來的常見對應(yīng)關(guān)系量化等級(jí)以最常用的 4 位為主參數(shù)規(guī)模4位量化后體積建議最低顯存/內(nèi)存典型硬件1B-3B0.8-2GB4GB老筆記本、樹莓派級(jí)別7B-8B4-5GB8GB主流輕薄本、6-8GB 顯存顯卡13B-14B7-9GB12GB16GB 內(nèi)存本、8GB 顯存32B-34B18-22GB24GB32GB 內(nèi)存、16GB 顯存70B40-45GB48GB雙卡或大內(nèi)存工作站注意這里的建議最低是能跑起來的下限不是流暢的下限。真正流暢每秒輸出十幾個(gè)字以上通常要留出更多余量。3.3 量化等級(jí)怎么選Q4 是甜點(diǎn)但不是唯一答案Ollama 的模型標(biāo)簽里經(jīng)常能看到q4_K_M、q5_K_M、q8_0這樣的后綴這是量化等級(jí)。數(shù)字越大精度越高、體積越大、質(zhì)量越好。常見的有Q4_K_M最常用的平衡點(diǎn)體積小、質(zhì)量損失可接受絕大多數(shù)場景首選。Q5_K_M質(zhì)量比 Q4 好一截體積大約多 20%顯存夠就選它。Q8_0接近原始精度體積接近翻倍一般只在顯存非常充裕時(shí)用。Q3 及以下體積很小但質(zhì)量下降明顯容易出現(xiàn)胡言亂語除非硬件實(shí)在緊張否則不推薦。我的建議是先按 Q4 跑如果顯存還有富余再換 Q5 試試體感提升通常比換更大參數(shù)規(guī)模更劃算。一個(gè) Q5 的 8B 模型往往比 Q4 的 14B 模型在同樣顯存下表現(xiàn)更穩(wěn)因?yàn)榇竽Ｐ土炕莘炊菀妆馈?.4 上下文長度是被忽視的顯存殺手很多人算顯存只算模型體積忽略了上下文。上下文長度直接決定緩存占用開得越長占用越大。默認(rèn)上下文可能只有 2K 到 4K如果你手動(dòng)調(diào)到 32K緩存開銷可能多出好幾個(gè) GB。實(shí)際經(jīng)驗(yàn)是日常對話 4K 到 8K 足夠處理長文檔再往上調(diào)但調(diào)之前先確認(rèn)顯存扛得住。如果發(fā)現(xiàn)調(diào)大上下文后速度驟降甚至報(bào)錯(cuò)八成是顯存爆了回退到小一點(diǎn)的上下文即可。4. 不同硬件檔位的實(shí)測體感與選型建議4.1 純 CPU 加 16GB 內(nèi)存能跑但要有心理預(yù)期這是最常見的入門配置。16GB 內(nèi)存的輕薄本可用內(nèi)存大概 12-13GB。跑一個(gè) 4-5GB 的 8B Q4 模型沒問題但速度取決于 CPU。實(shí)測下來中端移動(dòng)處理器跑 8B Q4輸出速度大概每秒 3 到 8 個(gè)字能對話但談不上絲滑。這個(gè)檔位的正確用法是選 7B 到 8B 的 Q4 模型上下文別開太大把它當(dāng)成一個(gè)離線可用的助手而不是追求實(shí)時(shí)響應(yīng)。寫寫郵件、改改文案、做做簡單問答完全夠用。想更快只能降參數(shù)規(guī)模比如上 3B 模型速度會(huì)明顯提升但能力也明顯下降。4.2 8GB 顯存獨(dú)顯性價(jià)比最高的檔位8GB 顯存的顯卡是目前本地推理的甜點(diǎn)。它能比較舒服地跑 8B Q4/Q5也能勉強(qiáng)跑 14B Q4。速度上8B 模型每秒能輸出二三十個(gè)字體驗(yàn)接近在線服務(wù)。這個(gè)檔位我建議主跑 8B Q5把上下文設(shè)到 8K日常夠用。如果非要上 14B就接受速度慢一點(diǎn)、上下文小一點(diǎn)。別硬上 32B會(huì)溢出到內(nèi)存速度掉到個(gè)位數(shù)體驗(yàn)很差。4.3 16GB 顯存及以上可以認(rèn)真考慮 32B16GB 顯存能比較從容地跑 32B Q4這是能力上的一個(gè)明顯臺(tái)階。32B 模型在推理、代碼、復(fù)雜指令跟隨上比 8B 強(qiáng)不少接近一些中型在線模型的水準(zhǔn)。這個(gè)檔位要注意散熱和功耗長時(shí)間跑推理顯卡會(huì)持續(xù)高負(fù)載。另外 32B 模型加載慢第一次啟動(dòng)可能要等十幾秒到幾十秒別以為卡死了。4.4 大內(nèi)存統(tǒng)一內(nèi)存架構(gòu)蘋果芯片的特殊玩法蘋果芯片的統(tǒng)一內(nèi)存架構(gòu)讓內(nèi)存和顯存共享這意味著 32GB 或 64GB 內(nèi)存的機(jī)器能當(dāng)顯存用。實(shí)測 32GB 的機(jī)器跑 32B Q4 是可行的速度比同顯存的獨(dú)顯慢一些但勝在安靜省電。這個(gè)架構(gòu)的坑在于內(nèi)存被模型占滿后系統(tǒng)其他程序會(huì)變卡。所以別把內(nèi)存全喂給模型留幾個(gè) GB 給系統(tǒng)。另外統(tǒng)一內(nèi)存的帶寬和獨(dú)顯沒法比跑大模型時(shí)速度瓶頸更明顯。5. 把 Ollama 接進(jìn)自己項(xiàng)目的實(shí)操路徑5.1 服務(wù)化調(diào)用別只會(huì)命令行對話Ollama 啟動(dòng)后默認(rèn)在本地提供一個(gè) HTTP 服務(wù)你可以用任何語言去調(diào)。這是它從玩具變成工具的關(guān)鍵一步。下面是一個(gè)最簡調(diào)用示例import requests response requests.post( http://localhost:11434/api/generate, json{ model: 你的模型名, prompt: 用一句話解釋什么是量化, stream: False } ) print(response.json()[response])這段代碼的核心是三個(gè)參數(shù)模型名、提示詞、是否流式返回。流式返回適合做打字機(jī)效果非流式適合一次性拿結(jié)果。實(shí)際項(xiàng)目里我一般用流式用戶體驗(yàn)好很多。5.2 模型管理拉取、查看、刪除幾個(gè)高頻命令記一下ollama list看本地已經(jīng)有哪些模型以及各自體積。ollama pull 模型名下載模型可以指定量化標(biāo)簽。ollama rm 模型名刪除不用的模型釋放磁盤。ollama ps看當(dāng)前正在運(yùn)行的模型和占用。磁盤管理很容易被忽視。模型動(dòng)輒幾個(gè) GB拉多了硬盤很快滿。建議定期ollama list清理不用的尤其是那些試了一次就再?zèng)]碰過的大模型。5.3 自定義模型用 Modelfile 固化配置如果你每次啟動(dòng)都要調(diào)一堆參數(shù)可以寫一個(gè) Modelfile 把配置固化下來。它類似 Dockerfile 的思路指定基礎(chǔ)模型、系統(tǒng)提示詞、參數(shù)等。這樣團(tuán)隊(duì)成員用同一個(gè) Modelfile 就能得到一致的模型行為避免我這回答風(fēng)格和你那不一樣的問題。Modelfile 里可以設(shè)溫度、上下文長度、系統(tǒng)提示詞這些。溫度低回答更穩(wěn)定適合事實(shí)問答溫度高更有創(chuàng)意適合寫作。這個(gè)參數(shù)調(diào)優(yōu)沒有標(biāo)準(zhǔn)答案得按你的場景試。6. 踩過的坑與性能調(diào)優(yōu)經(jīng)驗(yàn)6.1 顯存溢出速度斷崖的元兇最常見的坑就是模型太大顯存裝不下部分層被放到內(nèi)存里跑。表現(xiàn)是模型能啟動(dòng)但輸出速度從每秒二十幾個(gè)字掉到兩三個(gè)字。很多人以為是模型本身慢其實(shí)是溢出。判斷方法很簡單跑的時(shí)候看任務(wù)管理器或顯卡監(jiān)控如果顯存占滿、內(nèi)存也漲了一大截基本就是溢出了。解決辦法就是換更小的量化版本或者換更小參數(shù)的模型。別指望調(diào)參數(shù)能救這是硬性資源問題。6.2 首次加載慢是正常的第一次跑某個(gè)模型它會(huì)做加載和初始化可能要等十幾秒甚至更久。這不是卡死是正常現(xiàn)象。第二次跑同一個(gè)模型就快很多因?yàn)橐呀?jīng)緩存了。所以別在第一次加載時(shí)就急著 CtrlC耐心等。6.3 上下文開太大導(dǎo)致報(bào)錯(cuò)前面提過上下文是顯存殺手。有些人為了處理長文檔把上下文直接拉到最大結(jié)果模型啟動(dòng)就報(bào)錯(cuò)或者直接崩。正確做法是逐步往上調(diào)找到你這臺(tái)機(jī)器的上限。一般 8B 模型在 8GB 顯存下上下文開到 8K 比較穩(wěn)再往上就要看運(yùn)氣了。6.4 別迷信參數(shù)規(guī)模任務(wù)匹配更重要我見過有人非要在一臺(tái)普通筆記本上跑 32B結(jié)果慢到?jīng)]法用還不如老老實(shí)實(shí)跑 8B。模型選型的第一原則是任務(wù)匹配日常問答、文案潤色8B 足夠復(fù)雜推理、代碼生成再考慮上大模型。參數(shù)規(guī)模不是越大越好跑得動(dòng)、跑得快、夠用才是真的好。6.5 磁盤和散熱這兩個(gè)隱形因素模型占磁盤推理占 CPU/GPU 和散熱。筆記本長時(shí)間跑推理風(fēng)扇會(huì)狂轉(zhuǎn)機(jī)身發(fā)燙然后觸發(fā)降頻速度進(jìn)一步下降。如果打算長時(shí)間用墊高機(jī)身或者用散熱底座會(huì)有幫助。磁盤方面模型放在固態(tài)硬盤上加載明顯快于機(jī)械硬盤這個(gè)差異在加載大模型時(shí)尤其明顯。7. 關(guān)于能跑多大這件事我的實(shí)際判斷習(xí)慣回到標(biāo)題那個(gè)問題——Ollama 能跑多大模型我的判斷習(xí)慣是這樣的先看機(jī)器可用顯存或內(nèi)存乘以 0.8 得到安全預(yù)算然后去模型列表里找體積不超過這個(gè)預(yù)算的、參數(shù)規(guī)模最大的那個(gè) Q4 模型。跑起來之后看速度如果每秒輸出低于 5 個(gè)字就降一檔如果高于 15 個(gè)字說明還有余量可以試試更大的或者更高精度的量化。這套方法不精確但足夠?qū)嵱媚茏屇阍趲追昼妰?nèi)決定該拉哪個(gè)模型而不是反復(fù)下載刪除浪費(fèi)時(shí)間。本地推理這件事硬件決定了上限量化決定了平衡點(diǎn)而你的實(shí)際任務(wù)決定了到底該選哪個(gè)。把這三點(diǎn)想清楚Ollama 用起來就沒什么門檻了。