本地大模型：用 AnyLanguageModel 快速接入 Ollama)
免費(fèi)本地大模型用 AnyLanguageModel 快速接入 Ollama【免費(fèi)下載鏈接】AnyLanguageModelAn API-compatible, drop-in replacement for Apples Foundation Models framework with support for custom language model providers.項(xiàng)目地址: https://gitcode.com/gh_mirrors/an/AnyLanguageModel 文章要點(diǎn)速覽核心關(guān)鍵詞免費(fèi)本地大模型、Ollama、AnyLanguageModel長(zhǎng)尾關(guān)鍵詞Swift 接入 Ollama、本地大模型開(kāi)發(fā)、Ollama 集成教程適合讀者Swift 開(kāi)發(fā)者、想免費(fèi)體驗(yàn)大模型的初學(xué)者、關(guān)注數(shù)據(jù)隱私的開(kāi)發(fā)者閱讀時(shí)長(zhǎng)約 5 分鐘什么是 AnyLanguageModel一條 import 切換所有大模型后端想在自己的 Mac 上免費(fèi)運(yùn)行本地大模型又不想被各家 SDK 的差異折磨AnyLanguageModel正是為此而生的 Swift 開(kāi)源庫(kù)。它是一個(gè)與 Apple Foundation Models 框架API 兼容的即插即用替代品支持 Ollama、OpenAI、Anthropic、Gemini、Core ML、MLX、llama.cpp 等十余種語(yǔ)言模型后端。你只需要改動(dòng)一行import語(yǔ)句import FoundationModels → import AnyLanguageModel原有的LanguageModelSession、Prompt、Tool等代碼幾乎可以原樣保留這讓「本地大模型」與云端大模型之間的切換變得前所未有的簡(jiǎn)單。 核心模塊Sources/AnyLanguageModel/LanguageModelSession.swift定義了會(huì)話與響應(yīng)邏輯是所有后端統(tǒng)一入口。為什么推薦用 Ollama 跑免費(fèi)本地大模型Ollama 是目前最流行的本地大模型運(yùn)行工具主要有三大優(yōu)勢(shì)優(yōu)勢(shì)說(shuō)明完全免費(fèi)模型文件直接下載到本機(jī)無(wú)需任何 API Key 和按量付費(fèi)數(shù)據(jù)私密所有對(duì)話都在本地完成敏感數(shù)據(jù)不出設(shè)備?上手極快一條命令即可拉取并運(yùn)行 Qwen、Llama 等主流開(kāi)源模型而 AnyLanguageModel 對(duì) Ollama 的封裝更是開(kāi)箱即用無(wú)需啟用任何 Package Traits對(duì)比 Core ML、MLX 需要額外配置默認(rèn)連接http://localhost:11434幾乎零配置即可跑通。快速開(kāi)始安裝 Ollama 并拉取模型第一步安裝 Ollama前往 Ollama 官網(wǎng)下載對(duì)應(yīng)平臺(tái)的安裝包macOS 用戶也可以直接用 Homebrewbrew install ollama安裝完成后啟動(dòng)服務(wù)默認(rèn)監(jiān)聽(tīng)localhost:11434。第二步拉取一個(gè)免費(fèi)本地大模型打開(kāi)終端執(zhí)行以下命令拉取模型以通義千問(wèn)為例ollama pull qwen3:8b也可以選擇其他開(kāi)源模型比如llama3.2、qwen3-vl視覺(jué)模型。拉取完成后用ollama run qwen3:8b可以先在命令行里快速驗(yàn)證模型可用。第一步把 AnyLanguageModel 加進(jìn)你的項(xiàng)目方式一Swift Package Manager推薦在Package.swift中添加依賴需要Swift 6.1支持 iOS 17.0 / macOS 14.0 / visionOS 1.0 以及 Linuxdependencies: [ .package(url: https://github.com/huggingface/AnyLanguageModel, from: 0.8.0) ]?? 注意Xcode 26 在編譯舊版本系統(tǒng)目標(biāo)時(shí)可能存在已知 bug建議使用 Xcode 16 構(gòu)建詳見(jiàn)項(xiàng)目 README 中的說(shuō)明。方式二克隆源碼體驗(yàn)想直接查看源碼或二次開(kāi)發(fā)可以克隆倉(cāng)庫(kù)git clone https://gitcode.com/gh_mirrors/an/AnyLanguageModel第二步三行代碼接入 Ollama接入代碼簡(jiǎn)潔得讓人驚喜。首先導(dǎo)入模塊并創(chuàng)建模型實(shí)例import AnyLanguageModel // 默認(rèn)連接 http://localhost:11434 let model OllamaLanguageModel(model: qwen3:8b)如果你的 Ollama 跑在遠(yuǎn)程服務(wù)器上只需指定endpoint參數(shù)let model OllamaLanguageModel( endpoint: URL(string: http://192.168.1.100:11434)!, model: llama3.2 )快速驗(yàn)證發(fā)起第一次對(duì)話let session LanguageModelSession(model: model) let response try await session.respond { Prompt(用一句話介紹你自己) } print(response.content)運(yùn)行后終端就會(huì)輸出由本地大模型生成的內(nèi)容——全程離線、免費(fèi)不消耗任何 API 額度。這就是免費(fèi)本地大模型的魅力所在。 想看實(shí)現(xiàn)細(xì)節(jié)Ollama 后端的完整源碼在Sources/AnyLanguageModel/Models/OllamaLanguageModel.swift測(cè)試用例在Tests/AnyLanguageModelTests/OllamaLanguageModelTests.swift。進(jìn)階玩法一流式輸出像 ChatGPT 一樣打字機(jī)效果用streamResponse替代respond即可實(shí)時(shí)接收逐字輸出體驗(yàn)感和云端大模型毫無(wú)差別let stream session.streamResponse(to: 寫一首關(guān)于秋天的詩(shī)) for try await snapshot in stream { print(snapshot.content, terminator: ) }進(jìn)階玩法二結(jié)構(gòu)化輸出告別字符串解析本地大模型最常見(jiàn)的痛點(diǎn)就是輸出格式不穩(wěn)定。借助Generable宏你可以讓模型直接返回強(qiáng)類型 Swift 結(jié)構(gòu)Generable struct Movie { var title: String var year: Int var rating: Double } let response try await session.respond( to: 推薦一部科幻電影, generating: Movie.self ) print(response.content.title) // 直接訪問(wèn)字段無(wú)需解析 JSON 核心宏定義在Sources/AnyLanguageModelMacros/GenerableMacro.swift結(jié)構(gòu)化生成邏輯在Sources/AnyLanguageModel/StructuredGeneration.swift。進(jìn)階玩法三給本地大模型裝上工具Ollama 原生支持工具調(diào)用Tool CallingAnyLanguageModel 用Tool協(xié)議封裝了這一切。比如做一個(gè)查詢天氣的工具struct WeatherTool: Tool { let name getWeather let description 查詢指定城市的天氣 Generable struct Arguments { var city: String } func call(arguments: Arguments) async throws - String { \(arguments.city) 今日晴26°C } } let session LanguageModelSession(model: model, tools: [WeatherTool()]) let response try await session.respond { Prompt(北京天氣怎么樣) } print(response.content)模型會(huì)自主判斷何時(shí)調(diào)用工具、傳入什么參數(shù)并把工具結(jié)果融入最終回答——本地也能打造完整的 AI Agent。工具協(xié)議定義在Sources/AnyLanguageModel/Tool.swift。進(jìn)階玩法四精細(xì)控制生成參數(shù)Ollama 的模型特有參數(shù)如seed、repeat_penalty、num_ctx可以通過(guò)自定義選項(xiàng)直接透?jìng)鱲ar options GenerationOptions(temperature: 0.8) options[custom: OllamaLanguageModel.self] [ seed: .int(42), // 固定隨機(jī)種子輸出可復(fù)現(xiàn) repeat_penalty: .double(1.2) // 抑制重復(fù) ] let response try await session.respond( to: 講一個(gè)笑話, options: options )常見(jiàn)問(wèn)題與排錯(cuò)FAQQ1提示連接 localhost:11434 失敗先確認(rèn) Ollama 服務(wù)已啟動(dòng)在終端執(zhí)行curl http://localhost:11434有響應(yīng)說(shuō)明服務(wù)正常。Q2模型名稱寫錯(cuò)報(bào)錯(cuò)先用ollama list查看已下載的模型名確保OllamaLanguageModel(model:)傳入的名稱完全一致。Q3能用多模態(tài)模型嗎可以。拉取視覺(jué)模型如qwen3-vl然后在respond中通過(guò)images:參數(shù)傳入圖片let response try await session.respond( to: 描述這張圖片的內(nèi)容, images: [.init(url: URL(fileURLWithPath: /path/to/photo.jpg))] )Q4Ollama 后端需要啟用 Package Traits 嗎不需要。只有 Core ML、MLX、Llama 后端才需要啟用對(duì)應(yīng) TraitOllama 走 HTTP API零額外配置。總結(jié)免費(fèi)本地大模型的完整接入方案環(huán)節(jié)工具耗時(shí)安裝 Ollamabrew install ollama1 分鐘拉取模型ollama pull qwen3:8b看網(wǎng)速接入 SDKOllamaLanguageModel(model:)3 行代碼AnyLanguageModel Ollama的組合讓 Swift 開(kāi)發(fā)者能用最短路徑擁有屬于自己的免費(fèi)本地大模型無(wú)需 API Key、無(wú)需云端費(fèi)用、數(shù)據(jù)完全本地化。無(wú)論是個(gè)人學(xué)習(xí)、原型驗(yàn)證還是對(duì)隱私敏感的辦公場(chǎng)景這套方案都值得一試。現(xiàn)在就裝上 Ollama跑起你的第一個(gè)本地 AI 應(yīng)用吧【免費(fèi)下載鏈接】AnyLanguageModelAn API-compatible, drop-in replacement for Apples Foundation Models framework with support for custom language model providers.項(xiàng)目地址: https://gitcode.com/gh_mirrors/an/AnyLanguageModel創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 免費(fèi)本地大模型：用 AnyLanguageModel 快速接入 Ollama
免費(fèi)本地大模型用 AnyLanguageModel 快速接入 Ollama【免費(fèi)下載鏈接】AnyLanguageModelAn API-compatible, drop-in replacement for Apples Foundation Models framework with support for custom language model providers.項(xiàng)目地址: https://gitcode.com/gh_mirrors/an/AnyLanguageModel 文章要點(diǎn)速覽核心關(guān)鍵詞免費(fèi)本地大模型、Ollama、AnyLanguageModel長(zhǎng)尾關(guān)鍵詞Swift 接入 Ollama、本地大模型開(kāi)發(fā)、Ollama 集成教程適合讀者Swift 開(kāi)發(fā)者、想免費(fèi)體驗(yàn)大模型的初學(xué)者、關(guān)注數(shù)據(jù)隱私的開(kāi)發(fā)者閱讀時(shí)長(zhǎng)約 5 分鐘什么是 AnyLanguageModel一條 import 切換所有大模型后端想在自己的 Mac 上免費(fèi)運(yùn)行本地大模型又不想被各家 SDK 的差異折磨AnyLanguageModel正是為此而生的 Swift 開(kāi)源庫(kù)。它是一個(gè)與 Apple Foundation Models 框架API 兼容的即插即用替代品支持 Ollama、OpenAI、Anthropic、Gemini、Core ML、MLX、llama.cpp 等十余種語(yǔ)言模型后端。你只需要改動(dòng)一行import語(yǔ)句import FoundationModels → import AnyLanguageModel原有的LanguageModelSession、Prompt、Tool等代碼幾乎可以原樣保留這讓「本地大模型」與云端大模型之間的切換變得前所未有的簡(jiǎn)單。 核心模塊Sources/AnyLanguageModel/LanguageModelSession.swift定義了會(huì)話與響應(yīng)邏輯是所有后端統(tǒng)一入口。為什么推薦用 Ollama 跑免費(fèi)本地大模型Ollama 是目前最流行的本地大模型運(yùn)行工具主要有三大優(yōu)勢(shì)優(yōu)勢(shì)說(shuō)明完全免費(fèi)模型文件直接下載到本機(jī)無(wú)需任何 API Key 和按量付費(fèi)數(shù)據(jù)私密所有對(duì)話都在本地完成敏感數(shù)據(jù)不出設(shè)備?上手極快一條命令即可拉取并運(yùn)行 Qwen、Llama 等主流開(kāi)源模型而 AnyLanguageModel 對(duì) Ollama 的封裝更是開(kāi)箱即用無(wú)需啟用任何 Package Traits對(duì)比 Core ML、MLX 需要額外配置默認(rèn)連接http://localhost:11434幾乎零配置即可跑通。快速開(kāi)始安裝 Ollama 并拉取模型第一步安裝 Ollama前往 Ollama 官網(wǎng)下載對(duì)應(yīng)平臺(tái)的安裝包macOS 用戶也可以直接用 Homebrewbrew install ollama安裝完成后啟動(dòng)服務(wù)默認(rèn)監(jiān)聽(tīng)localhost:11434。第二步拉取一個(gè)免費(fèi)本地大模型打開(kāi)終端執(zhí)行以下命令拉取模型以通義千問(wèn)為例ollama pull qwen3:8b也可以選擇其他開(kāi)源模型比如llama3.2、qwen3-vl視覺(jué)模型。拉取完成后用ollama run qwen3:8b可以先在命令行里快速驗(yàn)證模型可用。第一步把 AnyLanguageModel 加進(jìn)你的項(xiàng)目方式一Swift Package Manager推薦在Package.swift中添加依賴需要Swift 6.1支持 iOS 17.0 / macOS 14.0 / visionOS 1.0 以及 Linuxdependencies: [ .package(url: https://github.com/huggingface/AnyLanguageModel, from: 0.8.0) ]?? 注意Xcode 26 在編譯舊版本系統(tǒng)目標(biāo)時(shí)可能存在已知 bug建議使用 Xcode 16 構(gòu)建詳見(jiàn)項(xiàng)目 README 中的說(shuō)明。方式二克隆源碼體驗(yàn)想直接查看源碼或二次開(kāi)發(fā)可以克隆倉(cāng)庫(kù)git clone https://gitcode.com/gh_mirrors/an/AnyLanguageModel第二步三行代碼接入 Ollama接入代碼簡(jiǎn)潔得讓人驚喜。首先導(dǎo)入模塊并創(chuàng)建模型實(shí)例import AnyLanguageModel // 默認(rèn)連接 http://localhost:11434 let model OllamaLanguageModel(model: qwen3:8b)如果你的 Ollama 跑在遠(yuǎn)程服務(wù)器上只需指定endpoint參數(shù)let model OllamaLanguageModel( endpoint: URL(string: http://192.168.1.100:11434)!, model: llama3.2 )快速驗(yàn)證發(fā)起第一次對(duì)話let session LanguageModelSession(model: model) let response try await session.respond { Prompt(用一句話介紹你自己) } print(response.content)運(yùn)行后終端就會(huì)輸出由本地大模型生成的內(nèi)容——全程離線、免費(fèi)不消耗任何 API 額度。這就是免費(fèi)本地大模型的魅力所在。 想看實(shí)現(xiàn)細(xì)節(jié)Ollama 后端的完整源碼在Sources/AnyLanguageModel/Models/OllamaLanguageModel.swift測(cè)試用例在Tests/AnyLanguageModelTests/OllamaLanguageModelTests.swift。進(jìn)階玩法一流式輸出像 ChatGPT 一樣打字機(jī)效果用streamResponse替代respond即可實(shí)時(shí)接收逐字輸出體驗(yàn)感和云端大模型毫無(wú)差別let stream session.streamResponse(to: 寫一首關(guān)于秋天的詩(shī)) for try await snapshot in stream { print(snapshot.content, terminator: ) }進(jìn)階玩法二結(jié)構(gòu)化輸出告別字符串解析本地大模型最常見(jiàn)的痛點(diǎn)就是輸出格式不穩(wěn)定。借助Generable宏你可以讓模型直接返回強(qiáng)類型 Swift 結(jié)構(gòu)Generable struct Movie { var title: String var year: Int var rating: Double } let response try await session.respond( to: 推薦一部科幻電影, generating: Movie.self ) print(response.content.title) // 直接訪問(wèn)字段無(wú)需解析 JSON 核心宏定義在Sources/AnyLanguageModelMacros/GenerableMacro.swift結(jié)構(gòu)化生成邏輯在Sources/AnyLanguageModel/StructuredGeneration.swift。進(jìn)階玩法三給本地大模型裝上工具Ollama 原生支持工具調(diào)用Tool CallingAnyLanguageModel 用Tool協(xié)議封裝了這一切。比如做一個(gè)查詢天氣的工具struct WeatherTool: Tool { let name getWeather let description 查詢指定城市的天氣 Generable struct Arguments { var city: String } func call(arguments: Arguments) async throws - String { \(arguments.city) 今日晴26°C } } let session LanguageModelSession(model: model, tools: [WeatherTool()]) let response try await session.respond { Prompt(北京天氣怎么樣) } print(response.content)模型會(huì)自主判斷何時(shí)調(diào)用工具、傳入什么參數(shù)并把工具結(jié)果融入最終回答——本地也能打造完整的 AI Agent。工具協(xié)議定義在Sources/AnyLanguageModel/Tool.swift。進(jìn)階玩法四精細(xì)控制生成參數(shù)Ollama 的模型特有參數(shù)如seed、repeat_penalty、num_ctx可以通過(guò)自定義選項(xiàng)直接透?jìng)鱲ar options GenerationOptions(temperature: 0.8) options[custom: OllamaLanguageModel.self] [ seed: .int(42), // 固定隨機(jī)種子輸出可復(fù)現(xiàn) repeat_penalty: .double(1.2) // 抑制重復(fù) ] let response try await session.respond( to: 講一個(gè)笑話, options: options )常見(jiàn)問(wèn)題與排錯(cuò)FAQQ1提示連接 localhost:11434 失敗先確認(rèn) Ollama 服務(wù)已啟動(dòng)在終端執(zhí)行curl http://localhost:11434有響應(yīng)說(shuō)明服務(wù)正常。Q2模型名稱寫錯(cuò)報(bào)錯(cuò)先用ollama list查看已下載的模型名確保OllamaLanguageModel(model:)傳入的名稱完全一致。Q3能用多模態(tài)模型嗎可以。拉取視覺(jué)模型如qwen3-vl然后在respond中通過(guò)images:參數(shù)傳入圖片let response try await session.respond( to: 描述這張圖片的內(nèi)容, images: [.init(url: URL(fileURLWithPath: /path/to/photo.jpg))] )Q4Ollama 后端需要啟用 Package Traits 嗎不需要。只有 Core ML、MLX、Llama 后端才需要啟用對(duì)應(yīng) TraitOllama 走 HTTP API零額外配置。總結(jié)免費(fèi)本地大模型的完整接入方案環(huán)節(jié)工具耗時(shí)安裝 Ollamabrew install ollama1 分鐘拉取模型ollama pull qwen3:8b看網(wǎng)速接入 SDKOllamaLanguageModel(model:)3 行代碼AnyLanguageModel Ollama的組合讓 Swift 開(kāi)發(fā)者能用最短路徑擁有屬于自己的免費(fèi)本地大模型無(wú)需 API Key、無(wú)需云端費(fèi)用、數(shù)據(jù)完全本地化。無(wú)論是個(gè)人學(xué)習(xí)、原型驗(yàn)證還是對(duì)隱私敏感的辦公場(chǎng)景這套方案都值得一試。現(xiàn)在就裝上 Ollama跑起你的第一個(gè)本地 AI 應(yīng)用吧【免費(fèi)下載鏈接】AnyLanguageModelAn API-compatible, drop-in replacement for Apples Foundation Models framework with support for custom language model providers.項(xiàng)目地址: https://gitcode.com/gh_mirrors/an/AnyLanguageModel創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考