上下文無(wú)審查推理模型的完整本地部署指南)
Qwythos-9B1M長(zhǎng)上下文無(wú)審查推理模型的完整本地部署指南【免費(fèi)下載鏈接】Qwythos-9B-Claude-Mythos-5-1M項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/empero-ai/Qwythos-9B-Claude-Mythos-5-1MQwythos-9B是基于Qwen3.5-9B全參數(shù)微調(diào)的無(wú)審查推理模型面向需要在本地處理網(wǎng)絡(luò)安全、生物醫(yī)學(xué)等敏感領(lǐng)域技術(shù)問(wèn)題的工程師與技術(shù)決策者。它預(yù)置1,048,576 token長(zhǎng)上下文窗口經(jīng)超5億token推理軌跡后訓(xùn)練MMLU準(zhǔn)確率從0.232提升到0.575。它為什么值得選1M長(zhǎng)上下文YaRN預(yù)置加載即用開(kāi)箱即用的1,048,576 token上下文窗口是9B級(jí)開(kāi)放權(quán)重模型中最長(zhǎng)的之一。YaRN rope-scaling已默認(rèn)寫(xiě)入config.jsonfactor 4.0將原生262,144擴(kuò)展4倍至1M加載時(shí)自動(dòng)生效無(wú)需運(yùn)行時(shí)flag或后處理。官方冒煙測(cè)試驗(yàn)證了約137k token的長(zhǎng)上下文推理單卡H100/H200可穩(wěn)定處理256k–512k完整1M窗口需要多卡或KV緩存卸載。原生函數(shù)調(diào)用傳tools即可無(wú)需包裝器OpenAI/Qwen3.5風(fēng)格函數(shù)調(diào)用無(wú)額外包裝、無(wú)工具專項(xiàng)微調(diào)。將tools[...]傳入apply_chat_template模型即按Qwen3.5規(guī)范輸出合法tool_call塊必選參數(shù)完整遵守。7提示工具測(cè)試全部命中數(shù)學(xué)題選python_executor10萬(wàn)以下質(zhì)數(shù)計(jì)為9592Kerberos TGS-REP的hashcat模式-m 13100、PrintNightmare的CVE-2021-34527等硬事實(shí)均通過(guò)web_search找到并附來(lái)源引用?；旌献⒁饬軜?gòu)內(nèi)存增長(zhǎng)亞二次方Gated DeltaNet線性注意力與Gated全注意力按3:1混合。32層文本骨干中每4層插入1層全注意力線性注意力層使256k以上上下文的內(nèi)存增長(zhǎng)保持亞二次方。這是單卡H100/H200能服務(wù)256k–512k上下文的原因長(zhǎng)上下文成本明顯低于同規(guī)格純?nèi)⒁饬δＰ?。無(wú)審查推理敏感領(lǐng)域直接作答深度無(wú)審查基座對(duì)技術(shù)性問(wèn)題正面作答而非拒答或輸出模板化免責(zé)聲明。后訓(xùn)練數(shù)據(jù)為超5億token的Claude Mythos/Fable軌跡CoT由內(nèi)部工具rethink生成輸出先think塊再最終答案。25條提示的定性評(píng)審顯示它能直接給出SQL注入緩解、TLS握手結(jié)構(gòu)、CRISPR-Cas9機(jī)制、有機(jī)磷中毒解毒等完整技術(shù)內(nèi)容。 性能驗(yàn)證7項(xiàng)基準(zhǔn)對(duì)比數(shù)據(jù)兩模型同harness、同采樣參數(shù)、--limit 100評(píng)測(cè)任務(wù)指標(biāo)基座Qwen3.5-9BQwythos-9BΔgsm8kexact_matchstrict0.5100.8100.300gsm8kexact_matchflexible0.6700.8600.190mmluacc0.2320.5750.343arc_challengeacc0.4700.4900.020gpqa_diamondCoT 0-shotexact_matchflexible0.6300.580?0.050MMLU 34.3是最大增益57個(gè)科目均值0.575政府/政治最高0.78大學(xué)生物學(xué)0.77。gsm8k strict 30是最干凈的信號(hào)同harness、同采樣、同抽取邏輯。gpqa flexible抽取回落5點(diǎn)是唯一退步兩模型strict數(shù)值0.05/0.01均因正則抽取失敗而退化flex分?jǐn)?shù)才有參考意義。每任務(wù)與每科目明細(xì)見(jiàn)evals/lm_eval_results.md。 部署與使用vLLM與SGLang一鍵啟動(dòng)vLLMvllm serve empero-ai/Qwythos-9B-Claude-Mythos-5-1M --max-model-len 1010000SGLangSGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN1 python -m sglang.launch_server \ --model-path empero-ai/Qwythos-9B-Claude-Mythos-5-1M --context-length 1010000采樣參數(shù)官方推薦默認(rèn)值參數(shù)取值作用do_sampleTrue必須開(kāi)啟貪心解碼會(huì)陷入重復(fù)循環(huán)temperature0.6Qwen3.5思考模式推薦值T≤0.3易重復(fù)循環(huán)top_p / top_k0.95 / 20Qwen3.5默認(rèn)組合repetition_penalty1.05防止長(zhǎng)生成中出現(xiàn)非終止推理循環(huán)max_new_tokens16384為think推理塊與最終答案預(yù)留token預(yù)算用transformers本地加載時(shí)基座是多模態(tài)架構(gòu)需用AutoModelForImageTextToText并安裝flash-linear-attention與CUDA匹配的causal_conv1d否則線性注意力層回退到慢速且吃內(nèi)存的PyTorch實(shí)現(xiàn)。實(shí)際場(chǎng)景怎么用場(chǎng)景1整個(gè)代碼庫(kù)跨文件重構(gòu)。你要解決數(shù)十萬(wàn)行代碼庫(kù)的架構(gòu)審查與跨文件重構(gòu)。用到1M長(zhǎng)上下文窗口把整個(gè)倉(cāng)庫(kù)一次性放入提示、無(wú)需RAG分塊。得到單次前向完成的重構(gòu)建議與架構(gòu)評(píng)審不用搭檢索管線。場(chǎng)景2安全運(yùn)營(yíng)精確標(biāo)識(shí)符核驗(yàn)。你要確認(rèn)CVE編號(hào)、hashcat模式這類精確標(biāo)識(shí)符。用到原生函數(shù)調(diào)用給模型傳入python_executor與web_search兩個(gè)工具。得到PrintNightmare→CVE-2021-34527并正確區(qū)分CVE-2021-1675/34481變體、TGS-REP→-m 13100均帶多來(lái)源引用完整過(guò)程見(jiàn)evals/tool_test_outputs.md。場(chǎng)景3多文檔研究合成。你要把10–20篇論文加筆記和工作草案合成結(jié)論。用到1M窗口全部材料進(jìn)一個(gè)提示由think塊做長(zhǎng)程科學(xué)推理。得到一份帶推理鏈的連貫分析報(bào)告。實(shí)用建議參數(shù)調(diào)優(yōu)與常見(jiàn)坑參數(shù)調(diào)優(yōu)temperature0.6、top_p0.95、top_k20。受控復(fù)測(cè)中閉卷評(píng)審標(biāo)記的6處錯(cuò)誤在該配置下零復(fù)發(fā)含physostigmine錯(cuò)誤結(jié)論與張冠李戴的CVE。repetition_penalty保持1.05。相對(duì)默認(rèn)1.0的微小偏移防長(zhǎng)生成非終止循環(huán)。常見(jiàn)坑貪心解碼或T≤0.3易陷入重復(fù)循環(huán)是推理模型在此類提示上的已知失敗模式。靜態(tài)YaRNfactor 4.0在短上下文有微小質(zhì)量損失只用原生262k窗口時(shí)可用倉(cāng)內(nèi)config.json.pre_yarn備份把rope_type恢復(fù)為default。單卡H100/H200適合256k–512k完整1M需張量并行多卡或激進(jìn)的KV緩存卸載。安全注意模型無(wú)審查對(duì)技術(shù)難題不拒答面向最終用戶的部署需自加應(yīng)用層審查。閉卷推理可能過(guò)度自信地給出CVE、hashcat模式、生化位點(diǎn)等精確標(biāo)識(shí)符精確值重要的場(chǎng)景用工具路徑或檢索系統(tǒng)核驗(yàn)。Qwythos-9B是一個(gè)9B體量、單GPU可服務(wù)、覆蓋1M上下文的無(wú)審查推理模型適合本地部署長(zhǎng)上下文敏感領(lǐng)域推理的組合需求。它的基座本身是多模態(tài)架構(gòu)但本次只訓(xùn)練了文本路徑視覺(jué)能力繼承自基座且未經(jīng)測(cè)試。后續(xù)方向是多模態(tài)擴(kuò)展與威脅情報(bào)、藥物發(fā)現(xiàn)等更細(xì)粒度的領(lǐng)域?qū)I(yè)化訓(xùn)練?！久赓M(fèi)下載鏈接】Qwythos-9B-Claude-Mythos-5-1M項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/empero-ai/Qwythos-9B-Claude-Mythos-5-1M創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Qwythos-9B：1M長(zhǎng)上下文無(wú)審查推理模型的完整本地部署指南
Qwythos-9B1M長(zhǎng)上下文無(wú)審查推理模型的完整本地部署指南【免費(fèi)下載鏈接】Qwythos-9B-Claude-Mythos-5-1M項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/empero-ai/Qwythos-9B-Claude-Mythos-5-1MQwythos-9B是基于Qwen3.5-9B全參數(shù)微調(diào)的無(wú)審查推理模型面向需要在本地處理網(wǎng)絡(luò)安全、生物醫(yī)學(xué)等敏感領(lǐng)域技術(shù)問(wèn)題的工程師與技術(shù)決策者。它預(yù)置1,048,576 token長(zhǎng)上下文窗口經(jīng)超5億token推理軌跡后訓(xùn)練MMLU準(zhǔn)確率從0.232提升到0.575。它為什么值得選1M長(zhǎng)上下文YaRN預(yù)置加載即用開(kāi)箱即用的1,048,576 token上下文窗口是9B級(jí)開(kāi)放權(quán)重模型中最長(zhǎng)的之一。YaRN rope-scaling已默認(rèn)寫(xiě)入config.jsonfactor 4.0將原生262,144擴(kuò)展4倍至1M加載時(shí)自動(dòng)生效無(wú)需運(yùn)行時(shí)flag或后處理。官方冒煙測(cè)試驗(yàn)證了約137k token的長(zhǎng)上下文推理單卡H100/H200可穩(wěn)定處理256k–512k完整1M窗口需要多卡或KV緩存卸載。原生函數(shù)調(diào)用傳tools即可無(wú)需包裝器OpenAI/Qwen3.5風(fēng)格函數(shù)調(diào)用無(wú)額外包裝、無(wú)工具專項(xiàng)微調(diào)。將tools[...]傳入apply_chat_template模型即按Qwen3.5規(guī)范輸出合法tool_call塊必選參數(shù)完整遵守。7提示工具測(cè)試全部命中數(shù)學(xué)題選python_executor10萬(wàn)以下質(zhì)數(shù)計(jì)為9592Kerberos TGS-REP的hashcat模式-m 13100、PrintNightmare的CVE-2021-34527等硬事實(shí)均通過(guò)web_search找到并附來(lái)源引用?；旌献⒁饬軜?gòu)內(nèi)存增長(zhǎng)亞二次方Gated DeltaNet線性注意力與Gated全注意力按3:1混合。32層文本骨干中每4層插入1層全注意力線性注意力層使256k以上上下文的內(nèi)存增長(zhǎng)保持亞二次方。這是單卡H100/H200能服務(wù)256k–512k上下文的原因長(zhǎng)上下文成本明顯低于同規(guī)格純?nèi)⒁饬δＰ?。無(wú)審查推理敏感領(lǐng)域直接作答深度無(wú)審查基座對(duì)技術(shù)性問(wèn)題正面作答而非拒答或輸出模板化免責(zé)聲明。后訓(xùn)練數(shù)據(jù)為超5億token的Claude Mythos/Fable軌跡CoT由內(nèi)部工具rethink生成輸出先think塊再最終答案。25條提示的定性評(píng)審顯示它能直接給出SQL注入緩解、TLS握手結(jié)構(gòu)、CRISPR-Cas9機(jī)制、有機(jī)磷中毒解毒等完整技術(shù)內(nèi)容。 性能驗(yàn)證7項(xiàng)基準(zhǔn)對(duì)比數(shù)據(jù)兩模型同harness、同采樣參數(shù)、--limit 100評(píng)測(cè)任務(wù)指標(biāo)基座Qwen3.5-9BQwythos-9BΔgsm8kexact_matchstrict0.5100.8100.300gsm8kexact_matchflexible0.6700.8600.190mmluacc0.2320.5750.343arc_challengeacc0.4700.4900.020gpqa_diamondCoT 0-shotexact_matchflexible0.6300.580?0.050MMLU 34.3是最大增益57個(gè)科目均值0.575政府/政治最高0.78大學(xué)生物學(xué)0.77。gsm8k strict 30是最干凈的信號(hào)同harness、同采樣、同抽取邏輯。gpqa flexible抽取回落5點(diǎn)是唯一退步兩模型strict數(shù)值0.05/0.01均因正則抽取失敗而退化flex分?jǐn)?shù)才有參考意義。每任務(wù)與每科目明細(xì)見(jiàn)evals/lm_eval_results.md。 部署與使用vLLM與SGLang一鍵啟動(dòng)vLLMvllm serve empero-ai/Qwythos-9B-Claude-Mythos-5-1M --max-model-len 1010000SGLangSGLANG_ALLOW_OVERWRITE_LONGER_CONTEXT_LEN1 python -m sglang.launch_server \ --model-path empero-ai/Qwythos-9B-Claude-Mythos-5-1M --context-length 1010000采樣參數(shù)官方推薦默認(rèn)值參數(shù)取值作用do_sampleTrue必須開(kāi)啟貪心解碼會(huì)陷入重復(fù)循環(huán)temperature0.6Qwen3.5思考模式推薦值T≤0.3易重復(fù)循環(huán)top_p / top_k0.95 / 20Qwen3.5默認(rèn)組合repetition_penalty1.05防止長(zhǎng)生成中出現(xiàn)非終止推理循環(huán)max_new_tokens16384為think推理塊與最終答案預(yù)留token預(yù)算用transformers本地加載時(shí)基座是多模態(tài)架構(gòu)需用AutoModelForImageTextToText并安裝flash-linear-attention與CUDA匹配的causal_conv1d否則線性注意力層回退到慢速且吃內(nèi)存的PyTorch實(shí)現(xiàn)。實(shí)際場(chǎng)景怎么用場(chǎng)景1整個(gè)代碼庫(kù)跨文件重構(gòu)。你要解決數(shù)十萬(wàn)行代碼庫(kù)的架構(gòu)審查與跨文件重構(gòu)。用到1M長(zhǎng)上下文窗口把整個(gè)倉(cāng)庫(kù)一次性放入提示、無(wú)需RAG分塊。得到單次前向完成的重構(gòu)建議與架構(gòu)評(píng)審不用搭檢索管線。場(chǎng)景2安全運(yùn)營(yíng)精確標(biāo)識(shí)符核驗(yàn)。你要確認(rèn)CVE編號(hào)、hashcat模式這類精確標(biāo)識(shí)符。用到原生函數(shù)調(diào)用給模型傳入python_executor與web_search兩個(gè)工具。得到PrintNightmare→CVE-2021-34527并正確區(qū)分CVE-2021-1675/34481變體、TGS-REP→-m 13100均帶多來(lái)源引用完整過(guò)程見(jiàn)evals/tool_test_outputs.md。場(chǎng)景3多文檔研究合成。你要把10–20篇論文加筆記和工作草案合成結(jié)論。用到1M窗口全部材料進(jìn)一個(gè)提示由think塊做長(zhǎng)程科學(xué)推理。得到一份帶推理鏈的連貫分析報(bào)告。實(shí)用建議參數(shù)調(diào)優(yōu)與常見(jiàn)坑參數(shù)調(diào)優(yōu)temperature0.6、top_p0.95、top_k20。受控復(fù)測(cè)中閉卷評(píng)審標(biāo)記的6處錯(cuò)誤在該配置下零復(fù)發(fā)含physostigmine錯(cuò)誤結(jié)論與張冠李戴的CVE。repetition_penalty保持1.05。相對(duì)默認(rèn)1.0的微小偏移防長(zhǎng)生成非終止循環(huán)。常見(jiàn)坑貪心解碼或T≤0.3易陷入重復(fù)循環(huán)是推理模型在此類提示上的已知失敗模式。靜態(tài)YaRNfactor 4.0在短上下文有微小質(zhì)量損失只用原生262k窗口時(shí)可用倉(cāng)內(nèi)config.json.pre_yarn備份把rope_type恢復(fù)為default。單卡H100/H200適合256k–512k完整1M需張量并行多卡或激進(jìn)的KV緩存卸載。安全注意模型無(wú)審查對(duì)技術(shù)難題不拒答面向最終用戶的部署需自加應(yīng)用層審查。閉卷推理可能過(guò)度自信地給出CVE、hashcat模式、生化位點(diǎn)等精確標(biāo)識(shí)符精確值重要的場(chǎng)景用工具路徑或檢索系統(tǒng)核驗(yàn)。Qwythos-9B是一個(gè)9B體量、單GPU可服務(wù)、覆蓋1M上下文的無(wú)審查推理模型適合本地部署長(zhǎng)上下文敏感領(lǐng)域推理的組合需求。它的基座本身是多模態(tài)架構(gòu)但本次只訓(xùn)練了文本路徑視覺(jué)能力繼承自基座且未經(jīng)測(cè)試。后續(xù)方向是多模態(tài)擴(kuò)展與威脅情報(bào)、藥物發(fā)現(xiàn)等更細(xì)粒度的領(lǐng)域?qū)I(yè)化訓(xùn)練?！久赓M(fèi)下載鏈接】Qwythos-9B-Claude-Mythos-5-1M項(xiàng)目地址: https://ai.gitcode.com/hf_mirrors/empero-ai/Qwythos-9B-Claude-Mythos-5-1M創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考