AuK語音內(nèi)容編輯實(shí)戰(zhàn)精準(zhǔn)替換、插入、刪除語音內(nèi)容與歌詞改寫指南【免費(fèi)下載鏈接】AuK項(xiàng)目地址: https://ai.gitcode.com/tencent_hunyuan/AuKAuK 是騰訊混元開源的 15 億參數(shù)語音生成與編輯基礎(chǔ)模型一條自然語言指令即可完成語音內(nèi)容編輯——精準(zhǔn)替換、插入、刪除語音中的語句甚至改寫歌曲歌詞。本文面向新手帶你零門檻上手 AuK 語音編輯。什么是 AuK 語音內(nèi)容編輯簡(jiǎn)單來說你不用剪輯軟件逐幀操作只需用一句人話告訴模型把這句話改成那句話AuK 就會(huì)保留原說話人的音色、語速和韻律輸出編輯后的完整語音。AuK 的核心亮點(diǎn)?統(tǒng)一指令接口所有任務(wù)替換、插入、刪除、歌詞改寫、變調(diào)、降噪、分離都用同一種自然語言方式觸發(fā)內(nèi)容編輯不串音改的是說了什么不是誰在說原音色完整保留MIT 開源協(xié)議代碼與權(quán)重均已開放可自由用于學(xué)習(xí)和商用場(chǎng)景模型整體架構(gòu)與能力一覽可在 README.md 中查看其中列出了 AuK 支持的全部任務(wù)清單包括零樣本 TTS、指令 TTS、內(nèi)容編輯、歌詞編輯、聲學(xué)編輯音調(diào)/語速/音量、情感與音色編輯、語音增強(qiáng)與分離等。準(zhǔn)備工作3 步部署 AuK 語音編輯第 1 步獲取項(xiàng)目代碼git clone https://gitcode.com/tencent_hunyuan/AuK第 2 步確認(rèn)模型文件本倉(cāng)庫(kù)直接包含 AuK 基礎(chǔ)模型的核心權(quán)重克隆后即可看到文件作用auk_base.safetensorsAuK 基礎(chǔ)模型權(quán)重?cái)U(kuò)散 Transformer 層融合權(quán)重vae.safetensors音頻 VAE負(fù)責(zé)語音波形與潛變量之間的編解碼config.yaml模型配置文件定義網(wǎng)絡(luò)結(jié)構(gòu)與采樣參數(shù)LICENSEMIT 開源協(xié)議第 3 步了解關(guān)鍵配置打開 config.yaml 可以看到 AuK 的兩個(gè)重要工程細(xì)節(jié)目標(biāo)采樣率 24000 Hz編輯輸出為 24kHz 高質(zhì)量音頻細(xì)節(jié)保留充分BigVGANFlowVAE 聲學(xué)編解碼器480 倍下采樣兼顧編輯精度與推理效率 提示除本倉(cāng)庫(kù)外AuK-Flash 是蒸餾加速版4 步推理適合需要快速出稿的場(chǎng)景可從官方模型站點(diǎn)單獨(dú)獲取。語音替換一句話改寫說錯(cuò)的內(nèi)容**替換Replace**是最常用的編輯操作錄音里念錯(cuò)了一個(gè)詞、一個(gè)數(shù)字、一個(gè)名字無需重新錄制直接讓模型改過來。操作思路上傳原始音頻用自然語言描述修改例如把音頻里的下周五替換為下周一AuK 定位到對(duì)應(yīng)片段重新生成前后內(nèi)容原樣保留音色、停頓、語氣自然銜接實(shí)用技巧?小范圍修改效果最好替換 1~2 個(gè)詞通常比整句重寫更穩(wěn)定?指代盡量具體用引號(hào)給出原文和替換文本避免歧義?? 替換文本與原文長(zhǎng)度差異過大時(shí)整體時(shí)長(zhǎng)會(huì)自然伸縮屬正?，F(xiàn)象語音插入在指定位置補(bǔ)進(jìn)新內(nèi)容**插入Insert**適合話說漏了一句的補(bǔ)救場(chǎng)景在兩句之間補(bǔ)進(jìn)新內(nèi)容模型會(huì)自動(dòng)處理銜接的語流聽感上不像人工拼接。典型用法在大家好之后插入歡迎來到本期節(jié)目在句尾補(bǔ)上未說完的賓語或問候語關(guān)鍵點(diǎn)是指明插入位置——用前文或后文的語句來錨定位置例如在謝謝之前插入……定位越明確插入越精準(zhǔn)。語音刪除精準(zhǔn)去掉不想要的片段刪除Remove用于去掉口誤、重復(fù)詞、無關(guān)的插入語。你只需指出要?jiǎng)h掉的內(nèi)容例如刪除音頻中的呃和重復(fù)的那半句話AuK 會(huì)自動(dòng)把刪除點(diǎn)前后自然銜接不會(huì)出現(xiàn)生硬的拼接斷層。三個(gè)實(shí)用建議 刪除對(duì)象用原文引用例如刪除那個(gè)那個(gè)這個(gè)口癖 刪除后想保留的語氣詞可一并說明 大段刪除后總時(shí)長(zhǎng)縮短若需要填補(bǔ)空白可再配合插入操作替換、插入、刪除這三類內(nèi)容編輯任務(wù)的完整指令模板可在官方 Cookbook 文檔中按任務(wù)類別查閱配合 CLI 與 Python 示例直接套用。歌詞改寫旋律不變歌詞隨心換這是 AuK 最具趣味性的能力之一——歌詞編輯Lyric Editing對(duì)一段演唱錄音直接改寫歌詞文字而旋律與歌手音色保持不變。適用場(chǎng)景 把一首歌的歌詞換成自己的文案快速做出定制版歌曲 修改歌詞中不合適的表述旋律一個(gè)音都不動(dòng) 給清唱 Demo 換一版歌詞進(jìn)行對(duì)比試聽操作方式同樣是自然語言指令給出原歌詞片段與目標(biāo)歌詞AuK 會(huì)重新合成演唱部分保留原曲的節(jié)奏框架和聲線。新手常見問題Q1編輯后的音色和原聲一致嗎一致。AuK 屬于內(nèi)容級(jí)編輯只改變語音承載的文字內(nèi)容說話人的音色、基頻與韻律特征在輸出中保留。Q2支持中文語音編輯嗎AuK 在百萬小時(shí)級(jí)多語種音頻上訓(xùn)練中文日常語音的替換、插入、刪除與歌詞改寫均可通過自然語言指令完成。Q3AuK 還能做哪些編輯除了內(nèi)容編輯AuK 還支持聲學(xué)編輯升降調(diào)、調(diào)速、音量調(diào)節(jié)、副語言編輯情感、音色、去口音、氣聲/笑聲等、語音增強(qiáng)降噪、去混響和語音分離多說話人分離、人聲提取等全部走同一個(gè)指令接口詳見 README.md 的 Supported Tasks 章節(jié)。Q4推理速度太慢怎么辦可切換使用蒸餾版 AuK-Flash4 步推理在保持可用質(zhì)量的前提下顯著提升出稿速度?？偨Y(jié)AuK 語音內(nèi)容編輯三步上手克隆倉(cāng)庫(kù)獲取代碼與 auk_base.safetensors 等權(quán)重文件用自然語言下指令說清楚替換/插入/刪除什么、在哪里拿到成品音頻24kHz 高保真輸出音色與原聲一致從改錯(cuò)字到換歌詞AuK 把過去需要專業(yè)音頻工程才能完成的活變成了一句會(huì)說話的事?，F(xiàn)在就可以動(dòng)手試試你的第一條語音編輯指令 【免費(fèi)下載鏈接】AuK項(xiàng)目地址: https://ai.gitcode.com/tencent_hunyuan/AuK創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考