戰(zhàn)：8步從零做出你的第一個(gè)AI語(yǔ)音模型)
RVC變聲器新手實(shí)戰(zhàn)8步從零做出你的第一個(gè)AI語(yǔ)音模型【免費(fèi)下載鏈接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!項(xiàng)目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI如果你手頭有十幾分鐘的一段人聲錄音想在晚飯前就拿到一個(gè)能開口說話、能跟著旋律唱歌的AI音色模型——**RVC變聲器Retrieval-based-Voice-Conversion-WebUI**就是為你準(zhǔn)備的。這個(gè)基于VITS的開源語(yǔ)音克隆框架把訓(xùn)練音色這件事的入門門檻降到了幾乎為零不需要懂深度學(xué)習(xí)不需要寫神經(jīng)網(wǎng)絡(luò)代碼甚至不需要很強(qiáng)的顯卡全程在一個(gè)網(wǎng)頁(yè)界面里點(diǎn)點(diǎn)點(diǎn)就能完成。本文用一條完整可復(fù)現(xiàn)的實(shí)戰(zhàn)路線帶你從零走完備料 → 訓(xùn)練 → 出模型 → 實(shí)際變聲的全流程順便把每個(gè)環(huán)節(jié)背后的原理講明白。無論你是想給視頻配音、做虛擬主播還是單純想玩一把聲音模仿這份RVC語(yǔ)音克隆訓(xùn)練教程都適用。先看一張整條流程的地圖后面每一步都能在這張圖上找到位置第一步 先看清整條流水線RVC幫你做了哪四件事很多人第一次打開RVC會(huì)被界面里的十幾個(gè)按鈕嚇到其實(shí)它只干了四件事。把這四件事記在腦子里后面的每一步都不會(huì)迷路。環(huán)節(jié)類比RVC里對(duì)應(yīng)的操作收原料請(qǐng)一位聲音老師錄課準(zhǔn)備音頻素材精加工把老師的課切成整齊的片段處理數(shù)據(jù)、提取特征調(diào)音師訓(xùn)練讓學(xué)生模仿老師發(fā)聲訓(xùn)練模型、訓(xùn)練索引演出學(xué)生上臺(tái)表演單次/批量/實(shí)時(shí)變聲把這個(gè)流程想成請(qǐng)聲音老師帶徒弟素材是老師念的課文特征提取是讓徒弟記下老師的口型和音調(diào)訓(xùn)練是讓徒弟反復(fù)練習(xí)最終推理就是徒弟真正開口。RVC最特別的一點(diǎn)是它用了top1檢索替換技術(shù)——說話時(shí)不是讓模型憑空猜音色而是去查老師的聲音特征庫(kù)把最接近的一段特征替換進(jìn)來。這個(gè)設(shè)計(jì)既杜絕了音色泄漏不像別人又保證了你訓(xùn)練數(shù)據(jù)很少時(shí)也能出不錯(cuò)的效果。項(xiàng)目說明里明確寫了低底噪語(yǔ)音數(shù)據(jù)只需約10分鐘就能訓(xùn)練出可用的語(yǔ)音轉(zhuǎn)換模型。第二步 搭臺(tái)子從零配置RVC環(huán)境的最快路徑動(dòng)手前先確認(rèn)你的電腦有三樣?xùn)|西Python 3.8以上、FFmpeg、以及一塊能用的顯卡沒有獨(dú)顯也能訓(xùn)練只是慢一些。安裝依賴按顯卡選路線先拿到項(xiàng)目代碼git clone https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI cd Retrieval-based-Voice-Conversion-WebUI你的顯卡安裝命令說明NVIDIAN卡pip install -r requirements.txt大多數(shù)人的選擇訓(xùn)練最快AMDWindowspip install -r requirements-dml.txt走DirectML加速IntelLinuxpip install -r requirements-ipex.txt走IPEX加速 裝完依賴建議順手把tools/download_models.py跑一遍它會(huì)自動(dòng)下載RVC需要的預(yù)訓(xùn)練底模、音高提取模型等資產(chǎn)放在assets/目錄下。這一步漏掉后面訓(xùn)練會(huì)報(bào)找不到模型文件。啟動(dòng)Web界面只需要一行命令python infer-web.py看到終端輸出地址后瀏覽器打開http://localhost:7860你會(huì)看到幾個(gè)標(biāo)簽頁(yè)模型推理、伴奏人聲分離、訓(xùn)練、ckpt處理、Onnx導(dǎo)出。到這里環(huán)境就緒。驗(yàn)證方式很簡(jiǎn)單隨便在推理頁(yè)點(diǎn)一下刷新如果能正常列出音色列表哪怕暫時(shí)是空的說明程序已經(jīng)跑通。第三步 備料什么樣的聲音素材適合當(dāng)老師訓(xùn)練效果的下限由算法決定上限由數(shù)據(jù)決定。高質(zhì)量10分鐘勝過低質(zhì)量1小時(shí)——這句話值得貼在顯示器上。按這三條標(biāo)準(zhǔn)準(zhǔn)備素材時(shí)長(zhǎng)累計(jì)10-30分鐘可以是一段連續(xù)錄音也可以是很多短片段拼起來格式WAV、單聲道、44100Hz采樣率文件不要太小小于100KB的殘片建議直接淘汰干凈度無背景噪音、無混響、無破音說話或唱歌時(shí)不要離麥克風(fēng)忽遠(yuǎn)忽近如果你的素材是人聲和伴奏混在一起的歌曲別急著扔——RVC自帶的伴奏人聲分離標(biāo)簽頁(yè)里集成了UVR5模型可以一鍵把人聲從伴奏里摳出來再去混響、去回聲。這相當(dāng)于給聲音老師做了一個(gè)去噪凈化之后的效果會(huì)明顯更干凈。 一個(gè)反直覺的經(jīng)驗(yàn)素材內(nèi)容越雜越好。既有說話的段落、又有唱歌的段落、還有情緒的起伏模型學(xué)到的音色就越立體。全是同一種語(yǔ)調(diào)的平淡錄音出來的效果反而面。第四步 喂給模型三步把素材變成可訓(xùn)練的特征這一步對(duì)應(yīng)訓(xùn)練標(biāo)簽頁(yè)里的 step1 到 step2b本質(zhì)是把音頻變成模型能消化的數(shù)值特征。過程像做飯——先切菜再調(diào)味。step1填實(shí)驗(yàn)配置。起一個(gè)實(shí)驗(yàn)名比如my-voice選目標(biāo)采樣率40k是絕大多數(shù)人的平衡點(diǎn)追求更高音質(zhì)可選48k32k適合實(shí)時(shí)變聲場(chǎng)景再選是否帶音高指導(dǎo)——唱歌必須選是純說話可選否最后選模型版本v2默認(rèn)效果更好。step2a處理數(shù)據(jù)。填入你的音頻文件夾路徑點(diǎn)處理數(shù)據(jù)。RVC會(huì)自動(dòng)遍歷所有可解碼的音頻做切片和音量歸一化在實(shí)驗(yàn)?zāi)夸浵律筛蓛舻膚av集合。step2b特征提取。這一步要選音高提取算法F0算法它負(fù)責(zé)聽出每段聲音的音高曲線。四種算法各有性格算法特點(diǎn)適合場(chǎng)景pm最快精度一般唱歌、快速出效果dio快適合高質(zhì)量語(yǔ)音說話類素材harvest質(zhì)量好但很慢對(duì)音高要求高的段落rmvpe效果最好占用適中唱歌說話的通用首選?? 特征提取期間會(huì)看到CPU/GPU占用飆升屬正?，F(xiàn)象?？ㄌ?hào)填法如0-1-2表示用第0、1、2號(hào)顯卡同時(shí)干活。第五步 訓(xùn)練把聽過的聲音練成自己的歌喉特征就緒后進(jìn)入 step3。把訓(xùn)練想象成學(xué)生跟老師學(xué)唱歌epoch輪數(shù)就是練了多少遍batch size 就是每遍同時(shí)練幾句。RVC訓(xùn)練跟主流AI模型訓(xùn)練一樣是反復(fù)迭代收斂的過程。新手第一次訓(xùn)練用這套穩(wěn)參數(shù)總訓(xùn)練輪數(shù)total_epoch先設(shè)20-50輪跑通全流程確認(rèn)效果后再加保存頻率save_every_epoch設(shè)5即每5輪存一次模型方便中途對(duì)比每張顯卡batch_size顯存緊就設(shè)4-6顯存富裕再往上加界面里提供了訓(xùn)練模型訓(xùn)練特征索引一鍵訓(xùn)練三個(gè)按鈕。一鍵訓(xùn)練會(huì)依次執(zhí)行預(yù)處理、特征提取、模型訓(xùn)練和索引生成新手直接用它最省心。想分步掌控過程就按 step2a → step2b → step3 的順序手動(dòng)點(diǎn)。關(guān)于顯存RVC有一個(gè)很實(shí)用的開關(guān)緩存所有訓(xùn)練集至顯存。10分鐘以內(nèi)的小數(shù)據(jù)緩存后訓(xùn)練明顯加速數(shù)據(jù)量大時(shí)不要開會(huì)把顯存直接撐爆。?? 采樣率一旦確定比如40k中途不要更換。換采樣率必須建新實(shí)驗(yàn)從頭訓(xùn)練不能接著原模型續(xù)訓(xùn)——這點(diǎn)務(wù)必記住能幫你避開最典型的白練一場(chǎng)。第六步 索引給聲音裝一部查號(hào)臺(tái)訓(xùn)練完模型后還有一個(gè)容易被忽略的關(guān)鍵動(dòng)作——訓(xùn)練特征索引。它生成的.index文件就是前面提到的top1檢索用的特征庫(kù)推理時(shí)模型會(huì)根據(jù)輸入音頻的特征去這個(gè)庫(kù)里檢索最接近的聲音特征來替換?？梢赃@么理解模型是歌喉索引是曲庫(kù)。沒有曲庫(kù)歌喉只能憑感覺亂發(fā)揮有了曲庫(kù)每一句都能對(duì)上號(hào)。所以訓(xùn)練完成、推理之前務(wù)必先點(diǎn)一次訓(xùn)練特征索引。如果用的是命令行方式也可以直接跑python tools/infer/train-index.py --input_path ./你的數(shù)據(jù)目錄 --output_path ./assets/indices索引文件生成在實(shí)驗(yàn)?zāi)夸浵峦评眄?yè)面會(huì)自動(dòng)檢測(cè)到它。第七步 驗(yàn)收把聲音交到模型手里聽它開口進(jìn)入模型推理標(biāo)簽頁(yè)的單次推理選好音色模型和索引文件填上要轉(zhuǎn)換的音頻路徑點(diǎn)轉(zhuǎn)換幾秒后就能聽到成品。第一次聽到自己的聲音模型開口說話那種成就感值得專門留一分鐘感受一下。推理頁(yè)有幾個(gè)參數(shù)決定了成品質(zhì)感按場(chǎng)景套用這套組合輸入素材類型檢索特征占比(Index Rate)音高提取算法清唱人聲0.7-0.8harvest 或 rmvpe帶伴奏的音樂0.5-0.6pm 或 rmvpe純說話0.8-0.9dio 或 rmvpe其中檢索特征占比是RVC的靈魂參數(shù)越高聲音越貼近訓(xùn)練素材的原音色越低越接近輸入音頻本身的聲線。變調(diào)參數(shù)按半音調(diào)整想升八度填12、降八度填-12。保護(hù)清輔音拉低可以防止電音撕裂感但過度保護(hù)會(huì)削弱索引效果0.33附近是穩(wěn)妥的起點(diǎn)。效果滿意后把大模型壓縮成輕量小模型再投入使用。在ckpt處理標(biāo)簽頁(yè)里可以做模型融合把幾個(gè)音色的優(yōu)點(diǎn)揉在一起也可以把訓(xùn)練得到的完整模型通過tools/infer/trans_weights.py提取成幾十MB的輕量文件方便分享給朋友。發(fā)模型的正確姿勢(shì)是小模型文件 對(duì)應(yīng)的.index索引文件 一段音色試聽。第八步 進(jìn)階玩法實(shí)時(shí)變聲與更多可能當(dāng)離線變聲玩熟練后可以解鎖RVC的第二張王牌——實(shí)時(shí)變聲。項(xiàng)目自帶的實(shí)時(shí)變聲界面Windows下雙擊go-realtime-gui.bat啟動(dòng)已實(shí)現(xiàn)端到端約170ms的低延遲配合ASIO專業(yè)聲卡甚至能壓到90ms左右。這意味著你可以當(dāng)場(chǎng)對(duì)著麥克風(fēng)說話輸出就是目標(biāo)音色用于直播、游戲開黑、線上會(huì)議都行。除此之外還有三條值得探索的路Onnx導(dǎo)出把模型導(dǎo)出為ONNX格式部署到手機(jī)或邊緣設(shè)備上運(yùn)行命令行批量推理項(xiàng)目提供infer_cli.py和infer_batch_rvc.py可以把幾十個(gè)音頻一次性全部轉(zhuǎn)換適合批量配音API調(diào)用倉(cāng)庫(kù)里附帶了API服務(wù)示例如api_240604.py可以把它集成進(jìn)你自己的應(yīng)用現(xiàn)在就開始你的第一步行動(dòng)清單通讀全文后真正上手只需要做這五件事裝好環(huán)境clone 項(xiàng)目 → 按顯卡裝依賴 → 下載預(yù)訓(xùn)練資產(chǎn) → 啟動(dòng)Web界面?zhèn)浜盟夭臏?zhǔn)備10分鐘以上干凈的WAV人聲優(yōu)先用UVR5去掉伴奏和噪音跑通流程訓(xùn)練頁(yè)用一鍵訓(xùn)練從實(shí)驗(yàn)配置到特征提取再到模型索引一次完成驗(yàn)證效果推理頁(yè)用清唱素材試聽先套默認(rèn)參數(shù)再按素材類型微調(diào)記錄參數(shù)把你覺得效果好的參數(shù)組合記下來形成自己的配方表如果在某個(gè)環(huán)節(jié)卡住先別急著翻報(bào)錯(cuò)——RVC的常見問題解答docs/cn/faq.md和更新日志docs/cn/Changelog_CN.md覆蓋了絕大多數(shù)坑訓(xùn)練調(diào)參方面訓(xùn)練技巧文檔里有更細(xì)的經(jīng)驗(yàn)。記住一個(gè)原則先跑通再調(diào)優(yōu)。哪怕第一次訓(xùn)練的效果只有60分你也已經(jīng)掌握了完整鏈路剩下的就是從60分到90分的參數(shù)打磨之旅了。AI語(yǔ)音克隆的門檻已經(jīng)被RVC壓到了一個(gè)下午的量級(jí)。剩下的就是讓那個(gè)屬于你的聲音開口說話。【免費(fèi)下載鏈接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!項(xiàng)目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 RVC變聲器新手實(shí)戰(zhàn)：8步從零做出你的第一個(gè)AI語(yǔ)音模型
RVC變聲器新手實(shí)戰(zhàn)8步從零做出你的第一個(gè)AI語(yǔ)音模型【免費(fèi)下載鏈接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!項(xiàng)目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI如果你手頭有十幾分鐘的一段人聲錄音想在晚飯前就拿到一個(gè)能開口說話、能跟著旋律唱歌的AI音色模型——**RVC變聲器Retrieval-based-Voice-Conversion-WebUI**就是為你準(zhǔn)備的。這個(gè)基于VITS的開源語(yǔ)音克隆框架把訓(xùn)練音色這件事的入門門檻降到了幾乎為零不需要懂深度學(xué)習(xí)不需要寫神經(jīng)網(wǎng)絡(luò)代碼甚至不需要很強(qiáng)的顯卡全程在一個(gè)網(wǎng)頁(yè)界面里點(diǎn)點(diǎn)點(diǎn)就能完成。本文用一條完整可復(fù)現(xiàn)的實(shí)戰(zhàn)路線帶你從零走完備料 → 訓(xùn)練 → 出模型 → 實(shí)際變聲的全流程順便把每個(gè)環(huán)節(jié)背后的原理講明白。無論你是想給視頻配音、做虛擬主播還是單純想玩一把聲音模仿這份RVC語(yǔ)音克隆訓(xùn)練教程都適用。先看一張整條流程的地圖后面每一步都能在這張圖上找到位置第一步 先看清整條流水線RVC幫你做了哪四件事很多人第一次打開RVC會(huì)被界面里的十幾個(gè)按鈕嚇到其實(shí)它只干了四件事。把這四件事記在腦子里后面的每一步都不會(huì)迷路。環(huán)節(jié)類比RVC里對(duì)應(yīng)的操作收原料請(qǐng)一位聲音老師錄課準(zhǔn)備音頻素材精加工把老師的課切成整齊的片段處理數(shù)據(jù)、提取特征調(diào)音師訓(xùn)練讓學(xué)生模仿老師發(fā)聲訓(xùn)練模型、訓(xùn)練索引演出學(xué)生上臺(tái)表演單次/批量/實(shí)時(shí)變聲把這個(gè)流程想成請(qǐng)聲音老師帶徒弟素材是老師念的課文特征提取是讓徒弟記下老師的口型和音調(diào)訓(xùn)練是讓徒弟反復(fù)練習(xí)最終推理就是徒弟真正開口。RVC最特別的一點(diǎn)是它用了top1檢索替換技術(shù)——說話時(shí)不是讓模型憑空猜音色而是去查老師的聲音特征庫(kù)把最接近的一段特征替換進(jìn)來。這個(gè)設(shè)計(jì)既杜絕了音色泄漏不像別人又保證了你訓(xùn)練數(shù)據(jù)很少時(shí)也能出不錯(cuò)的效果。項(xiàng)目說明里明確寫了低底噪語(yǔ)音數(shù)據(jù)只需約10分鐘就能訓(xùn)練出可用的語(yǔ)音轉(zhuǎn)換模型。第二步 搭臺(tái)子從零配置RVC環(huán)境的最快路徑動(dòng)手前先確認(rèn)你的電腦有三樣?xùn)|西Python 3.8以上、FFmpeg、以及一塊能用的顯卡沒有獨(dú)顯也能訓(xùn)練只是慢一些。安裝依賴按顯卡選路線先拿到項(xiàng)目代碼git clone https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI cd Retrieval-based-Voice-Conversion-WebUI你的顯卡安裝命令說明NVIDIAN卡pip install -r requirements.txt大多數(shù)人的選擇訓(xùn)練最快AMDWindowspip install -r requirements-dml.txt走DirectML加速IntelLinuxpip install -r requirements-ipex.txt走IPEX加速 裝完依賴建議順手把tools/download_models.py跑一遍它會(huì)自動(dòng)下載RVC需要的預(yù)訓(xùn)練底模、音高提取模型等資產(chǎn)放在assets/目錄下。這一步漏掉后面訓(xùn)練會(huì)報(bào)找不到模型文件。啟動(dòng)Web界面只需要一行命令python infer-web.py看到終端輸出地址后瀏覽器打開http://localhost:7860你會(huì)看到幾個(gè)標(biāo)簽頁(yè)模型推理、伴奏人聲分離、訓(xùn)練、ckpt處理、Onnx導(dǎo)出。到這里環(huán)境就緒。驗(yàn)證方式很簡(jiǎn)單隨便在推理頁(yè)點(diǎn)一下刷新如果能正常列出音色列表哪怕暫時(shí)是空的說明程序已經(jīng)跑通。第三步 備料什么樣的聲音素材適合當(dāng)老師訓(xùn)練效果的下限由算法決定上限由數(shù)據(jù)決定。高質(zhì)量10分鐘勝過低質(zhì)量1小時(shí)——這句話值得貼在顯示器上。按這三條標(biāo)準(zhǔn)準(zhǔn)備素材時(shí)長(zhǎng)累計(jì)10-30分鐘可以是一段連續(xù)錄音也可以是很多短片段拼起來格式WAV、單聲道、44100Hz采樣率文件不要太小小于100KB的殘片建議直接淘汰干凈度無背景噪音、無混響、無破音說話或唱歌時(shí)不要離麥克風(fēng)忽遠(yuǎn)忽近如果你的素材是人聲和伴奏混在一起的歌曲別急著扔——RVC自帶的伴奏人聲分離標(biāo)簽頁(yè)里集成了UVR5模型可以一鍵把人聲從伴奏里摳出來再去混響、去回聲。這相當(dāng)于給聲音老師做了一個(gè)去噪凈化之后的效果會(huì)明顯更干凈。 一個(gè)反直覺的經(jīng)驗(yàn)素材內(nèi)容越雜越好。既有說話的段落、又有唱歌的段落、還有情緒的起伏模型學(xué)到的音色就越立體。全是同一種語(yǔ)調(diào)的平淡錄音出來的效果反而面。第四步 喂給模型三步把素材變成可訓(xùn)練的特征這一步對(duì)應(yīng)訓(xùn)練標(biāo)簽頁(yè)里的 step1 到 step2b本質(zhì)是把音頻變成模型能消化的數(shù)值特征。過程像做飯——先切菜再調(diào)味。step1填實(shí)驗(yàn)配置。起一個(gè)實(shí)驗(yàn)名比如my-voice選目標(biāo)采樣率40k是絕大多數(shù)人的平衡點(diǎn)追求更高音質(zhì)可選48k32k適合實(shí)時(shí)變聲場(chǎng)景再選是否帶音高指導(dǎo)——唱歌必須選是純說話可選否最后選模型版本v2默認(rèn)效果更好。step2a處理數(shù)據(jù)。填入你的音頻文件夾路徑點(diǎn)處理數(shù)據(jù)。RVC會(huì)自動(dòng)遍歷所有可解碼的音頻做切片和音量歸一化在實(shí)驗(yàn)?zāi)夸浵律筛蓛舻膚av集合。step2b特征提取。這一步要選音高提取算法F0算法它負(fù)責(zé)聽出每段聲音的音高曲線。四種算法各有性格算法特點(diǎn)適合場(chǎng)景pm最快精度一般唱歌、快速出效果dio快適合高質(zhì)量語(yǔ)音說話類素材harvest質(zhì)量好但很慢對(duì)音高要求高的段落rmvpe效果最好占用適中唱歌說話的通用首選?? 特征提取期間會(huì)看到CPU/GPU占用飆升屬正?，F(xiàn)象?？ㄌ?hào)填法如0-1-2表示用第0、1、2號(hào)顯卡同時(shí)干活。第五步 訓(xùn)練把聽過的聲音練成自己的歌喉特征就緒后進(jìn)入 step3。把訓(xùn)練想象成學(xué)生跟老師學(xué)唱歌epoch輪數(shù)就是練了多少遍batch size 就是每遍同時(shí)練幾句。RVC訓(xùn)練跟主流AI模型訓(xùn)練一樣是反復(fù)迭代收斂的過程。新手第一次訓(xùn)練用這套穩(wěn)參數(shù)總訓(xùn)練輪數(shù)total_epoch先設(shè)20-50輪跑通全流程確認(rèn)效果后再加保存頻率save_every_epoch設(shè)5即每5輪存一次模型方便中途對(duì)比每張顯卡batch_size顯存緊就設(shè)4-6顯存富裕再往上加界面里提供了訓(xùn)練模型訓(xùn)練特征索引一鍵訓(xùn)練三個(gè)按鈕。一鍵訓(xùn)練會(huì)依次執(zhí)行預(yù)處理、特征提取、模型訓(xùn)練和索引生成新手直接用它最省心。想分步掌控過程就按 step2a → step2b → step3 的順序手動(dòng)點(diǎn)。關(guān)于顯存RVC有一個(gè)很實(shí)用的開關(guān)緩存所有訓(xùn)練集至顯存。10分鐘以內(nèi)的小數(shù)據(jù)緩存后訓(xùn)練明顯加速數(shù)據(jù)量大時(shí)不要開會(huì)把顯存直接撐爆。?? 采樣率一旦確定比如40k中途不要更換。換采樣率必須建新實(shí)驗(yàn)從頭訓(xùn)練不能接著原模型續(xù)訓(xùn)——這點(diǎn)務(wù)必記住能幫你避開最典型的白練一場(chǎng)。第六步 索引給聲音裝一部查號(hào)臺(tái)訓(xùn)練完模型后還有一個(gè)容易被忽略的關(guān)鍵動(dòng)作——訓(xùn)練特征索引。它生成的.index文件就是前面提到的top1檢索用的特征庫(kù)推理時(shí)模型會(huì)根據(jù)輸入音頻的特征去這個(gè)庫(kù)里檢索最接近的聲音特征來替換?？梢赃@么理解模型是歌喉索引是曲庫(kù)。沒有曲庫(kù)歌喉只能憑感覺亂發(fā)揮有了曲庫(kù)每一句都能對(duì)上號(hào)。所以訓(xùn)練完成、推理之前務(wù)必先點(diǎn)一次訓(xùn)練特征索引。如果用的是命令行方式也可以直接跑python tools/infer/train-index.py --input_path ./你的數(shù)據(jù)目錄 --output_path ./assets/indices索引文件生成在實(shí)驗(yàn)?zāi)夸浵峦评眄?yè)面會(huì)自動(dòng)檢測(cè)到它。第七步 驗(yàn)收把聲音交到模型手里聽它開口進(jìn)入模型推理標(biāo)簽頁(yè)的單次推理選好音色模型和索引文件填上要轉(zhuǎn)換的音頻路徑點(diǎn)轉(zhuǎn)換幾秒后就能聽到成品。第一次聽到自己的聲音模型開口說話那種成就感值得專門留一分鐘感受一下。推理頁(yè)有幾個(gè)參數(shù)決定了成品質(zhì)感按場(chǎng)景套用這套組合輸入素材類型檢索特征占比(Index Rate)音高提取算法清唱人聲0.7-0.8harvest 或 rmvpe帶伴奏的音樂0.5-0.6pm 或 rmvpe純說話0.8-0.9dio 或 rmvpe其中檢索特征占比是RVC的靈魂參數(shù)越高聲音越貼近訓(xùn)練素材的原音色越低越接近輸入音頻本身的聲線。變調(diào)參數(shù)按半音調(diào)整想升八度填12、降八度填-12。保護(hù)清輔音拉低可以防止電音撕裂感但過度保護(hù)會(huì)削弱索引效果0.33附近是穩(wěn)妥的起點(diǎn)。效果滿意后把大模型壓縮成輕量小模型再投入使用。在ckpt處理標(biāo)簽頁(yè)里可以做模型融合把幾個(gè)音色的優(yōu)點(diǎn)揉在一起也可以把訓(xùn)練得到的完整模型通過tools/infer/trans_weights.py提取成幾十MB的輕量文件方便分享給朋友。發(fā)模型的正確姿勢(shì)是小模型文件 對(duì)應(yīng)的.index索引文件 一段音色試聽。第八步 進(jìn)階玩法實(shí)時(shí)變聲與更多可能當(dāng)離線變聲玩熟練后可以解鎖RVC的第二張王牌——實(shí)時(shí)變聲。項(xiàng)目自帶的實(shí)時(shí)變聲界面Windows下雙擊go-realtime-gui.bat啟動(dòng)已實(shí)現(xiàn)端到端約170ms的低延遲配合ASIO專業(yè)聲卡甚至能壓到90ms左右。這意味著你可以當(dāng)場(chǎng)對(duì)著麥克風(fēng)說話輸出就是目標(biāo)音色用于直播、游戲開黑、線上會(huì)議都行。除此之外還有三條值得探索的路Onnx導(dǎo)出把模型導(dǎo)出為ONNX格式部署到手機(jī)或邊緣設(shè)備上運(yùn)行命令行批量推理項(xiàng)目提供infer_cli.py和infer_batch_rvc.py可以把幾十個(gè)音頻一次性全部轉(zhuǎn)換適合批量配音API調(diào)用倉(cāng)庫(kù)里附帶了API服務(wù)示例如api_240604.py可以把它集成進(jìn)你自己的應(yīng)用現(xiàn)在就開始你的第一步行動(dòng)清單通讀全文后真正上手只需要做這五件事裝好環(huán)境clone 項(xiàng)目 → 按顯卡裝依賴 → 下載預(yù)訓(xùn)練資產(chǎn) → 啟動(dòng)Web界面?zhèn)浜盟夭臏?zhǔn)備10分鐘以上干凈的WAV人聲優(yōu)先用UVR5去掉伴奏和噪音跑通流程訓(xùn)練頁(yè)用一鍵訓(xùn)練從實(shí)驗(yàn)配置到特征提取再到模型索引一次完成驗(yàn)證效果推理頁(yè)用清唱素材試聽先套默認(rèn)參數(shù)再按素材類型微調(diào)記錄參數(shù)把你覺得效果好的參數(shù)組合記下來形成自己的配方表如果在某個(gè)環(huán)節(jié)卡住先別急著翻報(bào)錯(cuò)——RVC的常見問題解答docs/cn/faq.md和更新日志docs/cn/Changelog_CN.md覆蓋了絕大多數(shù)坑訓(xùn)練調(diào)參方面訓(xùn)練技巧文檔里有更細(xì)的經(jīng)驗(yàn)。記住一個(gè)原則先跑通再調(diào)優(yōu)。哪怕第一次訓(xùn)練的效果只有60分你也已經(jīng)掌握了完整鏈路剩下的就是從60分到90分的參數(shù)打磨之旅了。AI語(yǔ)音克隆的門檻已經(jīng)被RVC壓到了一個(gè)下午的量級(jí)。剩下的就是讓那個(gè)屬于你的聲音開口說話。【免費(fèi)下載鏈接】Retrieval-based-Voice-Conversion-WebUIEasily train a good VC model with voice data 10 mins!項(xiàng)目地址: https://gitcode.com/GitHub_Trending/re/Retrieval-based-Voice-Conversion-WebUI創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考