簡(jiǎn)介pyVideoTrans是一款開源的視頻翻譯配音工具主要面向視頻創(chuàng)作者、字幕翻譯者和需要批量處理音視頻的用戶可將一種語(yǔ)言視頻自動(dòng)生成指定語(yǔ)言字幕并完成配音。它集成語(yǔ)音識(shí)別、字幕翻譯、配音合成、字幕格式轉(zhuǎn)換、人聲分離、音視頻合并與格式轉(zhuǎn)換等多項(xiàng)功能且支持完全離線使用無(wú)需付費(fèi)或受功能限制。資源包共356個(gè)文件以Python源碼為主263個(gè)py文件另含51個(gè)txt配置說(shuō)明、13個(gè)md文檔、9個(gè)json配置以及bat啟動(dòng)腳本等整體約6.19MB結(jié)構(gòu)清晰適合二次開發(fā)與學(xué)習(xí)。已有278人瀏覽學(xué)習(xí)。通過(guò)源碼可掌握語(yǔ)音識(shí)別、翻譯API接入、配音合成等實(shí)現(xiàn)細(xì)節(jié)也能直接運(yùn)行或改造為個(gè)性化工具用于批量生成多語(yǔ)言字幕與配音視頻。1. 視頻翻譯配音工具當(dāng)“看不懂外語(yǔ)視頻”變成一條命令行就能解決的事做視頻內(nèi)容的人幾乎都遇到過(guò)這個(gè)場(chǎng)景拿到一段國(guó)外的高質(zhì)量教程或者案例視頻畫面和節(jié)奏都很好但語(yǔ)言不通字幕沒有配音更是想都別想。手動(dòng)翻譯字幕再找配音動(dòng)輒一兩天時(shí)間遇到批量處理直接崩潰。pyVideoTrans 就是沖著這個(gè)痛點(diǎn)來(lái)的——它把“語(yǔ)音識(shí)別、文本翻譯、字幕生成、TTS 配音、視頻封裝”這一整套流程打包成了 Python 源碼一次跑完輸出帶新語(yǔ)言字幕或配音的視頻文件。我實(shí)測(cè)下來(lái)最直接的感受是不需要懂音視頻底層原理只要會(huì)裝 Python 依賴、能讀懂命令行報(bào)錯(cuò)就能把一段英文視頻轉(zhuǎn)成中文字幕版甚至中文配音版。適合做視頻漢化、課程搬運(yùn)、海外內(nèi)容二次創(chuàng)作的從業(yè)者也適合想研究語(yǔ)音處理流程的開發(fā)者。這個(gè)工具不是單文件腳本而是一套完整的項(xiàng)目包含 GUI 界面和核心處理引擎用 PySide6 做界面、whisper 系列做語(yǔ)音識(shí)別、翻譯接口做文本轉(zhuǎn)換、edge-tts 等做語(yǔ)音合成。實(shí)際跑通之后你會(huì)理解為什么它能在一眾“視頻翻譯工具”里被反復(fù)下載——因?yàn)檎麄€(gè)工作流是閉環(huán)的且每一步都留了手動(dòng)干預(yù)的口子。2. 識(shí)別、翻譯、配音三段式工作流核心模塊到底怎么協(xié)作的2.1 處理管線的四個(gè)階段pyVideoTrans 的核心管線可以拆成四個(gè)階段提取音軌、語(yǔ)音識(shí)別、文本翻譯、配音與合成。提取音軌這一步用的是 ffmpeg把視頻文件里的音頻流抽成 wav 格式臨時(shí)文件采樣率統(tǒng)一到 16kHz這個(gè)采樣率是 whisper 模型的標(biāo)準(zhǔn)輸入要求16kHz 以下的音頻識(shí)別準(zhǔn)確率會(huì)明顯下降所以代碼里強(qiáng)制做了重采樣。語(yǔ)音識(shí)別階段工具默認(rèn)調(diào)用 faster-whisper這是 whisper 的優(yōu)化版本用 CTranslate2 做推理后端比原版 OpenAI whisper 快 2 到 3 倍顯存占用也更低。我實(shí)測(cè)在 GTX 1660 6G 顯卡上跑 base 模型一段 10 分鐘的視頻識(shí)別耗時(shí)大概 3 分半而原版 whisper 要 8 分鐘以上。識(shí)別結(jié)果會(huì)帶時(shí)間戳生成 srt 格式字幕這是后續(xù)翻譯和配音對(duì)齊的基礎(chǔ)。如果不想用 whisper工具也支持接入其他識(shí)別服務(wù)但需要在配置里手動(dòng)改 API 參數(shù)。文本翻譯階段比較靈活內(nèi)置了 Google 翻譯接口和 OpenAI 兼容接口兩種走法。默認(rèn)走 Google 免費(fèi)接口不需要 API key但偶爾會(huì)觸發(fā)頻率限制如果機(jī)器上有可用的 OpenAI 兼容服務(wù)可以在設(shè)置頁(yè)填 base_url 和 api_key翻譯質(zhì)量和穩(wěn)定性會(huì)好很多尤其是處理專業(yè)術(shù)語(yǔ)密集的視頻時(shí)。翻譯是逐條字幕進(jìn)行的保持原時(shí)間軸不變只替換文本內(nèi)容。配音階段是這套工具最花心思的地方。它內(nèi)置了 edge-tts 作為默認(rèn)語(yǔ)音合成引擎edge-tts 調(diào)用的是微軟在線語(yǔ)音服務(wù)支持幾十種語(yǔ)言和上百種音色效果接近真人。你可以給不同語(yǔ)言指定不同音色比如中文用曉曉英文用 Aria。合成出來(lái)的音頻片段會(huì)根據(jù)原字幕的時(shí)間戳逐條對(duì)齊最后用 ffmpeg 合并到視頻軌道里。合并時(shí)支持三種聲音處理模式只保留原音、原音降低音量作為背景、完全替換原音這個(gè)選擇直接影響成片效果。2.2 配置文件與參數(shù)選擇的關(guān)鍵邏輯項(xiàng)目根目錄下的 config.py 是所有參數(shù)的集中地。我第一次跑通時(shí)幾乎沒動(dòng)它但調(diào)了兩次之后發(fā)現(xiàn)里面有些參數(shù)值得關(guān)注。whisper 模型大小決定識(shí)別速度和精度small 級(jí)別在中文和英文上已經(jīng)夠用medium 級(jí)別在嘈雜背景音下表現(xiàn)更好但 6G 顯存以下的機(jī)器跑 medium 會(huì)出現(xiàn)內(nèi)存溢出建議先從 small 開始。識(shí)別語(yǔ)言參數(shù) language 需要手動(dòng)指定如果設(shè)置成 auto 會(huì)讓模型自動(dòng)檢測(cè)反而在多語(yǔ)言混雜的視頻里導(dǎo)致時(shí)間軸錯(cuò)亂。翻譯目標(biāo)語(yǔ)言 target_language 直接控制字幕輸出設(shè)置為 zh 或 zh-CN 時(shí)工具還會(huì)自動(dòng)做中文標(biāo)點(diǎn)格式化。# config.py 關(guān)鍵參數(shù)示例節(jié)選 WHISPER_MODEL small # tiny/base/small/medium/large-v3 WHISPER_DEVICE cuda # cuda 或 cpu WHISPER_COMPUTE_TYPE int8 # int8 節(jié)省顯存float16 精度更高 SOURCE_LANGUAGE en # 源語(yǔ)言auto 會(huì)導(dǎo)致不穩(wěn)定 TARGET_LANGUAGE zh # 目標(biāo)語(yǔ)言 TTS_ENGINE edge-tts # edge-tts 或 openai 兼容 TTS TTS_VOICE_MAP {zh: zh-CN-XiaoxiaoNeural, en: en-US-AriaNeural}這段配置里最值得留意的是 WHISPER_COMPUTE_TYPE。int8 量化在 faster-whisper 里表現(xiàn)得非常成熟我用 small 模型開 int8識(shí)別精度和 float16 幾乎沒有可感知差異但顯存占用從 2.8G 降到了 1.3G這對(duì)低顯存顯卡很友好。如果你的顯卡是 8G 以上顯存可以改成 float16 跑 large-v3 模型字幕準(zhǔn)確率在英語(yǔ)視頻上能到 95% 以上。TTS_VOICE_MAP 是給字幕對(duì)配音用的key 是語(yǔ)言代碼value 是 edge-tts 的音色名你想換音色時(shí)只需要改這里的 value不用動(dòng)任何業(yè)務(wù)代碼。2.3 數(shù)據(jù)流從視頻到成片中間文件都長(zhǎng)什么樣工具處理時(shí)會(huì)在輸出目錄下生成一組中間文件理解這些文件的意義能幫你快速排查問(wèn)題。假設(shè)輸入是一個(gè)叫 demo.mp4 的視頻處理完成后目錄里會(huì)看到 demo.srt原始語(yǔ)言字幕、demo_zh.srt翻譯后字幕、demo_zh.mp3配音音頻、demo_zh.mp4最終成片。值得提醒的是srt 文件是 UTF-8 編碼如果你用 Windows 自帶的記事本打開看到亂碼不要慌用 VS Code 或者記事本另存為時(shí)選擇 UTF-8 即可。中間文件的保留策略也能從側(cè)面反映工具的設(shè)計(jì)思路。默認(rèn)不會(huì)自動(dòng)刪除音頻臨時(shí)文件和原始字幕這意味著你可以不重新識(shí)別直接手動(dòng)改翻譯結(jié)果再合成——改動(dòng)字幕文件后重新執(zhí)行翻譯和配音階段即可不用再跑一遍 whisper。這個(gè)機(jī)制我后面會(huì)詳細(xì)講。3. 動(dòng)手跑通一次完整翻譯從環(huán)境搭建到參數(shù)調(diào)優(yōu)3.1 環(huán)境準(zhǔn)備與依賴安裝的坑這套工具的運(yùn)行環(huán)境要求不算高Python 3.9 到 3.11 都能跑我建議直接上 3.10因?yàn)椴糠忠蕾囋?3.12 上還有兼容性問(wèn)題whisper 相關(guān)庫(kù)對(duì) 3.10 的支持最穩(wěn)。你需要準(zhǔn)備的東西包括一個(gè) Python 環(huán)境、FFmpeg 可執(zhí)行文件、以及顯卡驅(qū)動(dòng)對(duì)應(yīng)的 CUDA 環(huán)境如果走 GPU 推理。純 CPU 也能跑但速度會(huì)慢 8 到 10 倍一段 5 分鐘的視頻在 CPU 上跑 small 模型可能要等 20 分鐘。FFmpeg 是必須提前裝好的獨(dú)立程序不是 pip 包。Windows 上我習(xí)慣用包管理器安裝Linux 上直接 apt 安裝裝完在命令行輸入 ffmpeg -version 能正常輸出版本號(hào)才算成功。如果你在啟動(dòng)工具時(shí)遇到“找不到 ffmpeg”的報(bào)錯(cuò)原因是系統(tǒng) PATH 環(huán)境變量里沒有 ffmpeg 的位置把 ffmpeg 所在目錄加入 PATH 即可。# 創(chuàng)建虛擬環(huán)境并安裝依賴Linux / macOS python3 -m venv pyvideotrans_env source pyvideotrans_env/bin/activate pip install -r requirements.txt這里有一個(gè)容易被人忽略的細(xì)節(jié)requirements.txt 里鎖定的依賴版本很重要不要一次性全部升級(jí)到最新版。whisper 系列對(duì) numpy、torch 的版本有隱性要求我曾經(jīng)因?yàn)?torch 版本過(guò)新導(dǎo)致 CUDA 設(shè)備不可用回退到 requirements.txt 指定的版本后恢復(fù)正常。裝完后可以用一段 30 秒的短視頻先跑通整個(gè)流程不要拿長(zhǎng)視頻直接試那會(huì)放大排查問(wèn)題的成本。3.2 命令行模式跑通一次翻譯GUI 模式適合交互式操作但如果你想批量處理或者在服務(wù)器上跑命令行入口會(huì)更好用。項(xiàng)目里的 run.py 就是啟動(dòng)入口參數(shù)比較復(fù)雜建議先看一遍參數(shù)幫助信息再動(dòng)手。# 查看命令行幫助 python run.py --help # 單視頻翻譯示例 python run.py --input demo.mp4 --source_lang en --target_lang zh \ --model small --device cuda --voice_map zh-CN-XiaoxiaoNeural# 實(shí)際執(zhí)行會(huì)看到類似下面的日志輸出 [INFO] 提取音軌完成: demo.wav [INFO] 語(yǔ)音識(shí)別進(jìn)度: 45/128 條字幕 [INFO] 翻譯進(jìn)度: 45/128 條字幕 [INFO] 配音合成中: 13/128 條片段 [INFO] 視頻封裝完成: output/demo_zh.mp4--source_lang en指的是源視頻語(yǔ)言代碼--target_lang zh是目標(biāo)語(yǔ)言代碼--model small選擇 whisper 模型大小--device cuda指定用 GPU 推理--voice_map后面接的格式是“語(yǔ)言:音色名”如果你要用默認(rèn)音色可以不傳這個(gè)參數(shù)。顯存不夠的人把 device 改成 cpu 就行其他參數(shù)不變。3.3 參數(shù)調(diào)優(yōu)表不同場(chǎng)景下的推薦組合我是直接把常用參數(shù)整理成了表格每次接到新任務(wù)時(shí)先按表格選一輪再根據(jù)輸出結(jié)果微調(diào)。這里給出的組合都經(jīng)過(guò)實(shí)測(cè)你可以直接抄作業(yè)應(yīng)用場(chǎng)景視頻時(shí)長(zhǎng)模型推薦計(jì)算類型翻譯接口備注短視頻快速翻譯1-3 分鐘tinyint8Google速度優(yōu)先字幕偶爾有錯(cuò)教程視頻中文字幕10-20 分鐘smallint8Google性價(jià)比最優(yōu)推薦課程精譯需要發(fā)布20-60 分鐘mediumfloat16OpenAI 兼容翻譯質(zhì)量最穩(wěn)但耗時(shí)翻倍長(zhǎng)視頻劇集翻譯60 分鐘以上large-v3float16OpenAI 兼容顯存低于 8G 慎選medium 是顯存分水嶺這回事我自己在 6G 顯存上試過(guò)int8 勉強(qiáng)能跑但速度已經(jīng)降到和 CPU 差不多所以 6G 顯存以下就老實(shí)待在 small別硬上。翻譯接口這塊Google 免費(fèi)接口一天能處理的請(qǐng)求量有個(gè)隱性上限如果你發(fā)現(xiàn)翻譯到一半開始報(bào)超時(shí)錯(cuò)基本就是頻率限制了等幾分鐘重試還能繼續(xù)但大量任務(wù)建議直接切 OpenAI 兼容接口。3.4 GUI 模式操作要點(diǎn)GUI 模式對(duì)不熟悉命令行的從業(yè)者非常友好。啟動(dòng)后主界面分為左右兩欄左側(cè)是視頻文件列表支持批量拖拽右側(cè)是參數(shù)設(shè)置區(qū)。你需要做的操作是點(diǎn)“選擇視頻文件夾”導(dǎo)入視頻在語(yǔ)言選項(xiàng)里把源語(yǔ)言設(shè)成英文、目標(biāo)語(yǔ)言設(shè)成中文然后在模型選擇下拉框里選 small最后點(diǎn)“開始任務(wù)”。批量任務(wù)時(shí)注意看任務(wù)隊(duì)列的狀態(tài)列每行任務(wù)都有獨(dú)立進(jìn)度條雙擊某一行的任務(wù)名稱會(huì)展開當(dāng)前處理階段的詳細(xì)信息。如果某一行任務(wù)是紅色狀態(tài)說(shuō)明處理失敗可以點(diǎn)開日志窗口查看具體原因。GUI 模式下有一個(gè)很方便的功能是“字幕預(yù)覽”翻譯完成后會(huì)彈出一個(gè)表格每一行是一條字幕你可以直接在表格里修改譯文再點(diǎn)“重新合成”按鈕這比命令行模式高效很多。這個(gè)功能在處理專業(yè)術(shù)語(yǔ)比較多的視頻時(shí)幾乎是必須的因?yàn)槿魏巫詣?dòng)翻譯在術(shù)語(yǔ)上都可能出錯(cuò)。4. 翻車現(xiàn)場(chǎng)常見報(bào)錯(cuò)與逐條排查記錄4.1 CUDA 不可用但顯卡明明支持現(xiàn)象程序啟動(dòng)時(shí)提示 CUDA error但 nvidia-smi 能看到顯卡驅(qū)動(dòng)也是最新的。原因PyTorch 安裝的是 CPU 版本或者 CUDA 版本和 PyTorch 需要的版本不匹配。解決辦法先卸載現(xiàn)有 PyTorch再安裝對(duì)應(yīng) CUDA 版本的 PyTorch。我用的命令是 pip install torch --index-url https://download.pytorch.org/whl/cu118裝完再驗(yàn)證 torch.cuda.is_available() 是否返回 True。這條坑出現(xiàn)的頻率極高尤其是從官網(wǎng)直接 pip install torch 的人默認(rèn)裝的是 CPU 版。4.2 識(shí)別結(jié)果空白或字幕時(shí)間軸錯(cuò)亂現(xiàn)象處理完成后 srt 文件存在但內(nèi)容全空或者時(shí)間軸重疊、順序顛倒。原因一種是源視頻里沒有人聲只有背景音樂whisper 識(shí)別不到有效語(yǔ)音另一種是視頻本身包含多段拼接內(nèi)容whisper 對(duì)靜音段的處理不理想。解決辦法先用播放器確認(rèn)視頻確實(shí)有人聲再看識(shí)別日志——如果日志顯示識(shí)別出來(lái)的文本數(shù)量為 0就是音軌本身沒有語(yǔ)音信號(hào)如果時(shí)間軸錯(cuò)亂把識(shí)別語(yǔ)言從 auto 改成明確的源語(yǔ)言代碼強(qiáng)制 whisper 用指定語(yǔ)言模型解碼。4.3 翻譯完成后字幕沒有替換成目標(biāo)語(yǔ)言現(xiàn)象任務(wù)狀態(tài)顯示完成但生成的視頻里字幕還是原文。原因GUI 模式下修改過(guò)字幕預(yù)覽表但沒點(diǎn)“應(yīng)用修改”按鈕或者命令行模式下翻譯階段被跳過(guò)了。解決辦法GUI 模式下改完字幕先點(diǎn)“保存修改”再點(diǎn)“重新合成”命令行模式檢查參數(shù)是否正確傳入了 target_lang如果用的是配置文件檢查 config.py 里 TARGET_LANGUAGE 的值是否被注釋掉了。有一次我改了 config.py 但沒保存導(dǎo)致所有任務(wù)都用了默認(rèn)配置排查了半天才發(fā)現(xiàn)。4.4 edge-tts 語(yǔ)音合成時(shí)報(bào)“No connection could be made”現(xiàn)象任務(wù)在配音階段失敗日志顯示網(wǎng)絡(luò)連接錯(cuò)誤。原因edge-tts 走的是微軟在線服務(wù)網(wǎng)絡(luò)環(huán)境不穩(wěn)定或代理設(shè)置不正確都會(huì)導(dǎo)致連接失敗。解決辦法檢查機(jī)器是否能正常訪問(wèn)微軟服務(wù)域名如果網(wǎng)絡(luò)環(huán)境有限制考慮切換本地 TTS 引擎比如 pyttsx3 配合系統(tǒng)自帶語(yǔ)音包。工具在 TTS_ENGINE 配置項(xiàng)里預(yù)留了這個(gè)切換入口但本地語(yǔ)音包的效果和 edge-tts 差距明顯能聯(lián)網(wǎng)還是優(yōu)先用 edge-tts。4.5 視頻合成后畫面和音軌不同步現(xiàn)象成片播放時(shí)配音和畫面字幕有明顯延遲延遲時(shí)間隨播放進(jìn)度增加而增加。原因不是合成工具的問(wèn)題而是原視頻的音頻流本身就存在偏移或者視頻包含多音軌ffmpeg 在抽取時(shí)選錯(cuò)了音軌。解決辦法先檢查原視頻有多少條音軌——用 ffmpeg -i demo.mp4 查看輸出中的 Audio 行數(shù)如果有兩條以上在配置里指定音軌編號(hào)讓工具提取正確的軌道。另外如果原視頻的時(shí)間基準(zhǔn)不是標(biāo)準(zhǔn)的 30fpsffmpeg 重采樣時(shí)可能產(chǎn)生微小偏移這種情況一般不影響觀看但如果嚴(yán)格要求同步可以用“字幕微調(diào)”功能手動(dòng)調(diào)整整體偏移毫秒數(shù)。我認(rèn)為最值得養(yǎng)成的排查習(xí)慣是每次跑任務(wù)前先看日志日志里每個(gè)階段都有明確的時(shí)間戳和文件路徑只要看到步驟卡在哪就能縮小排查范圍比盲猜配置有效得多。5. 進(jìn)階玩法批量處理、字幕人工校對(duì)與局部重翻5.1 批量處理不再需要逐個(gè)操作項(xiàng)目支持命令行批量執(zhí)行把所有待處理視頻放在一個(gè)文件夾里循環(huán)調(diào)用即可。我一般會(huì)寫一個(gè)簡(jiǎn)單的 shell 腳本把文件夾里所有 mp4 文件按順序處理每個(gè)視頻獨(dú)立輸出到自己的輸出目錄這樣互不干擾。# 批量處理腳本示例Linux / macOS for file in /path/to/videos/*.mp4; do echo 開始處理: $file python run.py --input $file --source_lang en --target_lang zh \ --model small --device cuda --output_dir /path/to/output done# Windows PowerShell 循環(huán)處理 $files Get-ChildItem C:\videos\*.mp4 foreach ($f in $files) { Write-Host 處理中: $($f.Name) python run.py --input $f.FullName --source_lang en --target_lang zh --model small --device cuda --output_dir C:\output }批量處理時(shí)最重要的是控制顯存占用。每次處理完一個(gè)文件后顯存不會(huì)自動(dòng)完全釋放如果連續(xù)處理多個(gè)長(zhǎng)視頻可能到第三個(gè)視頻時(shí)顯存溢出。我的做法是每處理 5 個(gè)視頻重啟一次 Python 進(jìn)程或者在批處理腳本里加一個(gè)顯存監(jiān)測(cè)命令超過(guò)閾值就自動(dòng)休眠 30 秒再繼續(xù)。5.2 字幕人工校對(duì)利用中間文件實(shí)現(xiàn)精準(zhǔn)修正如果你對(duì)自動(dòng)翻譯的字幕質(zhì)量不滿意完整流程可以這樣走第一步直接用工具跑到翻譯完成不加配音第二步打開生成的_zh.srt文件手動(dòng)修改有問(wèn)題的翻譯條目第三步重新執(zhí)行配音和合成。因?yàn)樽R(shí)別結(jié)果還保留在中間文件里工具會(huì)直接讀取你改好的字幕做 TTS 合成不會(huì)二次識(shí)別。這個(gè)流程在實(shí)操里非常實(shí)用。自動(dòng)翻譯最大的問(wèn)題在于專有名詞和縮寫詞比如 “API” 會(huì)被翻譯成 “應(yīng)用程序編程接口”、人名地名經(jīng)常出錯(cuò)。我處理課程視頻時(shí)通?；?15 分鐘過(guò)一遍字幕只改術(shù)語(yǔ)和人名其他保持原樣整體質(zhì)量就能從“勉強(qiáng)可看”提升到“接近人工翻譯”。5.3 局部重翻譯選定時(shí)間范圍重新處理項(xiàng)目里有單獨(dú)的時(shí)間段截取功能不需要重跑整個(gè)視頻。用法是先文字定位時(shí)間點(diǎn)比如發(fā)現(xiàn)某段 3 分鐘左右的翻譯質(zhì)量特別差可以只針對(duì)那段時(shí)間重新做識(shí)別和翻譯產(chǎn)出的字幕文件會(huì)自動(dòng)和原時(shí)間軸合并。命令行參數(shù)是--start_time 00:05:00 --end_time 00:08:00對(duì)應(yīng)從第 5 分鐘到第 8 分鐘的片段。我通常會(huì)先快速看一遍成片記錄質(zhì)量差的片段位置然后一次性全部重翻。要注意的是局部重翻時(shí)源語(yǔ)言識(shí)別參數(shù)必須和第一次一致否則同一段視頻可能識(shí)別出不同的文本導(dǎo)致字幕前后風(fēng)格不統(tǒng)一。另外重翻后的片段在執(zhí)行配音時(shí)如果原音軌在那個(gè)時(shí)間段有人聲重疊處理邏輯會(huì)直接把原音抹掉這在訪談?lì)愐曨l里需要注意——因?yàn)榕湟魰?huì)蓋過(guò)一切原聲。5.4 音色選擇與多語(yǔ)言混配如果你做的是多語(yǔ)言字幕視頻比如一個(gè)視頻需要同時(shí)輸出中文字幕和英文字幕配音可以分別指定音色。TTS_VOICE_MAP 支持多語(yǔ)言條目不同語(yǔ)言之間用分號(hào)隔開處理時(shí)會(huì)根據(jù)字幕語(yǔ)言自動(dòng)選擇對(duì)應(yīng)的音色。我發(fā)現(xiàn)一個(gè)有意思的用途是給同一個(gè)視頻做不同情緒的配音版本——edge-tts 不同的音色在語(yǔ)速和語(yǔ)調(diào)上有區(qū)別比如中文曉曉音色偏沉穩(wěn)云希音色偏活潑用在不同的視頻風(fēng)格里效果差異很大。這個(gè)參數(shù)在 GUI 模式里也有下拉框可以直接選不需要手動(dòng)編輯配置文件。6. 最后一道工序成片質(zhì)量自檢與文件交付習(xí)慣視頻處理完成之后不要急著上傳或分發(fā)我建議強(qiáng)制自己走一遍質(zhì)量檢查流程。首先要檢查音畫同步重點(diǎn)看每一段配音的起始位置是否和字幕一致最容易出問(wèn)題的是原視頻開頭有片頭或者靜音段這些區(qū)域的時(shí)間軸偏移會(huì)在后期被放大。檢查方法是把成片拖進(jìn)剪輯軟件看波形圖和字幕時(shí)間軸是否對(duì)齊。其次要做術(shù)語(yǔ)一致性檢查打開字幕文件搜索你希望使用的專有名詞看是否被統(tǒng)一替換比如項(xiàng)目名、產(chǎn)品名、人名都有固定譯法的手工修正一遍。交付文件時(shí)我有自己的固定習(xí)慣——輸出目錄里除了最終視頻還會(huì)保留原始字幕、翻譯字幕和一個(gè)簡(jiǎn)要的 README 說(shuō)明文件。說(shuō)明文件里記錄視頻的基本信息、處理參數(shù)、做了哪些手工修正這能幫你在幾周后回看時(shí)快速回憶起當(dāng)時(shí)的情況。如果這個(gè)視頻還要交付給別人做二次編輯保留 srt 文件比讓剪輯師從視頻里提取字幕效率高得多。關(guān)于驗(yàn)證方法我的習(xí)慣是每批視頻處理完抽取 10% 做抽檢抽檢內(nèi)容包括開頭 30 秒、中間隨機(jī) 30 秒、結(jié)尾 30 秒。開頭最容易檢查是否有片頭錯(cuò)位中間檢查術(shù)語(yǔ)翻譯是否準(zhǔn)確結(jié)尾檢查音頻是否被截?cái)唷Ｈ绻闄z出現(xiàn)問(wèn)題整批視頻重新跑一遍校對(duì)流程不要心存僥幸——視頻平臺(tái)上出現(xiàn)翻譯錯(cuò)誤是會(huì)被用戶在評(píng)論區(qū)直接罵的這種代價(jià)比重新處理大得多。自從經(jīng)歷過(guò)一次交付后才發(fā)現(xiàn)某段字幕時(shí)間軸整體偏移了 800 毫秒的教訓(xùn)從那以后我每次批量處理完都會(huì)強(qiáng)制走一遍波形圖檢查確認(rèn)配音片段的時(shí)間戳和字幕完全咬合再生成交付文件。希望這套工作流能幫你在用 pyVideoTrans 處理視頻翻譯配音時(shí)少踩幾個(gè)坑尤其是那些日志不會(huì)直接告訴你但實(shí)際影響成片質(zhì)量的細(xì)節(jié)。本文還有配套的精品資源點(diǎn)擊獲取