Video2X 視頻超分辨率完整指南一條命令把 480P 老視頻變成 4K【免費(fèi)下載鏈接】video2xA machine learning-based video super resolution and frame interpolation framework. Est. Hack the Valley II, 2018.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/vi/video2x翻出十年前的老硬盤找到一段大學(xué)時(shí)拍的生日聚會(huì)或者一部童年反復(fù)看的動(dòng)畫劇場(chǎng)版——點(diǎn)開(kāi)播放畫面糊成一團(tuán)人物邊緣全是馬賽克。你心里一定閃過(guò)這樣的念頭要是這段視頻能重新變清晰就好了。這個(gè)愿望現(xiàn)在真的可以實(shí)現(xiàn)。Video2X 是一個(gè)基于機(jī)器學(xué)習(xí)的開(kāi)源視頻增強(qiáng)框架它同時(shí)支持視頻超分辨率和幀插值兩大能力前者把低分辨率畫面重建成高分辨率后者為視頻補(bǔ)出中間幀讓動(dòng)作更順滑。更關(guān)鍵的是它完全免費(fèi)本地運(yùn)行不依賴任何在線服務(wù)。先搞懂原理放大畫面和重新畫一遍是兩回事傳統(tǒng)播放器把 480P 拉大到 4K只是把每個(gè)像素簡(jiǎn)單復(fù)制成 4 個(gè)結(jié)果就是越放大越模糊。而 Video2X 走的是另一條路讓 AI 模型觀察畫面內(nèi)容識(shí)別出這里是頭發(fā)這里是輪廓線這里是人臉然后根據(jù)學(xué)習(xí)過(guò)的海量高清素材把缺失的細(xì)節(jié)補(bǔ)畫出來(lái)。這就像請(qǐng)一位資深畫師臨摹老照片而不是用復(fù)印機(jī)硬撐。幀插值Frame Interpolation則解決另一個(gè)問(wèn)題流暢度。30fps 的視頻每秒只有 30 幀畫面動(dòng)作切換時(shí)會(huì)有明顯卡頓。插值模型會(huì)分析前后兩幀推算出中間的過(guò)渡畫面長(zhǎng)什么樣再把它生成出來(lái)于是 30fps 可以變成 60fps 甚至 120fps。一句話總結(jié)超分辨率負(fù)責(zé)看清幀插值負(fù)責(zé)看順Video2X 把這兩件事都包了。認(rèn)識(shí) Video2X 的四員大將不同場(chǎng)景選不同引擎Video2X 沒(méi)有搞一個(gè)模型通吃所有而是把四種成熟方案打包在一起按內(nèi)容類型靈活切換。它們的模型文件分別放在項(xiàng)目根目錄的models/下隨倉(cāng)庫(kù)一并提供開(kāi)箱即用。引擎擅長(zhǎng)場(chǎng)景特點(diǎn)模型位置Anime4K動(dòng)漫、插畫基于 GLSL 著色器極快、幾乎不吃顯存models/libplacebo/Real-ESRGAN真人、風(fēng)景、日常錄像通用性強(qiáng)細(xì)節(jié)真實(shí)去偽影效果好models/realesrgan/Real-CUGAN動(dòng)漫精細(xì)放大支持 2x/3x/4x 與去噪檔位保留線條質(zhì)感models/realcugan/RIFE幀插值多版本迭代從 rife 到 rife-v4.26 共十余種models/rife/怎么選給一個(gè)簡(jiǎn)單口訣動(dòng)漫內(nèi)容優(yōu)先 Real-CUGAN 或 Anime4K真人實(shí)拍首選 Real-ESRGAN想讓視頻變流暢則用 RIFE。如果只是快速預(yù)覽效果Anime4K 是最省資源的起步選擇。動(dòng)手之前先確認(rèn)電腦滿足 3 個(gè)前置條件Video2X 全靠本地 GPU 干活動(dòng)手前花一分鐘檢查環(huán)境能省下后面大量排錯(cuò)時(shí)間CPU 支持 AVX2Intel Haswell2013 年之后、AMD Excavator2015 年之后的處理器基本都滿足。GPU 支持 Vulkan這是 AI 加速的入口。NVIDIA GTX 600 系、AMD HD 7000 系、Intel HD 4000 之后的顯卡都沒(méi)問(wèn)題不確定就執(zhí)行vulkaninfo命令驗(yàn)證。有可用的構(gòu)建或安裝包Windows 用戶下載官方安裝程序即可Linux 用戶可以使用Video2X-x86_64.AppImage下載后執(zhí)行chmod x Video2X-x86_64.AppImage ./Video2X-x86_64.AppImage想從源碼折騰或二次開(kāi)發(fā)也可以克隆倉(cāng)庫(kù)git clone https://gitcode.com/GitHub_Trending/vi/video2x第一次實(shí)操用一條命令完成視頻超分辨率命令行是 Video2X 最直接的使用方式把精力留給參數(shù)而不是界面。假設(shè)我們有一部 480P 的動(dòng)漫片段想放大到 4 倍分辨率最省心的命令是video2x -i input.mp4 -o output.mp4 -p realesrgan -s 4 --realesrgan-model realesr-animevideov3參數(shù)解讀-i輸入文件-o輸出文件-p選擇引擎-s 4表示放大 4 倍--realesrgan-model指定具體模型動(dòng)漫向推薦realesr-animevideov3實(shí)拍向推薦realesrgan-plus。如果追求極致速度、或者顯卡比較老可以改用 libplacebo 驅(qū)動(dòng) Anime4K直接指定目標(biāo)寬高video2x -i input.mp4 -o output.mp4 -w 3840 -h 2160 -p libplacebo --libplacebo-shader anime4k-v4-aa-w 3840 -h 2160直接把輸出鎖死在 4K著色器選擇anime4k-v4-aa這是官方推薦的畫質(zhì)檔位。實(shí)用提示第一次跑之前強(qiáng)烈建議先用一段 30 秒以內(nèi)的短片試手。處理時(shí)間取決于分辨率和顯卡先摸清自己機(jī)器的速度再放心處理長(zhǎng)視頻。進(jìn)階玩法RIFE 幀插值讓老動(dòng)畫從 30 幀變 60 幀畫質(zhì)解決了流暢度也要跟上。RIFE 是 Video2X 內(nèi)置的插值引擎把 30fps 的視頻插值到 120fps只需把倍數(shù)設(shè)為 4video2x -i input.mp4 -o output.mp4 -m 4 -p rife --rife-model rife-v4.6-m 4是幀率倍數(shù)--rife-model指定模型版本。項(xiàng)目?jī)?nèi)置了 rife 到 rife-v4.26 的十多個(gè)版本默認(rèn)使用 rife-v4.26如果你追求速度可以試試輕量版rife-v4.25-lite。對(duì)動(dòng)作幅度大的內(nèi)容還可以開(kāi)啟 UHD 模式--rife-uhd提升穩(wěn)定性。把超分辨率和幀插值串起來(lái)才是完整工作流先用 Real-CUGAN 或 Real-ESRGAN 把分辨率拉高再跑一輪 RIFE 補(bǔ)幀一步到位得到高清又絲滑的成片。打磨輸出編碼參數(shù)、GPU 選擇與容器化運(yùn)行處理完的畫面如果直接輸出文件往往大得嚇人。Video2X 把 FFmpeg 的編碼器選項(xiàng)開(kāi)放了出來(lái)用-e可以連續(xù)傳多個(gè)參數(shù)。下面的命令改用 H.265 編碼、CRF 17、慢速高質(zhì)量預(yù)設(shè)video2x -i input.mkv -o output.mkv -p realesrgan --realesrgan-model realesrgan-plus -s 4 -e crf17 -e presetveryslow -e tunefilm同一臺(tái)機(jī)器裝了兩塊顯卡先用video2x --list-gpus查看設(shè)備編號(hào)再用-g 1指定用哪一塊跑避免搶資源。如果不想折騰本地環(huán)境官方還提供了容器鏡像Docker 一行拉起docker run --gpus all -it --rm -v $PWD:/host ghcr.io/k4yt3x/video2x:latest -i input.mp4 -o output.mp4 -p realesrgan -s 4 --realesrgan-model realesr-animevideov3避坑速查三個(gè)高頻問(wèn)題別慌提示找不到模型文件確認(rèn)models/目錄與可執(zhí)行文件放在同一層級(jí)且沒(méi)有被壓縮包遺漏必要時(shí)重新解壓倉(cāng)庫(kù)。vkEnumeratePhysicalDevices相關(guān)報(bào)錯(cuò)說(shuō)明 Vulkan 環(huán)境沒(méi)就緒先更新顯卡驅(qū)動(dòng)再跑vulkaninfo確認(rèn) GPU 能被識(shí)別容器環(huán)境下記得加--gpus all。輸出文件巨大優(yōu)先切到 H.265 編碼再適當(dāng)調(diào)高 CRF 值如 20~23體積能立竿見(jiàn)影地降下來(lái)。現(xiàn)在就去備份里找一段舊視頻Video2X 把過(guò)去只有專業(yè)工作室才用得起的 AI 視頻修復(fù)能力壓縮進(jìn)了一個(gè)開(kāi)源工具里。它不需要你懂深度學(xué)習(xí)不需要上傳隱私內(nèi)容到云端只要一條命令就能讓泛黃的記憶重新鮮活起來(lái)。從今天硬盤里最想修復(fù)的那段視頻開(kāi)始先用 30 秒短片驗(yàn)證效果然后放心交給它處理——你的 4K 舊時(shí)光正在等你親手喚醒。【免費(fèi)下載鏈接】video2xA machine learning-based video super resolution and frame interpolation framework. Est. Hack the Valley II, 2018.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/vi/video2x創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考 Video2X 視頻超分辨率完整指南：一條命令把 480P 老視頻變成 4K
Video2X 視頻超分辨率完整指南一條命令把 480P 老視頻變成 4K【免費(fèi)下載鏈接】video2xA machine learning-based video super resolution and frame interpolation framework. Est. Hack the Valley II, 2018.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/vi/video2x翻出十年前的老硬盤找到一段大學(xué)時(shí)拍的生日聚會(huì)或者一部童年反復(fù)看的動(dòng)畫劇場(chǎng)版——點(diǎn)開(kāi)播放畫面糊成一團(tuán)人物邊緣全是馬賽克。你心里一定閃過(guò)這樣的念頭要是這段視頻能重新變清晰就好了。這個(gè)愿望現(xiàn)在真的可以實(shí)現(xiàn)。Video2X 是一個(gè)基于機(jī)器學(xué)習(xí)的開(kāi)源視頻增強(qiáng)框架它同時(shí)支持視頻超分辨率和幀插值兩大能力前者把低分辨率畫面重建成高分辨率后者為視頻補(bǔ)出中間幀讓動(dòng)作更順滑。更關(guān)鍵的是它完全免費(fèi)本地運(yùn)行不依賴任何在線服務(wù)。先搞懂原理放大畫面和重新畫一遍是兩回事傳統(tǒng)播放器把 480P 拉大到 4K只是把每個(gè)像素簡(jiǎn)單復(fù)制成 4 個(gè)結(jié)果就是越放大越模糊。而 Video2X 走的是另一條路讓 AI 模型觀察畫面內(nèi)容識(shí)別出這里是頭發(fā)這里是輪廓線這里是人臉然后根據(jù)學(xué)習(xí)過(guò)的海量高清素材把缺失的細(xì)節(jié)補(bǔ)畫出來(lái)。這就像請(qǐng)一位資深畫師臨摹老照片而不是用復(fù)印機(jī)硬撐。幀插值Frame Interpolation則解決另一個(gè)問(wèn)題流暢度。30fps 的視頻每秒只有 30 幀畫面動(dòng)作切換時(shí)會(huì)有明顯卡頓。插值模型會(huì)分析前后兩幀推算出中間的過(guò)渡畫面長(zhǎng)什么樣再把它生成出來(lái)于是 30fps 可以變成 60fps 甚至 120fps。一句話總結(jié)超分辨率負(fù)責(zé)看清幀插值負(fù)責(zé)看順Video2X 把這兩件事都包了。認(rèn)識(shí) Video2X 的四員大將不同場(chǎng)景選不同引擎Video2X 沒(méi)有搞一個(gè)模型通吃所有而是把四種成熟方案打包在一起按內(nèi)容類型靈活切換。它們的模型文件分別放在項(xiàng)目根目錄的models/下隨倉(cāng)庫(kù)一并提供開(kāi)箱即用。引擎擅長(zhǎng)場(chǎng)景特點(diǎn)模型位置Anime4K動(dòng)漫、插畫基于 GLSL 著色器極快、幾乎不吃顯存models/libplacebo/Real-ESRGAN真人、風(fēng)景、日常錄像通用性強(qiáng)細(xì)節(jié)真實(shí)去偽影效果好models/realesrgan/Real-CUGAN動(dòng)漫精細(xì)放大支持 2x/3x/4x 與去噪檔位保留線條質(zhì)感models/realcugan/RIFE幀插值多版本迭代從 rife 到 rife-v4.26 共十余種models/rife/怎么選給一個(gè)簡(jiǎn)單口訣動(dòng)漫內(nèi)容優(yōu)先 Real-CUGAN 或 Anime4K真人實(shí)拍首選 Real-ESRGAN想讓視頻變流暢則用 RIFE。如果只是快速預(yù)覽效果Anime4K 是最省資源的起步選擇。動(dòng)手之前先確認(rèn)電腦滿足 3 個(gè)前置條件Video2X 全靠本地 GPU 干活動(dòng)手前花一分鐘檢查環(huán)境能省下后面大量排錯(cuò)時(shí)間CPU 支持 AVX2Intel Haswell2013 年之后、AMD Excavator2015 年之后的處理器基本都滿足。GPU 支持 Vulkan這是 AI 加速的入口。NVIDIA GTX 600 系、AMD HD 7000 系、Intel HD 4000 之后的顯卡都沒(méi)問(wèn)題不確定就執(zhí)行vulkaninfo命令驗(yàn)證。有可用的構(gòu)建或安裝包Windows 用戶下載官方安裝程序即可Linux 用戶可以使用Video2X-x86_64.AppImage下載后執(zhí)行chmod x Video2X-x86_64.AppImage ./Video2X-x86_64.AppImage想從源碼折騰或二次開(kāi)發(fā)也可以克隆倉(cāng)庫(kù)git clone https://gitcode.com/GitHub_Trending/vi/video2x第一次實(shí)操用一條命令完成視頻超分辨率命令行是 Video2X 最直接的使用方式把精力留給參數(shù)而不是界面。假設(shè)我們有一部 480P 的動(dòng)漫片段想放大到 4 倍分辨率最省心的命令是video2x -i input.mp4 -o output.mp4 -p realesrgan -s 4 --realesrgan-model realesr-animevideov3參數(shù)解讀-i輸入文件-o輸出文件-p選擇引擎-s 4表示放大 4 倍--realesrgan-model指定具體模型動(dòng)漫向推薦realesr-animevideov3實(shí)拍向推薦realesrgan-plus。如果追求極致速度、或者顯卡比較老可以改用 libplacebo 驅(qū)動(dòng) Anime4K直接指定目標(biāo)寬高video2x -i input.mp4 -o output.mp4 -w 3840 -h 2160 -p libplacebo --libplacebo-shader anime4k-v4-aa-w 3840 -h 2160直接把輸出鎖死在 4K著色器選擇anime4k-v4-aa這是官方推薦的畫質(zhì)檔位。實(shí)用提示第一次跑之前強(qiáng)烈建議先用一段 30 秒以內(nèi)的短片試手。處理時(shí)間取決于分辨率和顯卡先摸清自己機(jī)器的速度再放心處理長(zhǎng)視頻。進(jìn)階玩法RIFE 幀插值讓老動(dòng)畫從 30 幀變 60 幀畫質(zhì)解決了流暢度也要跟上。RIFE 是 Video2X 內(nèi)置的插值引擎把 30fps 的視頻插值到 120fps只需把倍數(shù)設(shè)為 4video2x -i input.mp4 -o output.mp4 -m 4 -p rife --rife-model rife-v4.6-m 4是幀率倍數(shù)--rife-model指定模型版本。項(xiàng)目?jī)?nèi)置了 rife 到 rife-v4.26 的十多個(gè)版本默認(rèn)使用 rife-v4.26如果你追求速度可以試試輕量版rife-v4.25-lite。對(duì)動(dòng)作幅度大的內(nèi)容還可以開(kāi)啟 UHD 模式--rife-uhd提升穩(wěn)定性。把超分辨率和幀插值串起來(lái)才是完整工作流先用 Real-CUGAN 或 Real-ESRGAN 把分辨率拉高再跑一輪 RIFE 補(bǔ)幀一步到位得到高清又絲滑的成片。打磨輸出編碼參數(shù)、GPU 選擇與容器化運(yùn)行處理完的畫面如果直接輸出文件往往大得嚇人。Video2X 把 FFmpeg 的編碼器選項(xiàng)開(kāi)放了出來(lái)用-e可以連續(xù)傳多個(gè)參數(shù)。下面的命令改用 H.265 編碼、CRF 17、慢速高質(zhì)量預(yù)設(shè)video2x -i input.mkv -o output.mkv -p realesrgan --realesrgan-model realesrgan-plus -s 4 -e crf17 -e presetveryslow -e tunefilm同一臺(tái)機(jī)器裝了兩塊顯卡先用video2x --list-gpus查看設(shè)備編號(hào)再用-g 1指定用哪一塊跑避免搶資源。如果不想折騰本地環(huán)境官方還提供了容器鏡像Docker 一行拉起docker run --gpus all -it --rm -v $PWD:/host ghcr.io/k4yt3x/video2x:latest -i input.mp4 -o output.mp4 -p realesrgan -s 4 --realesrgan-model realesr-animevideov3避坑速查三個(gè)高頻問(wèn)題別慌提示找不到模型文件確認(rèn)models/目錄與可執(zhí)行文件放在同一層級(jí)且沒(méi)有被壓縮包遺漏必要時(shí)重新解壓倉(cāng)庫(kù)。vkEnumeratePhysicalDevices相關(guān)報(bào)錯(cuò)說(shuō)明 Vulkan 環(huán)境沒(méi)就緒先更新顯卡驅(qū)動(dòng)再跑vulkaninfo確認(rèn) GPU 能被識(shí)別容器環(huán)境下記得加--gpus all。輸出文件巨大優(yōu)先切到 H.265 編碼再適當(dāng)調(diào)高 CRF 值如 20~23體積能立竿見(jiàn)影地降下來(lái)。現(xiàn)在就去備份里找一段舊視頻Video2X 把過(guò)去只有專業(yè)工作室才用得起的 AI 視頻修復(fù)能力壓縮進(jìn)了一個(gè)開(kāi)源工具里。它不需要你懂深度學(xué)習(xí)不需要上傳隱私內(nèi)容到云端只要一條命令就能讓泛黃的記憶重新鮮活起來(lái)。從今天硬盤里最想修復(fù)的那段視頻開(kāi)始先用 30 秒短片驗(yàn)證效果然后放心交給它處理——你的 4K 舊時(shí)光正在等你親手喚醒。【免費(fèi)下載鏈接】video2xA machine learning-based video super resolution and frame interpolation framework. Est. Hack the Valley II, 2018.項(xiàng)目地址: https://gitcode.com/GitHub_Trending/vi/video2x創(chuàng)作聲明：本文部分內(nèi)容由AI輔助生成（AIGC），僅供參考