最近在看SVP官方討論區時,看到有幾位網友在討論RIFE實時撥放的可能性,使用RTX3080Ti搭配最新模型,跑出了足以實時撥放的速度(720p),於是開始爬了一下相關文章,並實際上機測試。
論文相關的GitHub:arXiv2021-RIFE、Practical-RIFE
VapourSynth Filter 連結
ncnn Vulkan:VapourSynth-RIFE-ncnn-Vulkan
PyTorch CUDA:vs-rife
SVP官方Wiki:RIFE_AI_interpolation
根據PweSol網友2021年底分享各模型的測試心得(連結)
品質(包含2D及3D):
2.3 > 2.4 > 4.0 > 3.1 > 3.9 > 3.8
速度:
4.0 > 3.9 > 3.8 > 3.1 > 2.3/2.4
模型2.3的品質雖然好,但速度實在太慢了,而模型4.0可以兼顧品質與速度,因此後續實驗便以模型4.0做為測試參數。
### 測試環境 ###
2020年04月14日
Windows 10DDR4-2933 48GiB
Nvidia RTX2070 8GiB
Nvidia Driver 511.79
CUDA Toolkit 11.3
cuDNN v8.2.1 (June 7th, 2021), for CUDA 11.x
### 軟體 ###
Python 3.10.4VapourSynth R58-RC2
PyTorch 1.11.0 (CUDA 11.3)
vs_rife v2.0.0
VapourSynth-RIFE-ncnn-Vulkan r3 (model: 4.0)
### 工具及設定 ###
GPU-Z 2.45.0VapourSynth Editor r19-mod-5-AC2
VapourSynth threads: core.num_threads = 4
Decoder: lsmas.LWLibavSource(format="yuv420p8", prefer_hw=3)
Video: demo.mp4 [720p]
### 測試結果 ###
1. RIFE filter for VapourSynth (PyTorch CUDA) - vs_rife v2.0.0Interpolation: x2
RIFE model: 4.0
scale: 1.0
FP16: False
FPS: 54.115
CUDA: ~50%
PerfCap: VRel, VOp, Pwr
2. RIFE filter for VapourSynth (PyTorch CUDA) - vs_rife v2.0.0
Interpolation: x2
RIFE model: 4.0
scale: 0.5
FP16: False
FPS: 69.997
CUDA: ~40%
PerfCap: VRel, VOp
3. RIFE filter for VapourSynth (PyTorch CUDA) - vs_rife v2.0.0
Interpolation: x2
RIFE model: 4.0
scale: 0.5
FP16: True
FPS: 70.936
CUDA: ~32%
PerfCap: VRel, VOp
4. RIFE filter for VapourSynth (ncnn Vulkan) - VapourSynth-RIFE-ncnn-Vulkan r3
Interpolation: x2
RIFE model: 4.0
GPU thread: 1
tta: False
uhd: False
sc: True
FPS: 27.356
CUDA: ~1%
Compute_1: 30%
PerfCap: Idle
5. RIFE filter for VapourSynth (ncnn Vulkan) - VapourSynth-RIFE-ncnn-Vulkan r3
Interpolation: x2
RIFE model: 4.0
GPU thread: 2
tta: False
uhd: False
sc: True
FPS: 92.956
CUDA: ~15%
Compute_1: ~94%
PerfCap: VRel, VOp, Pwr
6. RIFE filter for VapourSynth (ncnn Vulkan) - VapourSynth-RIFE-ncnn-Vulkan r3
Interpolation: x2
RIFE model: 4.0
GPU thread: 2
tta: False
uhd: True
sc: True
FPS: 92.366
CUDA: ~15%
Compute_1: ~94%
PerfCap: VRel, VOp, Pwr
7. RIFE filter for VapourSynth (ncnn Vulkan) - VapourSynth-RIFE-ncnn-Vulkan r3
Interpolation: x2
RIFE model: 4.0
GPU thread: 2
tta: False
uhd: False
sc: False
FPS: 87.083
CUDA: ~15%
Compute_1: ~94%
PerfCap: VRel, VOp, Pwr
8. RIFE filter for VapourSynth (ncnn Vulkan) - VapourSynth-RIFE-ncnn-Vulkan r3
Interpolation: x2
RIFE model: 4.0
GPU thread: 3
tta: False
uhd: False
sc: True
FPS: 90.645
CUDA: ~15%
Compute_1: ~94%
PerfCap: Idle
### 分析 ###
1. 雖然過去有段時間中 vs_rife 的效率較佳,但現階段來說,VapourSynth-RIFE-ncnn-Vulkan 的效率已經比 vs_rife 高了。(92.956 vs. 70.936 fps)2. RIFE使用最新的4.0模型,可以實時播放。(720p 24->48fps)
3. RIFE在變化小的畫面中,效果還不錯,但快速變動的複雜畫面時,仍需要使用額外遮罩來掩蓋瑕疵。
題外話,
過去SVP 4提供的NVIDIA Optical Flow被我評論為"效果不佳,不建議使用",而RIFE雖然也缺乏額外遮罩來遮蔽偽影,在粗略觀看後,目前暫定的評價是"可以嘗鮮"。
與Mickey_20220416腳本相比,小變化場景的效果是RIFE較佳,但快速變動的複雜畫面時,有額外遮罩的Mickey_20220416參數效果仍較佳,偽影較不明顯。
2022-04-16
請問黑米奇 我選擇這兩種軟硬體 替lg c1電視校色 Displaycal, I1 Display Pro
回覆刪除校色完之後是把icc文件save在電腦嗎?
I1 Display Pro是有教程附送嗎?
你的電視是長期接著電腦使用嗎?
刪除如果不是,不是用這種方式校正,要用HCFR等其他方式校準。
Displaycal的校正方式基本上只適用於"電腦"螢幕。
Displaycal是第三方校正軟體,購買I1 Display Pro不會提供,
不過I1 Display Pro有出另一套他們自己的軟體可以校正。
米奇大覺得4090能在RIFE跑4K 120HZ嗎?
回覆刪除打錯了 是1080 120HZ
刪除看最新的討論,採用RTX4090在特定參數下,可以補到1080P 288fps,
刪除這速度可能可以及時插補4K30了呢。真強大...
https://www.svp-team.com/forum/viewtopic.php?id=6281&p=15
https://github.com/styler00dollar/VSGAN-tensorrt-docker#benchmarks
真的強
刪除那看來如果只需要120fps的話可能4080或4080TI就夠了
看起來主要是算法的效率提升,本篇用的是4.0,現在最新的已經到4.6了,性能提升不少
刪除請問現在新版RIFE還需要NVIDIA Optical Flow嗎?
回覆刪除看這邊討論好像說是現在不能一起用
我英文不太好 可能有理解錯的地方
https://www.svp-team.com/forum/viewtopic.php?id=6281&p=31
不能,兩個用的後端不同。
刪除