測試筆記：RIFE實時撥放測試結果 (2024-10-06更新)

最近在看SVP官方討論區時，看到有幾位網友在討論RIFE實時撥放的可能性，使用RTX3080Ti搭配最新模型，跑出了足以實時撥放的速度（720p），於是開始爬了一下相關文章，並實際上機測試。

RIFE的論文連結：RIFE: Real-Time Intermediate Flow Estimation for Video Frame Interpolation

論文相關的GitHub：arXiv2021-RIFE、Practical-RIFE

VapourSynth Filter 連結

ncnn Vulkan：VapourSynth-RIFE-ncnn-Vulkan

PyTorch CUDA：vs-rife

SVP官方Wiki：RIFE_AI_interpolation

SVP討論區：New RIFE filter - 3x faster AI interpolation possible in SVP!!!

根據PweSol網友2021年底分享各模型的測試心得(連結)

品質（包含2D及3D）：

2.3 > 2.4 > 4.0 > 3.1 > 3.9 > 3.8

速度：

4.0 > 3.9 > 3.8 > 3.1 > 2.3/2.4

模型2.3的品質雖然好，但速度實在太慢了，而模型4.0可以兼顧品質與速度，因此後續實驗便以模型4.0做為測試參數。

### 測試環境 ###

2020年04月14日

Windows 10
DDR4-2933 48GiB
Nvidia RTX2070 8GiB
Nvidia Driver 511.79
CUDA Toolkit 11.3
cuDNN v8.2.1 (June 7th, 2021), for CUDA 11.x

### 軟體 ###

Python 3.10.4
VapourSynth R58-RC2
PyTorch 1.11.0 (CUDA 11.3)
vs_rife v2.0.0
VapourSynth-RIFE-ncnn-Vulkan r3 (model: 4.0)

### 工具及設定 ###

GPU-Z 2.45.0
VapourSynth Editor r19-mod-5-AC2
VapourSynth threads: core.num_threads = 4
Decoder: lsmas.LWLibavSource(format="yuv420p8", prefer_hw=3)
Video: demo.mp4 [720p]

### 測試結果 ###

1. RIFE filter for VapourSynth (PyTorch CUDA) - vs_rife v2.0.0
    Interpolation: x2
    RIFE model: 4.0
    scale: 1.0
    FP16: False
   
    FPS: 54.115
    CUDA: ~50%
    PerfCap: VRel, VOp, Pwr

2. RIFE filter for VapourSynth (PyTorch CUDA) - vs_rife v2.0.0
    Interpolation: x2
    RIFE model: 4.0
    scale: 0.5
    FP16: False
   
    FPS: 69.997
    CUDA: ~40%
    PerfCap: VRel, VOp

3. RIFE filter for VapourSynth (PyTorch CUDA) - vs_rife v2.0.0
    Interpolation: x2
    RIFE model: 4.0
    scale: 0.5
    FP16: True
   
    FPS: 70.936
    CUDA: ~32%
    PerfCap: VRel, VOp

4. RIFE filter for VapourSynth (ncnn Vulkan) - VapourSynth-RIFE-ncnn-Vulkan r3
    Interpolation: x2
    RIFE model: 4.0
    GPU thread: 1
    tta: False
    uhd: False
    sc: True
   
    FPS: 27.356
    CUDA: ~1%
    Compute_1: 30%
    PerfCap: Idle
   
5. RIFE filter for VapourSynth (ncnn Vulkan) - VapourSynth-RIFE-ncnn-Vulkan r3
    Interpolation: x2
    RIFE model: 4.0
    GPU thread: 2
    tta: False
    uhd: False
    sc: True
   
    FPS: 92.956
    CUDA: ~15%
    Compute_1: ~94%
    PerfCap: VRel, VOp, Pwr
   
6. RIFE filter for VapourSynth (ncnn Vulkan) - VapourSynth-RIFE-ncnn-Vulkan r3
    Interpolation: x2
    RIFE model: 4.0
    GPU thread: 2
    tta: False
    uhd: True
    sc: True
   
    FPS: 92.366
    CUDA: ~15%
    Compute_1: ~94%
    PerfCap: VRel, VOp, Pwr
   
7. RIFE filter for VapourSynth (ncnn Vulkan) - VapourSynth-RIFE-ncnn-Vulkan r3
    Interpolation: x2
    RIFE model: 4.0
    GPU thread: 2
    tta: False
    uhd: False
    sc: False
   
    FPS: 87.083
    CUDA: ~15%
    Compute_1: ~94%
    PerfCap: VRel, VOp, Pwr
   
8. RIFE filter for VapourSynth (ncnn Vulkan) - VapourSynth-RIFE-ncnn-Vulkan r3
    Interpolation: x2
    RIFE model: 4.0
    GPU thread: 3
    tta: False
    uhd: False
    sc: True
   
    FPS: 90.645
    CUDA: ~15%
    Compute_1: ~94%
    PerfCap: Idle

### 分析 ###

1. 雖然過去有段時間中 vs_rife 的效率較佳，但現階段來說，VapourSynth-RIFE-ncnn-Vulkan 的效率已經比 vs_rife 高了。（92.956 vs. 70.936 fps）

2. RIFE使用最新的4.0模型，可以實時播放。（720p 24->48fps）

3. RIFE在變化小的畫面中，效果還不錯，但快速變動的複雜畫面時，仍需要使用額外遮罩來掩蓋瑕疵。

題外話，

過去SVP 4提供的NVIDIA Optical Flow被我評論為"效果不佳，不建議使用"，而RIFE雖然也缺乏額外遮罩來遮蔽偽影，在粗略觀看後，目前暫定的評價是"可以嘗鮮"。

與Mickey_20220416腳本相比，小變化場景的效果是RIFE較佳，但快速變動的複雜畫面時，有額外遮罩的Mickey_20220416參數效果仍較佳，偽影較不明顯。

2024-10-06 更新:
這幾天測試了一下新版本的RIFE(NVIDIA Tensor-RT)，如果場景變化偵測搭配SVP運動向量一同使用，有望全面超過Mickey_20220416參數，效果真的很不錯。 (嘛...硬體消耗資源也是...)

由於我的電腦硬體遲遲未更新，顯示卡仍為RTX2070，效能不夠好，只能補到48fps，無法進行太多測試。
從SVP討論區來看，以下幾個版本是當前論壇中網友推薦使用的模型。

• 4.6 老模型，但速度最快 - 112 fps
• 4.15 lite 進步良好，精簡版本 - 100 fps
• 4.18 效果優異 - 75 fps
• 4.25 為4.18版本後的重大突破版本 - 84 fps
• 4.26 效果有時很好，但有時很壞
  
• v2版本為實驗性質，效果通常略好
• 相關模型可於此處下載 AmusementClub/vs-mlrt - external-models
  

2022-04-16