我們的影片預測模型採用稀疏運動向量的方法, 並結合利用深度學習與強化學習來找出其最佳的稀疏關鍵位置和此位置相對應之運動向量, POBMC來做最後圖片的合成. 我們的預測結果在PSNR和SSIM相較於SOTA方法相近, 但是我們在視覺效果LPIPS有更好的分數.

我們的方法引進了傳統視訊壓縮的技術POBMC並結合深度學習與強化學習技術. 此方法不會像直接生成模型缺乏模型對運動趨勢的分析導致連續預測實圖會糊的很快. 也不需要像稠密光流法需要添加人為的光流平滑限制. 另外, 我們的模型很小, 在少量的訓練資料下便可以完成學習並有不錯的一般性.

從產業角度來看, 影像預測可以用在任何需要預估未來畫面的應用, 譬如智慧無人車, 又或這利用影像預測模型來幫助其他的任務有更好的預測結果, 譬如動作分析預測. 另外, 此方法也可以應用在視訊壓縮, 我們只需要傳送很小量的運動向量以及其位置資訊.

影片連結: https://www.youtube.com/watch?v=aKHFm9u37N4&feature=youtu.be