腳部頂部

阿利亞克桑德·西亞羅金、斯特凡·拉齊埃裡埃、謝爾蓋·圖利亞科夫、埃利薩·裡奇和尼庫·塞貝 在 NEURIPS 2019 [Paper] [GitHub] 抽象 圖像動畫包括生成視頻序列,以便源圖像中的對象根據驅動視頻的運動進行動畫處理。我們的框架無需使用任何註釋或有關特定物件的先前資訊進行動畫處理即可解決此問題。一旦對描述同一類別物件(例如人臉、人體)的一組視頻進行了培訓,我們的方法就可以應用於此類的任何物件。為此,我們使用自監督配方分離外觀和運動資訊。為了支援複雜的運動,我們使用一個表示形式,該表示形式由一組學習的要點及其局部仿法變換組成。發電機網路模擬目標運動過程中產生的遮擋,並結合了從源圖像中提取的外觀和從驅動視頻派生的運動。我們的框架在各種基準和不同物件類別中得分最佳 聚光燈視訊 它是如何工作的? 在培訓中,我們採用大量視頻序列,其中包含同一對象類別的物件。我們的模型經過培訓,通過結合視頻中單個幀和所學運動的潛在表示來重建訓練視頻。觀察幀對(源和驅動),每個幀對都從同一視頻中提取,它學習將運動編碼為運動特定鍵點位移和局部仿沖變換的組合。在測試時,我們將模型應用於由源圖像和驅動視頻各幀組成的對,並執行源物件的圖像動畫。 上圖概述了我們的方法。我們的框架由兩個主要模組組成:運動估計模組和圖像生成模組。運動估計模組的目的是預測密集運動場。我們假設存在一個抽象的參考框架。我們獨立估計了兩個轉變:從引用到來源,從引用到驅動。此選擇允許我們獨立處理源和驅動框架。這是需要的,因為在測試時,模型接收從不同視頻採樣的源圖像和驅動幀的對,這在視覺上可能非常不同。 在第一步中,我們近似了從稀疏軌跡集獲得的兩個轉換,這些變換是通過使用自監督方式學習的關鍵點獲得的。我們使用局部仿法變換在每個關鍵點的鄰域對運動進行建模。與僅使用關鍵點位移相比,局部仿法變換允許我們類比更大的變換系列。在第二步中,密集運動網路結合局部近似值,以獲得產生的緻密運動場。此外,除了密集運動場外,此網路還輸出一個遮擋蒙版,指示可以通過扭曲源圖像來重建駕駛的哪些圖像部分,以及應繪製哪些部分(從上下文中推斷)。最後,生成模組呈現源物件移動的圖像,如駕駛視頻中提供的那樣。在這裏,我們使用一個生成器網路,根據密集運動扭曲源圖像,並繪製在源圖像中遮擋的圖像部分。 動畫結果 面交換結果 引文 @InProceedings{Siarohin_2019_NeurIPS, 作者[西亞羅金,阿利亞克桑德和拉特惠利埃,斯特凡和圖利亞科夫,謝爾蓋和裡奇,伊莉莎和塞貝,尼庫, 標題[圖像動畫的第一階運動模型], 書名 [神經資訊處理系統會議 ( NeurIPS)], 月 = [12 月], 年份 = {2019} …