Aliaksandr Siarohin, Stéphane Lathuilière, Sergey Tulyakov, Elisa Ricci and Nicu Sebe in NeurIPS 2019 [Paper] [GitHub] Abstract Image animation consists of generating a video sequence so that an object in …
阿利亞克桑德·西亞羅金、斯特凡·拉齊埃裡埃、謝爾蓋·圖利亞科夫、埃利薩·裡奇和尼庫·塞貝 在 NEURIPS 2019 [Paper] [GitHub] 抽象 圖像動畫包括生成視頻序列,以便源圖像中的對象根據驅動視頻的運動進行動畫處理。我們的框架無需使用任何註釋或有關特定物件的先前資訊進行動畫處理即可解決此問題。一旦對描述同一類別物件(例如人臉、人體)的一組視頻進行了培訓,我們的方法就可以應用於此類的任何物件。為此,我們使用自監督配方分離外觀和運動資訊。為了支援複雜的運動,我們使用一個表示形式,該表示形式由一組學習的要點及其局部仿法變換組成。發電機網路模擬目標運動過程中產生的遮擋,並結合了從源圖像中提取的外觀和從驅動視頻派生的運動。我們的框架在各種基準和不同物件類別中得分最佳 聚光燈視訊 它是如何工作的? 在培訓中,我們採用大量視頻序列,其中包含同一對象類別的物件。我們的模型經過培訓,通過結合視頻中單個幀和所學運動的潛在表示來重建訓練視頻。觀察幀對(源和驅動),每個幀對都從同一視頻中提取,它學習將運動編碼為運動特定鍵點位移和局部仿沖變換的組合。在測試時,我們將模型應用於由源圖像和驅動視頻各幀組成的對,並執行源物件的圖像動畫。 上圖概述了我們的方法。我們的框架由兩個主要模組組成:運動估計模組和圖像生成模組。運動估計模組的目的是預測密集運動場。我們假設存在一個抽象的參考框架。我們獨立估計了兩個轉變:從引用到來源,從引用到驅動。此選擇允許我們獨立處理源和驅動框架。這是需要的,因為在測試時,模型接收從不同視頻採樣的源圖像和驅動幀的對,這在視覺上可能非常不同。 在第一步中,我們近似了從稀疏軌跡集獲得的兩個轉換,這些變換是通過使用自監督方式學習的關鍵點獲得的。我們使用局部仿法變換在每個關鍵點的鄰域對運動進行建模。與僅使用關鍵點位移相比,局部仿法變換允許我們類比更大的變換系列。在第二步中,密集運動網路結合局部近似值,以獲得產生的緻密運動場。此外,除了密集運動場外,此網路還輸出一個遮擋蒙版,指示可以通過扭曲源圖像來重建駕駛的哪些圖像部分,以及應繪製哪些部分(從上下文中推斷)。最後,生成模組呈現源物件移動的圖像,如駕駛視頻中提供的那樣。在這裏,我們使用一個生成器網路,根據密集運動扭曲源圖像,並繪製在源圖像中遮擋的圖像部分。 動畫結果 面交換結果 引文 @InProceedings{Siarohin_2019_NeurIPS, 作者[西亞羅金,阿利亞克桑德和拉特惠利埃,斯特凡和圖利亞科夫,謝爾蓋和裡奇,伊莉莎和塞貝,尼庫, 標題[圖像動畫的第一階運動模型], 書名 [神經資訊處理系統會議 ( NeurIPS)], 月 = [12 月], 年份 = {2019} …
Lorem Ipsum is simply dummy text of the printing and typesetting industry. Lorem Ipsum has been the industry’s standard dummy text ever since the 1500s, when an unknown printer took …
洛勒姆·伊普蘇姆只是印刷和排版行業的虛擬文本。Lorem Ipsum 自 1500 年代以來一直是業界的標準虛擬文本,當時一家不知名的印表機取了一本類型的廚房,並炒制了一本類型試樣書。 它不僅存活了五個世紀,而且實現了電子排版的飛躍,基本上沒有改變。它在20世紀60年代普及,發佈了包含洛勒姆Ipsum段落的Letraset表,最近還發佈了像Aldus PageMaker這樣的桌面出版軟體,包括洛勒姆·伊普蘇姆的版本。 長期以來,讀者在查看頁面佈局時,會因頁面的可讀內容而分心,這是一個長期確立的事實。使用 Lorem Ipsum 的要點是,它或多或少地按字母分佈,而不是使用"此處的內容,此處的內容",使其看起來像可讀的英語。 許多桌面發佈包和網頁編輯現在使用Lorem Ipsum作為他們的預設模型文本,搜索"lorem ipsum"將發現許多網站仍處於起步階段。多年來,各種版本都發生了變化,有時是偶然的,有時是故意的(注入幽默等)。 洛勒姆·伊普蘇姆的段落有很多變化,但大多數都經歷了某種形式的改變,注入了幽默,或隨機的單詞,看起來甚至不太可信。 如果你要使用Lorem Ipsum的一段話,你需要確保在文本中間沒有任何令人尷尬的隱藏。互聯網上的所有Lorem Ipsum生成器都傾向於根據需要重複預定義的塊,使其成為互聯網上的第一個真正的生成器。 它使用一本包含 200 多個拉丁單詞的字典,加上少數模型句子結構,生成看起來合理的 Lorem Ipsum。因此,生成的Lorem Ipsum總是沒有重複,注入幽默,或非特色的話等。 自1500年代以來使用的標準區塊,下面為感興趣的人轉載。西塞羅的《費尼布斯·博諾魯姆和馬婁魯姆》第1.10.32和1.10.33節也以確切的原始形式轉載,並附有H.Rackham1914年譯文的英文版本。
Lorem Ipsum is simply dummy text of the printing and typesetting industry. Lorem Ipsum has been the industry’s standard dummy text ever since the 1500s, when an unknown printer took …
洛勒姆·伊普蘇姆只是印刷和排版行業的虛擬文本。Lorem Ipsum 自 1500 年代以來一直是業界的標準虛擬文本,當時一家不知名的印表機取了一本類型的廚房,並炒制了一本類型試樣書。 它不僅存活了五個世紀,而且實現了電子排版的飛躍,基本上沒有改變。它在20世紀60年代普及,發佈了包含洛勒姆Ipsum段落的Letraset表,最近還發佈了像Aldus PageMaker這樣的桌面出版軟體,包括洛勒姆·伊普蘇姆的版本。 長期以來,讀者在查看頁面佈局時,會因頁面的可讀內容而分心,這是一個長期確立的事實。使用 Lorem Ipsum 的要點是,它或多或少地按字母分佈,而不是使用"此處的內容,此處的內容",使其看起來像可讀的英語。 許多桌面發佈包和網頁編輯現在使用Lorem Ipsum作為他們的預設模型文本,搜索"lorem ipsum"將發現許多網站仍處於起步階段。多年來,各種版本都發生了變化,有時是偶然的,有時是故意的(注入幽默等)。 洛勒姆·伊普蘇姆的段落有很多變化,但大多數都經歷了某種形式的改變,注入了幽默,或隨機的單詞,看起來甚至不太可信。 如果你要使用Lorem Ipsum的一段話,你需要確保在文本中間沒有任何令人尷尬的隱藏。互聯網上的所有Lorem Ipsum生成器都傾向於根據需要重複預定義的塊,使其成為互聯網上的第一個真正的生成器。 它使用一本包含 200 多個拉丁單詞的字典,加上少數模型句子結構,生成看起來合理的 Lorem Ipsum。因此,生成的Lorem Ipsum總是沒有重複,注入幽默,或非特色的話等。 自1500年代以來使用的標準區塊,下面為感興趣的人轉載。西塞羅的《費尼布斯·博諾魯姆和馬婁魯姆》第1.10.32和1.10.33節也以確切的原始形式轉載,並附有H.Rackham1914年譯文的英文版本。
Lorem Ipsum is simply dummy text of the printing and typesetting industry. Lorem Ipsum has been the industry’s standard dummy text ever since the 1500s, when an unknown printer took …
洛勒姆·伊普蘇姆只是印刷和排版行業的虛擬文本。Lorem Ipsum 自 1500 年代以來一直是業界的標準虛擬文本,當時一家不知名的印表機取了一本類型的廚房,並炒制了一本類型試樣書。 它不僅存活了五個世紀,而且實現了電子排版的飛躍,基本上沒有改變。它在20世紀60年代普及,發佈了包含洛勒姆Ipsum段落的Letraset表,最近還發佈了像Aldus PageMaker這樣的桌面出版軟體,包括洛勒姆·伊普蘇姆的版本。 長期以來,讀者在查看頁面佈局時,會因頁面的可讀內容而分心,這是一個長期確立的事實。使用 Lorem Ipsum 的要點是,它或多或少地按字母分佈,而不是使用"此處的內容,此處的內容",使其看起來像可讀的英語。 許多桌面發佈包和網頁編輯現在使用Lorem Ipsum作為他們的預設模型文本,搜索"lorem ipsum"將發現許多網站仍處於起步階段。多年來,各種版本都發生了變化,有時是偶然的,有時是故意的(注入幽默等)。 洛勒姆·伊普蘇姆的段落有很多變化,但大多數都經歷了某種形式的改變,注入了幽默,或隨機的單詞,看起來甚至不太可信。 如果你要使用Lorem Ipsum的一段話,你需要確保在文本中間沒有任何令人尷尬的隱藏。互聯網上的所有Lorem Ipsum生成器都傾向於根據需要重複預定義的塊,使其成為互聯網上的第一個真正的生成器。 它使用一本包含 200 多個拉丁單詞的字典,加上少數模型句子結構,生成看起來合理的 Lorem Ipsum。因此,生成的Lorem Ipsum總是沒有重複,注入幽默,或非特色的話等。 自1500年代以來使用的標準區塊,下面為感興趣的人轉載。西塞羅的《費尼布斯·博諾魯姆和馬婁魯姆》第1.10.32和1.10.33節也以確切的原始形式轉載,並附有H.Rackham1914年譯文的英文版本。
Lorem Ipsum is simply dummy text of the printing and typesetting industry. Lorem Ipsum has been the industry’s standard dummy text ever since the 1500s, when an unknown printer took …
洛勒姆·伊普蘇姆只是印刷和排版行業的虛擬文本。Lorem Ipsum 自 1500 年代以來一直是業界的標準虛擬文本,當時一家不知名的印表機取了一本類型的廚房,並炒制了一本類型試樣書。 它不僅存活了五個世紀,而且實現了電子排版的飛躍,基本上沒有改變。它在20世紀60年代普及,發佈了包含洛勒姆Ipsum段落的Letraset表,最近還發佈了像Aldus PageMaker這樣的桌面出版軟體,包括洛勒姆·伊普蘇姆的版本。 長期以來,讀者在查看頁面佈局時,會因頁面的可讀內容而分心,這是一個長期確立的事實。使用 Lorem Ipsum 的要點是,它或多或少地按字母分佈,而不是使用"此處的內容,此處的內容",使其看起來像可讀的英語。 許多桌面發佈包和網頁編輯現在使用Lorem Ipsum作為他們的預設模型文本,搜索"lorem ipsum"將發現許多網站仍處於起步階段。多年來,各種版本都發生了變化,有時是偶然的,有時是故意的(注入幽默等)。 洛勒姆·伊普蘇姆的段落有很多變化,但大多數都經歷了某種形式的改變,注入了幽默,或隨機的單詞,看起來甚至不太可信。 如果你要使用Lorem Ipsum的一段話,你需要確保在文本中間沒有任何令人尷尬的隱藏。互聯網上的所有Lorem Ipsum生成器都傾向於根據需要重複預定義的塊,使其成為互聯網上的第一個真正的生成器。 它使用一本包含 200 多個拉丁單詞的字典,加上少數模型句子結構,生成看起來合理的 Lorem Ipsum。因此,生成的Lorem Ipsum總是沒有重複,注入幽默,或非特色的話等。 自1500年代以來使用的標準區塊,下面為感興趣的人轉載。西塞羅的《費尼布斯·博諾魯姆和馬婁魯姆》第1.10.32和1.10.33節也以確切的原始形式轉載,並附有H.Rackham1914年譯文的英文版本。