Embed Notice

角色動畫旨在通過驅動信號從靜止圖像生成角色視頻。目前，擴散模型已經成為視覺生成研究的主流，因為它們具有強大的生成能力。然而，在圖像到視頻的領域中，尤其是在角色動畫中，隨著時間保持與來自角色的詳細信息的一致性仍然是一個艱巨的問題。在本文中，我們充分利用擴散模型的優勢，提出了一個針對角色動畫量身定制的新框架。為了保持從參考圖像中的細緻外觀特徵的一致性，我們設計了ReferenceNet，通過空間注意力合併細節特徵。為了確保可控性和連續性，我們引入了一個高效的姿勢指導器來指導角色的動作，並采用一種有效的時間建模方法來確保在視頻幀之間實現平滑的幀過渡。通過擴展訓練數據，我們的方法可以使任意角色動畫，相對於其他圖像到視頻方法，在角色動畫方面取得卓越的結果。此外，我們在時尚視頻和人類舞蹈合成的基準上評估我們的方法，取得了最先進的結果。https://www.youtube.com/watch?v=8PCn5hLKNu4

https://humanaigc.github.io/animate-anyone/