アリババの新技術『Animate Anyone』で写真をリアルなアニメーションに変換する方法と可能性を解説

2023年12月2日 2023年12月20日

kouna0001

今日は、アリババの研究グループが発表した新技術「Animate Anyone」について紹介します。この技術は、1枚の写真と動きを指定するガイドにより、なめらかなアニメーションを作成できます。どんなことができるのか、どうやって実現されているのか、そして入手方法について見ていきましょう。

この技術で可能なこと

この技術を用いると、以下のようなことが可能です：

• 写真に写っている人物やキャラクターを自由に動かすことができます。例えば、笑わせたり、泣かせたり、歌わせたり、踊らせたりすることができます。

• 動画やGIFなどの動的なメディアをアニメーションのガイドとして使用できます。動画に写っている人物の動きを写真に写っている人物に適用することができます。

• アニメーションの品質を向上させることができます。例えば、写真に写っている人物の表情やポーズをより自然に見せることができます。

これらを実現するために、この技術は以下のような手法を採用しています：

この技術の仕組み

この技術の仕組みは次の通りです：

• 「ReferenceNet」と呼ばれる新しいネットワーク「ReferenceNet」を用いて、1枚の写真から詳細な特徴を抽出します。このネットワークは、写真に写っている人物やキャラクターの顔や髪、服やアクセサリーなどの部分を個別に認識し、それぞれの特徴を表現するベクトルを生成します。これにより、1枚の写真だけで高品質なアニメーションを作成できます。

• 動画やGIFなどの動的なメディアをアニメーションのガイドとして活用します。このメディアは動きの特徴を表現するベクトルに変換されます。そして、このベクトルと写真から抽出した特徴ベクトルを組み合わせ、アニメーションのフレームを生成する「SynthesisNet」というネットワークを使用します。これにより、動的なメディアを使って、より多様な動きを指定できるようになります。

• 「Stable Diffusion」という手法をベースにして、アニメーションの品質や安定性を高めています。この手法は、アニメーションのフレームを生成する際に、ランダムなノイズを加えて、それを徐々に減らしていくものです。これにより、チラツキやぼやけなどの問題を防ぎ、アニメーションの品質を向上させることができます。

この技術の入手方法

現在、この技術を入手する方法は不明です。アリババの研究グループは技術を発表しただけで、公開や配布の計画を公表していません。将来的には、アリババのサービスやプラットフォームで利用できるようになるかもしれません。また、技術の論文やコードが公開されれば、自分で試すことができるかもしれませんが、これらは予想であり確定事項ではありません。技術に興味がある方は、アリババの研究グループの動向に注目してください。