Bit News Metaは最近、一連のリアルなNPCキャラクターモデルを生成し、既存のボイスオーバーファイルの助けを借りてキャラクターモデルを自動的に「リップシンク」および「ポーズ」させることができるaudio2photorealと呼ばれるAIフレームワークを発表しました。
公式研究報告書は、ダビングファイルを受け取った後、Audio2フォトリアルフレームワークは最初に一連のNPCモデルを生成し、次に量子化技術と拡散アルゴリズムを使用してモデルアクションを生成し、量子化技術がフレームワークのアクションサンプル参照を提供し、拡散アルゴリズムを使用してフレームによって生成されたキャラクターアクションの効果を改善することを指摘しました。
対照実験の評価者の43%が、フレームによって生成されたキャラクターの会話シーンに「強く満足」していたため、研究者は、Audio2フォトリアルフレームワークが業界の競合製品よりも「よりダイナミックで表現力豊かな」動きを生成できると感じました。 研究チームは現在、関連するコードとデータセットをGitHubで公開していると報告されています。
