AI動画には「2つの破綻」があるというお話

AI動画には、「生成の破綻」と「映像設計の破綻」がある。最近、私はそう考えるようになりました。

生成の破綻は、動作や物の状態が途中で崩れること。映像設計の破綻は、生成自体は成立しているのに、制作者が見せたかった感情や出来事が伝わらないことです。

たとえば、物の状態も動きもおかしくない。カットとしてはきれいにできている。それなのに、見せたかった感情が伝わらず、「これじゃない」と感じる。こんなこと、ありませんか？

少し前までの私は、そんな映像が出ると「動画生成はガチャだから」と考え、同じカットを何度も作り直していました。

ところが、Seedance 2.0以降、そのガチャ感はかなり薄れてきました。指示した動きや場面が安定して出るようになっても、「これじゃない」はなくならなかった。

そこで見えてきたのが、問題はモデル性能だけではないということでした。感情や出来事をどうつなぎ、何を観客に見せるのか。生成の破綻が減ったことで、それまでガチャの中に隠れていた映像設計の破綻が、はっきり見えるようになってきたのだと思います。

AI動画でよく言われる「生成の破綻」

一つ目は、生成された映像そのものが崩れる「生成の破綻」です。

持っていたコップが消える。手が触れる前に物が動く。指示した動作の順番が入れ替わる。身体が机や壁を通り抜けてしまう。

破綻していなくても、使えない映像もある

二匹の子猫が、一緒にいられることを喜び、幸せそうに鳴く場面を作ったことがあります。

生成された映像では、二匹ともきちんと動いていました。口も鳴く動きになっています。途中で物の形が変わったり、身体の動きが崩れたりすることもありません。

ところが、出来上がった映像からは、二匹の幸せが伝わってきませんでした。口は鳴くように動いていても、表情や姿勢、身体全体の動きにうれしさが表れていない。二匹が幸せを感じて鳴いているのではなく、ただ鳴く動作をしているように見えたんです。

作りたかったのは、二匹が口を動かす映像ではありません。二匹が一緒にいられて幸せだと、見ている人に伝わる映像でした。

以下は、同じ開始画像から作った二つの結果です。どちらも形は崩れていませんが、伝わる感情には差が出ました。

別の動画では、二匹のキャラクターが机に向かい、一緒に何かを作る場面を生成しました。

手元の作業は進んでいます。机の上にあるものも変化し、最初と最後を比べれば、何かが完成へ近づいていることも分かります。

けれど、二匹がどんな気持ちで作業しているのかは見えてきません。完成が近づいてうれしいのか、うまくいかず焦っているのか、相手と協力できて楽しいのか。作業の動きはあっても、そこにいるキャラクターの感情が映像に表れていませんでした。

絵としては動いている。出来事も進んでいる。それでも、見せたかった感情が演技として画面に出ていない。

私は、こうした状態を「映像設計の破綻」と考えています。

ただ、感情が大きく表れていなければ、必ず破綻というわけではありません。

二匹の心がすれ違う場面なら、気持ちが通わないこと自体に意味があります。淡々と作業する姿を見せたいなら、感情を抑えた動きが合うこともあります。

同じ映像でも、何を見せたかったかによって判断は変わります。

生成された映像が成立していても、制作者の意図との間にはずれが残ります。

二つの破綻は、直す場所が違う

ここを分ける理由は、直し方が違うからです。

生成の破綻なら、同じカットを生成し直す、参照素材を見直す、動作を分ける、別のモデルを試す、といった対応が考えられます。問題があるのは、画面に出た形や動きです。

別のモデルを試す場合も、総合性能だけで決めているわけではありません。場面と費用から選ぶ理由は、「AI動画は、一番いいモデルだけで作るのが正解ではない」に書きました。

映像設計の破綻なら、同じ指示で生成回数を増やしても直らないことがあります。先に、その場面で観客に何を分かってほしいのか、最初と最後で何が変わるのか、その動きの前にどんな理由があるのかを整理する必要があります。

場合によっては、生成し直さなくても、カットの順番を変えたり、反応を一つ足したりするだけで意味が通ります。

「使えないから、もう一度生成する」と決める前に、どちらの問題なのかを分ける。ここが混ざったままだと、直らない理由が分からないままクレジットだけを使うことになります。

「これじゃない」と感じたときに分けてみる

生成結果を見て「これじゃない」と感じたら、まず普通の速度で再生してみます。

形や動きがおかしくて、内容よりも崩れが気になるのか。それとも、映像は成立しているのに、見せたかった感情や出来事が伝わらないのか。

後者なら、「本当は、この場面で何が伝わればよかったのか」を一文にしてみると、足りないものが見つけやすくなります。

二匹が一緒にいられてうれしい。それなら、互いへ向く視線や、相手の声を受けた反応が必要かもしれない。作業が完成へ近づいている。それなら、机の上の状態や二匹の役割が、最初と最後で変わっている必要があります。

二つに分けたからといって、すぐに正解が出るわけではありません。ただ、モデルへもう一度任せる問題なのか、こちらが映像の流れを考え直す問題なのかは見えます。

再生成のボタンを押す前に、形や動きが崩れているのか、それとも見せたかったことが伝わっていないのかを分けて見る。モデルの性能が上がった今、生成結果を見た後に考えることが以前より増えました。

関連記事

キャラクターの感情を顔だけに頼らず見せる方法は、「AI動画で感情を伝えるために考えていること」で、耳や姿勢、動きの前後から掘り下げています。

光や演技の選び方が作品全体の印象へどうつながるかは、「AI動画の「世界観」は、どこから生まれるのか」にまとめました。

参考：ByteDance Seed Team「Seedance 2.0 Official Launch」「One-Take Creation, Flexible Referencing: Introducing Seedance 2.5」