思い出の写真が動き出す!?テキストから驚くほど高品質な動画が作れる話題の生成AI「Dream Machine」

2024.8.2

テキストから画像や音楽を生成できるAIサービスが多数登場する中、最近では動画を生成できるAIサービスが注目されている。中でも現在、大変話題になっているのが「Dream Machine」だ。

動画生成AI「Dream Machine」とは？

Dream Machineは、米国サンフランシスコのAIスタートアップ・Luma Labsが2024年6月に公開したAI動画サービスだ。

動画AIサービスでは、これまでOpenAIの「Sora」やKuaishou（快手）の「Kling」といった高品質な動画生成AIサービスが発表されてきたが、これらは2024年7月現在、日本国内の一般ユーザーが手軽に利用できるものではない。しかしDream Machineは、Googleアカウントさえあれば誰でも利用可能だ。そのため、現時点では一般に使える最も高品質な動画生成AIサービスとして注目されている。

Dream Machineは、入力したテキストや画像をもとに120フレーム（24fps×5秒）の高品質でリアルな動画を高速で生成可能だ。現在は、無料プランと有料プランが用意されており、無料プラン「Free」では、1カ月に30回まで動画を生成できる（この記事を執筆している時点では1日に生成できるのは20回まで）。

有料プランでは、1カ月に120回まで生成できる「Standard」プラン（月額29.99ドル／年契約で1カ月あたり23.99ドル）、400回まで生成できる「Pro」プラン（月額99.99ドル／年契約で1カ月あたり79.99ドル）、2000回まで生成できる「Premier」プラン（月額499.99ドル／年契約で1カ月あたり399.99ドル）の3プランが用意されている。また有料プランでは生成した動画の商用利用が可能なほか、ウォーターマーク（Luma Labsのロゴ）を動画から削除、動画生成の順番待ちの優先といった機能も提供される。

Dream Machineの使用方法

Dream Machineでは、テキストまたは画像から動画を生成できる。基本的な使用手順は以下のとおりだ。

1. 公式サイトにアクセスし、「Try Now」ボタンを選択して、Googleアカウントでログイン。
2. 動画生成画面のプロンプト入力ボックスにテキストを入力（日本語対応）。その際、プロンプトを自動補完する「Enhance prompt」機能のオン／オフの切り替えも可能（デフォルトではオン）。
3. 画像から生成する場合は、左端の画像アイコンをクリックして画像をアップロード。
4. 右端の生成ボタン（上矢印）を押して動画を生成。

プロンプト入力ボックス

プロンプトでは、画像や音楽の生成AIと同じように動画に含めたい要素、ムードなどを指定できる。さらにパン（カメラを水平方向に動かす動き）やティルト（カメラを垂直方向に動かす動き）といった映像テクニック、スローモーションなどの特殊効果、ドローンによってまるで自分が空を飛んでいるような臨場感ある映像を撮影するFPV（First Person View：一人称視点）撮影など、専門的な指示も可能だ。

また作成した動画を延長するエクステンド機能も搭載されている（1度の使用で5秒間延長可能）。この機能を使うことで、より長尺の動画やストーリー性のある映像を作成可能だ。

実際にテキスト／画像から動画を生成、その実力は？

次に筆者が実際にDream Machineで生成した動画の例をいくつか紹介しよう。

1. テキストからの動画生成：野外音楽フェスティバルのDJシーン

まず、テキストからの動画生成を実験。以下のように日本語でプロンプトを入力した。

「女性DJが野外音楽フェスティバルのステージでレコードを使ってDJしています。これをFPVドローンで撮影した映像を作成してください」

結果として、女性DJがレコードを使ってDJプレイし、野外音楽フェスティバルで会場を盛り上げている動画が生成された。しかし、自分がイメージしていたFPVドローン撮影風のワンカット動画にはならなかった。

Dream Maschineでテキストから生成したAI動画1

via www.youtube.com

そこで同じ内容を以下のように英語で入力してみた。

「A female DJ is DJing on stage at an outdoor music festival with records. Create a video of this using an FPV drone」

すると、FPVドローンならではの臨場感のあるワンカット動画が生成された。この結果から、Dream Machineは日本語でもある程度プロンプトに沿った動画を生成できるが、英語の方がより忠実に反映される傾向があると考えられる。

Dream Maschineでテキストから生成したAI動画2

via www.youtube.com

2. 画像からの動画生成：過去の旅行で撮影した画像を動画化

次に画像から動画を生成する実験を行った。使用したのは、筆者が以前パリを訪れた際、ジャン＝リュック・ゴダール監督の映画『勝手にしやがれ』の名シーンのロケ地で撮影した画像だ。

動画の元になった画像

この画像から、作中の主人公が路上を駆け抜けて逃げようとするも途中で力尽きて倒れてしまうシーンを再現しようと試み、以下のプロンプトを英語で入力した。

「Man runs into the street to escape. But he ran out of strength and collapsed（男は逃げようと通りに飛び出した。しかし、力尽きて倒れた）」

このプロンプトから生成された5秒の動画では、写真の人物が走り出す様子は再現されたが、力尽きて倒れるシーンまでは含まれなかった。

Dream Maschineで過去に撮影した画像から生成したAI動画1

via www.youtube.com

そこでエクステンド機能を使用して動画を5秒から10秒に延長。以下のプロンプトを追加した。

「He ran out of strength and collapsed in the middle of the road（彼は力尽きて道の真ん中で倒れた）」

結果、路上を走る人物が途中でよろけて転ぶような描写が生成された。ただし、予期せぬ展開として、その後に別の人物に入れ替わり、その頭上から人が落下してくるというシュールな映像になった。