「AIエージェント→Gemini Notebook or ローカルLLM→Grok→動画生成」というパイプラインを、実際に手を動かして検証してみました。「ローカルLLMに魅力を語らせてみた」「LLMに社説を書かせてみた」に続く、検証ログ第3弾は動画です。

ログインの壁

まず最初にぶつかったのは、Grok Imagine（X内蔵のAI動画生成ツール）へのログインでした。grok.comとx.comは別セッション扱いで、Xにログイン済みでもGrok単体は未ログインのまま。「Xでログイン」を選ぶことで、既存のXセッションを使ってパスワード入力なしにログインできることが分かりました。

1回目：桃太郎3部作は「雑」だった

最初に試したのは、桃太郎の物語全体を15秒×3部作（誕生と旅立ち／仲間との旅／鬼退治と帰還）にまとめる企画でした。しかし実際に見返すと、各カットが4〜5秒しかなく、情報を詰め込みすぎて忙しない仕上がりに。「静かで詩的な間を大切にする監督」というペルソナを与えていたのに、実際のプロンプトは真逆の構成になっていたのです。

2回目：1シーンに絞ったら、ぐっと良くなった

反省を活かし、「桃太郎の鬼との決闘シーン」という1シーンだけに絞り、サル・犬・きじを擬人化してバガボンド風の写実タッチで、という具体的な指示をGemini Notebookに渡してみました。結果は下の動画の通りです。2カット・8秒＋7秒という余裕のある尺配分になり、鳥居前で無言のまま対峙する構図など、監督ペルソナの「間」が実際の絵作りに反映されました。

教訓：1回の生成には1シーン、少ないカット数

これが今回の一番の学びです。物語全体を尺に収めようとするより、単一の印象的なシーンに絞ったほうが、演出の密度も高く、監督ペルソナの個性も出しやすい。長尺の物語を描きたい場合は、無理に1本にまとめず、複数のシーンを別々の投稿として積み重ねていく方が良さそうです。

Ollama脚本→Gemini Notebook演出のリレー

もう一つ試したのが、既存のブログ記事を動画化する企画です。ローカルLLM（Phi4 14B）に、演出用語を使わせずに「何を伝えるか」だけの脚本を書かせ、それをGemini Notebookに渡して監督ペルソナで映像化してもらいました。役割分担を明確にしたことで、Ollama単体で作らせたときのような説明的・図解的な絵（画面にテキストオーバーレイのような）ではなく、抽象的な視覚メタファー（AIの「暴走」を不安定な光の球体、「ループ工程」をそれを包む光の輪として表現）に落とし込むことができました。

まとめ

Gemini Notebookは「ソースに忠実な脚色」と「詩的な映像表現」が得意、ローカルLLMは「何を伝えるか」という中身の整理が得意、という役割の違いがはっきり見えた検証でした。この2本はXにも「LLMに映画監督やらしてみた」シリーズとして投稿済みです。今後は、この検証を踏まえてパイプライン化（CLIコマンド一発で生成できるように）を進めていく予定です。