ショート動画からシナリオと絵コンテをリバース生成する — マルチモーダル LLM と専用 AI ツールの 2 つのアプローチ

はじめに

伸びているショート動画を見て「この構成をそのまま参考にしたい」と思ったことはないでしょうか。完成した動画を AI に読み込ませ、そこからシナリオ（台本）や絵コンテ（カット割り）を逆引きで抽出することを、ここでは「リバース生成」と呼びます。

やり方は大きく 2 つあります。

汎用のマルチモーダル LLM（以下、汎用 LLM）に動画やスクリーンショットを解析させる
動画分析・絵コンテ化に特化した専用 AI ツール（以下、専用ツール）を使う

前者は手軽で分析の自由度が高く、後者は絵コンテ化や、その構成をもとにした画像の作り直しまでをツールの中で進められます。本記事では両方の手順と、精度を上げるコツをまとめます。

なお、リバース生成したシナリオを使って新しい動画を量産する側の話は、Claude Code で Higgsfield 用ショート動画シナリオを量産するで扱っています。

アプローチ 1：汎用 LLM（Gemini / ChatGPT / Claude）で分析する

もっとも手軽で、出力形式を細かく指定できる方法です。

LLM ごとの入力の違い

汎用 LLM といっても、動画をそのまま読めるかどうかで手順が変わります。

LLM	動画の直接入力	音声の解析	静止画からの分析
Gemini	○	○	○
ChatGPT	×（公式に対応の記載なし）	○（有料プラン、音声のみのファイル）	○
Claude	×	×	○（claude.ai は 1 メッセージ 20 枚まで）

Gemini は動画ファイル（MP4 など）を入力として受け付け、映像と音声をまとめて解析できます。対象のショート動画をそのままアップロードすれば十分です。

ChatGPT は、動画ファイルの解析が公式には対応形式として案内されていません。一方で、有料プランなら MP3 や M4A などの音声ファイルをアップロードして、文字起こしや要約をさせられます。

Claude が受け付けるのは JPEG / PNG / GIF / WebP の画像で、claude.ai では 1 メッセージに 20 枚まで添付できます。動画も音声も直接は渡せません。

ChatGPT と Claude で分析するときは、次の節のように ffmpeg で静止画と音声を取り出してから渡します。ChatGPT なら、取り出した音声ファイルをそのまま添付することもできます。

ffmpeg で前処理する

前処理では、動画を次の 3 つに分解します。

カットごとの静止画
各カットの開始秒数
音声の文字起こし

この 3 つがそろえば、どの LLM にも同じ入力を渡せます。結果を LLM 同士で比べたり、途中で乗り換えたりするのも簡単です。

カットの静止画と秒数

ffmpeg のシーン検出で、カットの切り替わりだけを静止画として書き出します。同時に、各カットが何秒目かをテキストファイルに記録します。

mkdir -p frames
# 先頭フレーム（n=0）と、前フレームとの差分が 0.3 を超えたフレームだけを書き出し、
# 各フレームの時刻を cuts.txt に記録する
ffmpeg -i input.mp4 \
  -vf "select='eq(n,0)+gt(scene,0.3)',metadata=print:file=cuts.txt" \
  -fps_mode vfr frames/cut_%03d.png

frames/cut_001.png、cut_002.png … のように、カットごとに 1 枚ずつ連番で保存されます。cuts.txt には、各カットの時刻が pts_time（秒）として記録されます。2 秒ごとに切り替わる 3 カットのテスト動画で試すと、次のようになりました。

frame:0    pts:0       pts_time:0
lavfi.scene_score=0.000000
frame:1    pts:25600   pts_time:2
lavfi.scene_score=0.703200
frame:2    pts:51200   pts_time:4
lavfi.scene_score=0.883685

この秒数を一緒に渡せば、絵コンテ表の「タイムコード」欄を推測ではなく実測で埋められます。

冒頭のカットは「切り替わり」として検出されないため、gt(scene,0.3) だけだと 1 枚目が抜け落ちます。eq(n,0)+ を付けて先頭フレームも拾うようにしているのはそのためです（同じテスト動画では、gt(scene,0.3) だけだと 2 枚、eq(n,0)+ を付けると 3 枚が出力されました）。

しきい値 0.3 は動画によって調整してください。カットが拾えなければ下げ、似たフレームが大量に出るなら上げます。

音声の取り出しと文字起こし

静止画だけでは、ナレーションや BGM の情報が失われます。音声は別に取り出して文字起こしします。

# モノラル・16kHz の WAV で音声だけを取り出す
ffmpeg -i input.mp4 -vn -ac 1 -ar 16000 -c:a pcm_s16le audio.wav

whisper.cpp 系のツールは、この 16kHz・モノラルの WAV を前提にしています。文字起こしには、次のような方法があります。

方法	例	向いている場面
ローカルの Whisper	whisper.cpp、faster-whisper、Mac なら mlx-whisper	無料・オフラインで処理したい、動画を外部に送りたくない
文字起こし API	OpenAI の Speech to text API	精度と手軽さを優先したい
動画編集ソフトの自動字幕	CapCut、Premiere Pro、DaVinci Resolve（自動文字起こしは Studio 版）	すでに使っている。SRT で書き出せばタイムコード付きで渡せる

OpenAI の API は 1 ファイル 25MB までで、mp4 もそのまま受け付けます。話者を分けたいときは gpt-4o-transcribe-diarize を使います。単語や区間ごとのタイムスタンプは、whisper-1 の timestamp_granularities[] パラメータで取得できます。また FFmpeg 8.0 以降には、whisper.cpp を使って ffmpeg 単体で文字起こしする whisper フィルタがあります。ただしビルド時に有効化が必要で、Homebrew で入れた ffmpeg 9.0.1 には含まれていませんでした（ffmpeg -filters で確認）。

文字起こしを台本に近づけるコツもあります。

BGM が大きい動画: 文字起こしの精度が落ちます。Demucs などの音源分離ツールで声だけを抜き出してから文字起こしすると改善します
音楽と効果音: 文字起こしツールが拾うのは話し言葉だけです。BGM の雰囲気や効果音のタイミングまで欲しいなら、Gemini に音声ごと渡して説明させます
固有名詞: Whisper 系はプロンプトで用語を事前に渡せるので、商品名などの誤変換を減らせます

LLM に渡す

静止画、cuts.txt、文字起こし（SRT などタイムコード付き）をまとめて渡し、次の節のプロンプトを送ります。秒数を突き合わせれば、どのカットで何を話しているかを推測に頼らず対応付けられます。

Claude Code を使う場合は、ここまでを 1 回の指示で済ませられます。シェルで ffmpeg を実行し、書き出した画像とテキストをそのまま読ませて、絵コンテ表まで作らせる流れです。

Gemini は動画をそのまま渡す方が有利なことが多い

前処理はどの LLM でも使えますが、Gemini に限っては動画をそのまま渡す方が有利なことが多くあります。

トークンが少ない: Gemini の動画入力は、標準設定で 1 秒あたり約 100 トークン（音声込み）です。60 秒のショート動画なら約 6,000 トークンで済みます。一方、Claude に 1000×1000 の画像を 15 枚渡すと約 19,000 トークンかかります
音声と動きが残る: ナレーションや BGM に加えて、カメラワークや場面転換のエフェクト、間の取り方も分析の対象になります。どれも静止画からは推測するしかない情報です

ただし、Gemini は標準で動画を 1 秒に 1 フレームの間隔でしか見ません。ショート動画に多い 1 秒未満の速いカットは見落とすことがあります。カットが速い動画では、API の fps 設定でサンプリング間隔を上げるか、ffmpeg で切り出したカットの静止画を併せて渡します。

台本・絵コンテ抽出用プロンプトのテンプレート

アップロードしたら、次のようなプロンプトを送ります。出力フォーマットを明示しておくと、そのまま制作仕様書として使える形で返ってきます。

【指示】
添付したショート動画（または画像群）を分析し、制作仕様書として
「シナリオ（台本）」と「絵コンテ（カット割り構成案）」を
逆引き（リバースエンジニアリング）で抽出してください。
画面内に表示されているテロップ文字もすべて正確に拾って、シナリオに反映してください。

【出力フォーマット】
1. 全体概要
  - ターゲット層
  - 動画のフック（冒頭の惹き込み要素）
  - コールトゥアクション（CTA・着地点）

2. シナリオ（台本）
  - ナレーション / テロップ文字
  - 音声・BGM の雰囲気

3. 絵コンテ表（表形式で出力）
  - カット番号
  - 秒数（タイムコード）
  - 画面構成・被写体の動き（アップ、引きなどの構図やカメラワークを含む）
  - テロップ / セリフ
  - 音響効果（SE・BGM）
  - 演出のポイント（なぜこの見せ方をしているか）

「絵コンテ表」を表形式で指定しておくと、スプレッドシートに貼り付けて自作動画の構成案に流用しやすくなります。

アプローチ 2：専用ツールを使う

より自動化されたフローが欲しい場合や、絵コンテをもとに新しい画像を生成したい場合は、専用ツールが向いています。ただし、動画から逆引きできるものと、台本から絵コンテを起こすものがあり、役割が異なります。

動画から逆引きする：VidSbo

VidSbo は、参考動画をアップロードすると AI がカット割りを読み取るツールです。そこから絵コンテやショットリストを自動生成できるため、プロンプトを自分で組み立てずに済みます。

台本から絵コンテを起こす：Morphic / LTX Studio / insMind

Morphic、LTX Studio、insMind は、台本やテキストからシーン構成を起こし、絵コンテ用の静止画を一括生成・再編集できるワークスペース型のツールです。動画そのものを読み込むのではなく、テキストが起点になります。

そのため、汎用 LLM や VidSbo でリバース生成した台本を入力にすると相性がよい組み合わせになります。キャラクターや商品だけを差し替えて、同じ構成の絵コンテを作り直せます。オマージュ動画や、構成はそのままに商品だけ変えた広告の企画に向いています。

専用ツールの料金と始め方

4 つとも、Web ブラウザで使う SaaS です。インストールは不要で、アカウントを作ってクレジット（利用ポイント）を消費する形で使います。料金は 2026 年 10 月時点で各社の料金ページに表示されていた月額（USD）です。キャンペーンや改定で変わりやすいので、契約前に必ず公式ページを確認してください。

ツール	無料で試せる範囲	有料プラン（月額の表示価格）	絵コンテ機能の入力
VidSbo	料金ページに明記なし	Starter $12.9（30 クレジット）／ Pro $29.9（100 クレジット）	動画 or テキスト
Morphic	Free：最大 20 クレジット	Basic $19 ／ Standard $24 ／ Pro $45 ／ Max $170	テキスト（台本・ショットリスト）
LTX Studio	Free：800 クレジット（初回のみ）、個人利用に限る	Lite $15 ／ Standard $35 ／ Pro $125（年払いは約 20% 引き）	テキスト（台本）
insMind	公式で確認	公式で確認	テキスト（台本・シーン一覧）

VidSbo：動画をアップロードして絵コンテ化する

公式サイトの「Start Creating」からスタジオに入り、アカウントを作る
参考動画をアップロードする（動画ではなく、企画をテキストで説明することもできる）
絵コンテのテンプレートを選ぶか、出力したい項目を自分で決める
生成された絵コンテを確認・編集し、書き出す

料金は動画解析 1 秒あたり 0.01 クレジットです。60 秒のショート動画なら 0.6 クレジットなので、Starter の 30 クレジットでも 1 分程度の動画を 50 本ほど分析できる計算です。ただし、絵コンテから画像や動画を生成する機能は別途クレジットを消費します（消費量は生成ボタンの横に表示されます）。Starter では、1 本あたり 5 分までの動画を解析できます。サイトは日本語表示にも対応しています。

Morphic：無料枠で台本からの絵コンテ化を試す

Morphic は、無料プランで最大 20 クレジットまで試せます。公式の説明では、ショットごとに構図・動き・場面を書き出すと、1 ショット 1 フレームの絵コンテがキャンバス上に並びます。本格的に使うなら Basic（表示価格 $19、月 2,400 クレジット）からです。月払いと年払いで金額が変わる可能性があるので、料金ページで切り替えて確認してください。

LTX Studio：商用利用なら Standard 以上

LTX Studio の無料プランは、初回だけ 800 クレジットが付きます。ただし個人利用限定のライセンスで、仕事や広告には使えません。また、無料プランで使えるのは空の絵コンテ（Blank Storyboards）だけで、台本から絵コンテを自動生成する AI Storyboards は Standard（月 $35）以上の機能です。商用利用ライセンスも Standard 以上に付きます。

insMind：台本を貼り付けて絵コンテを作る

台本、シーン一覧、詳しいプロンプトのいずれかを貼り付けると、絵コンテのパネルを生成します。参照画像をアップロードしておくと、キャラクターや商品の見た目をパネル間で揃えやすくなります。絵コンテを確認したあと、そのまま AI に動画の下書きを作らせることもできます。

無料で使える範囲や有料プランの金額は、執筆時点で公式の料金ページから確認できませんでした。第三者のレビューサイトでも金額やクレジット数が食い違っているので、利用前に公式の料金ページで確認してください。

汎用 LLM と専用ツールの使い分け

観点	汎用 LLM	専用ツール
手軽さ	アカウントがあればすぐ使える	ツールごとに登録・学習が必要
出力形式の自由度	プロンプト次第で自在	ツールの出力形式に従う
分析の深さ	演出意図まで言語化させやすい	カット分割・一覧化が中心
絵コンテ画像の生成	別途画像生成が必要	構成から一括生成できる

「構成を学びたい・企画書に落としたい」なら汎用 LLM、「同じ構成で新しい素材を作りたい」なら専用ツール、という使い分けが目安です。

精度を上げるためのコツ

ここからは、主に汎用 LLM で分析する場合のコツです。

「なぜそのカット構成なのか」まで分析させる

単なる文字起こしで終わらせず、次のような演出意図まで言語化させるのがポイントです。

「このカットで視聴者の離脱を防ぐフックを設置している」
「3 秒目でテンポを上げるためにジャンプカットを入れている」

意図まで書き出された抽出結果は、自作動画の企画にそのまま転用できます。テンプレートの「演出のポイント」欄はこのために入れています。

画面上のテロップ認識を明示的に指示する

テンプレートの【指示】には「テロップ文字もすべて正確に拾って」という一文を入れています。これを外すと、テロップの取りこぼしが増えます。

ショート動画では、テロップ自体が台本の役割を担っていることがよくあります。音声が聞き取りにくい動画でも、スクリーンショットだけを渡す場合でも、テロップさえ拾えれば構成の骨格はかなり正確に復元できます。

注意点

リバース生成は「構成や演出の型を学ぶ」ための手法です。抽出したシナリオや絵コンテをそのまま使い、元動画とほぼ同じ作品を作るのは避けましょう。著作権や各プラットフォームの規約に抵触するおそれがあります。参考にするのは構造と演出意図にとどめ、映像・台詞・音源などの表現そのものは自分で作り直してください。

まとめ

ショート動画のシナリオ・絵コンテは、汎用 LLM か専用ツールで逆引き抽出できる
Gemini は動画をそのまま渡すのが安くて情報も多い。ChatGPT と Claude には、ffmpeg で「カットの静止画・カットの秒数・音声（またはその文字起こし）」に分解してから渡す
動画から逆引きするなら VidSbo、抽出した台本から別キャラクター・別商品の絵コンテを起こすなら Morphic / LTX Studio / insMind
専用ツールはどれもブラウザで使うクレジット制。Morphic と LTX Studio は無料枠で試せる（LTX Studio の無料枠は個人利用限定）
演出意図とテロップまで拾わせると、自作動画の企画にそのまま使える抽出結果になる
参考にするのは構成と演出意図まで。表現そのものは自分で作る