概要
ショート動画制作の上流は「構成を学ぶ」と「構成を量産する」の 2 方向に分けられる。前者は伸びている動画からシナリオ(台本)と絵コンテ(カット割り)を逆引きするリバース生成、後者はテーマからカット割りと生成用プロンプトを書き出すシナリオ量産である。
どちらも成果物を決まった形式のファイルに落とすのが要点。リバース生成の結果は量産の入力になり、量産したシナリオは CSV を経て Higgsfield の生成にそのまま渡せる。
詳細
1. リバース生成: 入力の作り方
| LLM | 動画の直接入力 | 音声 | 静止画 |
|---|---|---|---|
| Gemini | ○ | ○ | ○ |
| ChatGPT | ×(公式記載なし) | ○(有料プラン、音声ファイル) | ○ |
| Claude | × | × | ○(claude.ai は 1 メッセージ 20 枚まで) |
Gemini は動画をそのまま渡すのが有利なことが多い。標準で 1 秒約 100 トークン(音声込み)なので 60 秒で約 6,000 トークン、Claude に 1000×1000 の画像 15 枚を渡すと約 19,000 トークンかかる。音声・カメラワーク・間の取り方も残る。ただし標準のサンプリングは 1 秒 1 フレームなので、1 秒未満の速いカットは API の fps を上げるか、切り出した静止画を併せて渡す。
ChatGPT / Claude には ffmpeg で「カットの静止画・カットの秒数・音声の文字起こし」に分解して渡す。3 つそろえばどの LLM にも同じ入力を渡せ、結果の比較や乗り換えも楽になる。
# 先頭フレームとシーン変化 0.3 超のフレームを書き出し、時刻を cuts.txt に記録
ffmpeg -i input.mp4 \
-vf "select='eq(n,0)+gt(scene,0.3)',metadata=print:file=cuts.txt" \
-fps_mode vfr frames/cut_%03d.png
# 16kHz モノラル WAV(whisper.cpp 系の前提)で音声を取り出す
ffmpeg -i input.mp4 -vn -ac 1 -ar 16000 -c:a pcm_s16le audio.wav
- 先頭カットは「切り替わり」として検出されないので
eq(n,0)+が要る。しきい値は拾えなければ下げ、似たフレームが多ければ上げる cuts.txtのpts_timeで絵コンテのタイムコードを推測ではなく実測で埋められる- 文字起こしはローカル Whisper(whisper.cpp、faster-whisper、mlx-whisper)、OpenAI の Speech to text API(1 ファイル 25MB、話者分離は
gpt-4o-transcribe-diarize)、動画編集ソフトの自動字幕(SRT 書き出し)から選ぶ - BGM が大きければ Demucs などで声を分離してから。固有名詞は Whisper のプロンプトで事前に渡す。BGM の雰囲気や効果音まで欲しいなら Gemini に音声ごと渡す
- Claude Code なら ffmpeg の実行から画像の読み込み、絵コンテ表の作成までを 1 回の指示で済ませられる
2. リバース生成: プロンプトの要点
出力フォーマットを明示して「制作仕様書」として返させる。全体概要(ターゲット、冒頭のフック、CTA)、シナリオ(ナレーション / テロップ、音声・BGM の雰囲気)、絵コンテ表(カット番号、タイムコード、画面構成とカメラワーク、テロップ / セリフ、SE・BGM、演出のポイント)。
- 演出意図まで言語化させる(「このカットで離脱を防ぐフックを置いている」「3 秒目でテンポを上げるためにジャンプカット」)。意図まで書かれた結果は自作の企画に転用できる
- テロップを全部拾えと明示する。ショート動画ではテロップが台本の役割を担うことが多く、外すと取りこぼしが増える
- 表形式で出させるとスプレッドシートに貼って構成案に流用しやすい
3. 専用ツールを使う場合
| ツール | 起点 | 用途 |
|---|---|---|
| VidSbo | 動画(またはテキスト) | 参考動画からカット割りを読み取り絵コンテ・ショットリスト化。解析は 1 秒 0.01 クレジット |
| Morphic | テキスト | ショットごとの構図・動きから 1 ショット 1 フレームの絵コンテ。無料で最大 20 クレジット |
| LTX Studio | テキスト | 台本から絵コンテ。無料枠は個人利用限定で、AI Storyboards と商用ライセンスは Standard 以上 |
| insMind | テキスト | 台本・シーン一覧から絵コンテ。参照画像でキャラクターや商品の見た目をそろえる |
いずれもブラウザで使うクレジット制で、料金は変わりやすいので契約前に公式で確認する。使い分けの目安は「構成を学びたい・企画書に落としたい」なら汎用 LLM、「同じ構成で新しい素材を作りたい」なら専用ツール。リバース生成した台本をテキスト起点のツールに入れれば、キャラクターや商品だけ差し替えた絵コンテを作り直せる。
4. シナリオ量産: Claude Code でファイルとして管理する
CLAUDE.mdでルールを固定する — 役割、保存先(scenarios/<slug>.md)、カットの見出し形式(## Cut <番号> [<開始>-<終了>s] <役割>)、英文プロンプトの語順(Subject, Action, Background, Camera work, Lighting)を書く。毎回の指示はテーマと保存先だけで済む- 日本語の「シーン」と英文の「Prompt」を並べて書かせる — 人は日本語で流れを確認し、生成には英文だけを使う
- スクリプトで CSV に変換・検証する — 見出し形式を固定しておけば正規表現で機械的に読める。
Prompt行が抜けたカットがあれば CSV を書かずにエラーで止め、LLM がフォーマットを崩した出力を後工程に流さない - Git で差分を追う — どの言い回しに変えたら絵が良くなったかを後から比べられる
- Higgsfield MCP で生成する — 「
prompts.csvの Cut 1 のプロンプトで縦長の動画を生成して」と頼む。設計段階のファイルがそのまま生成の入力になる。MCP 経由は必ずクレジットを消費するので 1 カットで品質を確かめてから広げる
注意点
リバース生成は構成と演出の型を学ぶための手法。抽出結果をそのまま使って元動画とほぼ同じ作品を作ると、著作権や各プラットフォームの規約に抵触するおそれがある。映像・台詞・音源などの表現そのものは自分で作り直す。
関連ページ
- Higgsfield — MCP 経由で生成を実行するプラットフォーム
- Claude Code — CLAUDE.md でのルール固定とファイル生成
- AI動画広告生成ツール — 構成を流用した広告企画の周辺ツール
- DaVinci Resolve — 自動文字起こし(Studio 版)と編集
- Video Use — エージェントによる動画編集