はじめに
仕様駆動開発(SDD)というと、Markdown で要求や設計を書き、それを AI エージェントに渡して実装させる流れを思い浮かべる人が多いと思います。これに対して、仕様の正本は自然言語ではなく Lean などの形式仕様にし、ドキュメントとテストはそこから生成すべきだという主張があります。mizchi さん(@mizchi)の投稿の要点は次のとおりです。
- 仕様の正本を自然言語で書くべきではない。Lean などで形式的に書き、それを常に真として扱う
- 人が読むドキュメントとテストオラクルは、その形式仕様から生成する
- 実装は、生成されたテストを通るように書く
- 仕様の追加や問い合わせは LLM に頼むが、LLM は形式モデルを経由して読み書きする
この投稿を t_wada さん(@t_wada)が引用し、「仕様駆動開発は自然言語駆動開発ではないという話、わかる」とコメントしています。
本記事では、この考え方を「何を正本にするか」という観点で整理し、Lean で書いた小さな仕様からテストを起こす例と、導入するときの注意点をまとめます。
用語
| 用語 | 意味 |
|---|---|
| 仕様駆動開発(SDD) | 仕様を先に書き、それを基準に実装・検証を進める開発の進め方 |
| 正本 | 食い違いが起きたときに「こちらが正しい」とする唯一の情報源(Single Source of Truth) |
| 形式仕様 | 数学的に意味が一意に決まる言語で書いた仕様。機械で検査できる |
| Lean | 定理証明支援系であり、関数型プログラミング言語でもある。定義を書いて実行でき、その定義についての性質を証明できる |
| テストオラクル | テストで「期待される正しい結果」を判定する仕組み。期待値の表や、結果が満たすべき性質など |
自然言語を正本にすると何が困るのか
Markdown の仕様書を正本にした SDD は、手軽に始められる反面、次の弱点を抱えます。
- 意味が一意に決まらない。 「1 万円以上の会員は 10% 割引」と書いても、1 万円ちょうどを含むのか、税込か税抜か、端数をどう丸めるかは文章からは決まりません。読み手(人間でも LLM でも)が補って解釈します
- 矛盾を機械で見つけられない。 別の章に「割引は最大 500 円」と書かれていても、両者が衝突するかどうかを確かめる手段がありません
- LLM の解釈が揺れる。 同じ文書を渡しても、セッションやモデルが変わると補い方が変わり、実装も変わります
- 実装と仕様のずれを判定できない。 仕様書から機械的にテストを導けないので、「仕様どおりか」は結局レビューする人の読みに頼ります
つまり自然言語の仕様は、「仕様駆動」と言いながら、実態としては「LLM がその文章をどう読んだか」で駆動されています。t_wada さんの言う「自然言語駆動開発」とは、この状態を指していると読めます。
形式仕様を正本にした流れ
mizchi さんの提案を図にすると次のようになります。
ポイントは、自然言語の位置づけが逆転していることです。
| 自然言語が正本の SDD | 形式仕様が正本の SDD | |
|---|---|---|
| 正本 | Markdown の仕様書 | Lean などの形式仕様 |
| 人が読む文書 | 正本そのもの | 正本から生成した出力 |
| テスト | 仕様書を読んで人や LLM が書く | 正本から生成する |
| LLM の役割 | 仕様書を解釈して実装する | 自然言語と形式モデルの翻訳役 |
| 食い違ったとき | どちらが正しいか決まらない | 形式仕様が勝つ |
LLM は自然言語を扱うのが得意なので、人とのやり取りの窓口には向いています。しかし、LLM が書いたもの・読んだものが正しいかを LLM 自身に判定させると、同じ思い込みで誤りを見逃します。形式仕様を間に挟めば、Lean の検査器という決定的な道具が使えます。LLM が書いた仕様が少なくとも内部で矛盾していないこと、宣言した性質を満たすことは、これで確かめられます。
書くのは LLM、確かめるのは検査器
Lean を人間が一から書くのは大変ですが、この方式では形式仕様を書くのも主に LLM です。人間は自然言語で要求を伝え、LLM が Lean に落とし、Lean の検査器が通るまで LLM が直します。人間が見るのは、検査を通った仕様から生成された可読ドキュメントと具体例です。LLM の得意なこと(翻訳)と、検査器の得意なこと(決定的な判定)を分けて担わせている、と捉えると全体像がつかみやすくなります。
Lean で小さな仕様を書いてみる
先ほどの割引の例を Lean 4 で書くと、次のようになります。
/-- 会員かつ合計 10000 円以上なら 10% を割り引く(端数は切り捨て) -/
def discount (total : Nat) (isMember : Bool) : Nat :=
if isMember && total ≥ 10000 then total / 10 else 0
/-- 性質: 割引額は合計金額を超えない -/
theorem discount_le_total (t : Nat) (m : Bool) : discount t m ≤ t := by
unfold discount
split <;> omega
自然言語では曖昧だった点が、コードとして一意に決まっています。
- 「1 万円以上」は
total ≥ 10000なので、10000 円ちょうどを含む - 金額は自然数(
Nat)で、割り算は切り捨て - 「割引額が合計を超えない」という性質は、すべての入力について証明されている(テストのように有限個の例で確かめたのではない)
あとから「割引は最大 500 円」という要求が加わったとき、LLM はこの定義を書き換え、既存の定理が引き続き証明できるかを Lean が確かめます。新しい要求が既存の性質と衝突すれば、証明が通らないという形で表に出ます。
形式仕様からテストオラクルを起こす
形式仕様が実行できることは、テストオラクルを作るうえで大きな利点です。Lean では #eval で定義をそのまま評価できます。
#eval discount 9999 true -- 0
#eval discount 10000 true -- 1000
#eval discount 12345 true -- 1234
#eval discount 50000 false -- 0
これらの値を期待値として、実装側のテストを生成します。実際には #eval の結果を JSON などに書き出し、それを読み込んでテストを組み立てるスクリプトを用意します。ここでは生成後の姿だけを示します。実装が Python なら、次のようなテストになります。
import pytest
from shop.pricing import discount
# 期待値は Lean の形式仕様(discount)を評価して得たもの。手で編集しない
@pytest.mark.parametrize(
("total", "is_member", "expected"),
[
(9999, True, 0),
(10000, True, 1000),
(12345, True, 1234),
(50000, False, 0),
],
)
def test_discount_matches_spec(total, is_member, expected):
assert discount(total, is_member) == expected
def test_discount_never_exceeds_total():
# Lean で証明した性質 discount_le_total を、実装側では性質テストとして確かめる
# (簡単のため固定の範囲で確かめている)
for total in range(0, 30001, 7):
for is_member in (True, False):
assert discount(total, is_member) <= total
テストは 2 種類あります。
- 例ベースのテスト。 形式仕様を評価した値をそのまま期待値にします。境界値(9999 と 10000)を含めるのがコツです
- 性質テスト(プロパティベーステスト)。 Lean で証明した定理を、実装に対しては入力をたくさん与えて確かめます。Hypothesis などのライブラリを使うと、入力の生成を任せられます
実装は「このテストが通るように書く」だけです。仕様が変われば Lean 側を直し、テストを再生成し、落ちたテストを実装で直す、という一方向の流れになります。
導入するときの注意点
この方式は強力ですが、そのまま全部に当てはまるわけではありません。
形式仕様が「意図」と合っているかは別問題
Lean の検査器が保証するのは、書かれた仕様が内部で整合しており、宣言した性質を満たすことです。「本当に欲しかったのは税込で 1 万円以上だった」のように、仕様そのものが利用者の意図からずれている場合は、検査を通っても誤りです。これは検証(verification)と妥当性確認(validation)の違いです。
ここで効くのが、正本から生成した可読ドキュメントです。利用者や業務担当者は Lean を読めなくても、生成された説明と具体例(9999 円なら割引なし、10000 円なら 1000 円引き)は確認できます。生成物を人が読んで「意図と違う」と言えることが、この方式の安全弁になります。
何でも形式化できるわけではない
形式仕様に向いているのは、料金計算・権限判定・状態遷移など、入力と出力の関係や守るべき性質がはっきりしている部分です。画面の見た目や操作感、文言のトーンのようなものは形式化しにくく、無理に書いても得るものが少ないでしょう。まずは間違えると損害が大きいドメインの中核から始めるのが現実的です。
Lean と TLA+・Quint の使い分け
mizchi さんは以前の記事で、対象に応じて道具を使い分けることを勧めています(mizchi さんの「俺のAIプログラミング手法」を読む)。Lean はアルゴリズムや計算ルールの正しさを示すのに向いています。一方、並行処理や分散システムの状態の組み合わせを網羅的に調べるなら、TLA+ や Quint のようなモデル検査(取りうる状態をすべて機械的に調べる手法)のほうが手軽です。「正本を形式的に書く」という方針は共通でも、書く言語は対象によって選びます。
Planモードとの関係
先日の記事「SDD は Planモードと何が違うのか」では、SDD の価値は仕様を実装後も保守し続けるかで決まると整理しました。形式仕様を正本にする方式は、その延長線上にあります。
自然言語の仕様書を保守し続けても、実装とのずれは人や LLM の読みでしか見つけられません。正本が形式仕様であれば、仕様の変更はテストの再生成を通じて実装に必ず伝わり、ずれはテストの失敗として機械的に現れます。「仕様を保守する」ことを、人の注意力ではなく仕組みで担保できるわけです。
spec-loop が Lean を使わない理由
筆者が作っている要求確定・仕様レビューのプラグイン spec-loop(紹介記事)も形式手法を使いますが、Lean は使っていません。使う検査器は、決定表・計算ルールには Z3(無ければ総当たり)、並行・リトライ・取り消しを含む業務フローには TLA+ の TLC、権限・ロールには Alloy です(TLC の使い方の記事)。Lean を外すと決めた記録は見つからなかったので、以下は設計から読み取った理由です。
正本を持つのが利用者だから
spec-loop の正本は、Q&A 表(CSV)・決定表・業務ルールです。利用者がレビュー会で回答し、要求の確定を git のタグで記録します。Lean を正本にすると、合意する本人がその正本を読めません。本記事の方式は「生成した可読ドキュメントを人が確認する」ことで補いますが、spec-loop は合意した中身そのものを照合する作りです。
形式モデルは正本ではなく、レビューの証拠だから
形式検査を担う判定役(Formal Checker)は、ファイルを書くツールを持ちません。モデルはリポジトリの外で組み、正本には「検査器が走らせたもの」の記録として写すだけです。形式仕様は正本から作る検査用の物で、本記事の方式とは向きが逆です。
判定を検査器の出力で決めたいから
Z3・TLC・Alloy は、有限の範囲で反例を自動で探します。反例のうち利用者に見える結果が変わるものは、たとえば「この入力の組み合わせのときはどう扱いますか」といった質問にして共有の Q&A 表に起票し、利用者に具体例で尋ねられます。Lean では証明を書く必要があり、証明が通らないとき、仕様が誤っているのか証明が書けないだけなのかを区別しにくくなります。
spec-loop は、ルールを 1 つわざと壊したモデルで反例が出ることを確かめてから「反例なし」と書きます(陽性対照)。モデル検査ならそのまま反例が出ます。Lean の証明は、壊した版では「通らない」ことしか示しません。反例を探すには Plausible のような別の道具が要り、それもモデル検査のように有限の範囲を網羅して「反例なし」を示すものではありません。
対象が業務の組み合わせだから
spec-loop が扱うのは、決定表・状態遷移・権限といった有限の組み合わせです。無限の範囲で成り立つ定理が要る場面は少なく、mizchi さんの使い分けでも Lean は「アルゴリズム自体の開発」向けです。また、構造化した仕様からテストを生成する部分は、仕様の中間表現(spec_ir.json)から OpenAPI・型・Red テストを生成する仕組みがすでに担っています。
同じ「形式仕様を使う SDD」でも、開発者が仕様を持ち、計算やアルゴリズムの正しさを示したいなら Lean を正本にする方式が合います。利用者が仕様を持ち、業務の組み合わせの抜けや矛盾を反例で見つけたいなら、spec-loop のようにモデル検査を「レビューの道具」として使う方式が合います。
まとめ
- 自然言語の仕様書を正本にした SDD は、実態としては LLM の解釈で駆動される「自然言語駆動開発」になりやすい
- mizchi さんの提案は、正本を Lean などの形式仕様にし、可読ドキュメントとテストオラクルをそこから生成するというもの
- LLM は自然言語と形式モデルの翻訳役に回り、正しさの判定は Lean の検査器が受け持つ
- 形式仕様が意図と合っているかは、生成した可読ドキュメントと具体例を人が確認して担保する
- 仕様の保守を、人の注意力ではなくテストの再生成という仕組みで担保できる
- まずは料金計算や権限判定など、間違えると損害の大きいドメインの中核から形式化するのが現実的
- 利用者が仕様を持つ業務システムでは、spec-loop のように正本は利用者が読める形に置き、モデル検査を反例を探すレビューの道具として使う選択肢もある
