本文へスキップ
hdknr blog
戻る

仕様駆動開発(SDD)は自然言語駆動開発ではない — Lean の形式仕様を正本にしてテストを生成する

はじめに

仕様駆動開発(SDD)というと、Markdown で要求や設計を書き、それを AI エージェントに渡して実装させる流れを思い浮かべる人が多いと思います。これに対して、仕様の正本は自然言語ではなく Lean などの形式仕様にし、ドキュメントとテストはそこから生成すべきだという主張があります。mizchi さん(@mizchi)の投稿の要点は次のとおりです。

この投稿を t_wada さん(@t_wada)が引用し、「仕様駆動開発は自然言語駆動開発ではないという話、わかる」とコメントしています。

本記事では、この考え方を「何を正本にするか」という観点で整理し、Lean で書いた小さな仕様からテストを起こす例と、導入するときの注意点をまとめます。

用語

用語意味
仕様駆動開発(SDD)仕様を先に書き、それを基準に実装・検証を進める開発の進め方
正本食い違いが起きたときに「こちらが正しい」とする唯一の情報源(Single Source of Truth)
形式仕様数学的に意味が一意に決まる言語で書いた仕様。機械で検査できる
Lean定理証明支援系であり、関数型プログラミング言語でもある。定義を書いて実行でき、その定義についての性質を証明できる
テストオラクルテストで「期待される正しい結果」を判定する仕組み。期待値の表や、結果が満たすべき性質など

自然言語を正本にすると何が困るのか

Markdown の仕様書を正本にした SDD は、手軽に始められる反面、次の弱点を抱えます。

つまり自然言語の仕様は、「仕様駆動」と言いながら、実態としては「LLM がその文章をどう読んだか」で駆動されています。t_wada さんの言う「自然言語駆動開発」とは、この状態を指していると読めます。

形式仕様を正本にした流れ

mizchi さんの提案を図にすると次のようになります。

利用者や開発者が自然言語で仕様の追加や照会を LLM に頼み、LLM は Lean で書かれた形式仕様(正本)を読み書きする。形式仕様は Lean の検査器で型検査と証明の確認を受け、そこから可読ドキュメントとテストオラクルが生成される。実装はテストオラクルで合否を判定され、生成されたテストを通るように書かれる

ポイントは、自然言語の位置づけが逆転していることです。

自然言語が正本の SDD形式仕様が正本の SDD
正本Markdown の仕様書Lean などの形式仕様
人が読む文書正本そのもの正本から生成した出力
テスト仕様書を読んで人や LLM が書く正本から生成する
LLM の役割仕様書を解釈して実装する自然言語と形式モデルの翻訳役
食い違ったときどちらが正しいか決まらない形式仕様が勝つ

LLM は自然言語を扱うのが得意なので、人とのやり取りの窓口には向いています。しかし、LLM が書いたもの・読んだものが正しいかを LLM 自身に判定させると、同じ思い込みで誤りを見逃します。形式仕様を間に挟めば、Lean の検査器という決定的な道具が使えます。LLM が書いた仕様が少なくとも内部で矛盾していないこと、宣言した性質を満たすことは、これで確かめられます。

書くのは LLM、確かめるのは検査器

Lean を人間が一から書くのは大変ですが、この方式では形式仕様を書くのも主に LLM です。人間は自然言語で要求を伝え、LLM が Lean に落とし、Lean の検査器が通るまで LLM が直します。人間が見るのは、検査を通った仕様から生成された可読ドキュメントと具体例です。LLM の得意なこと(翻訳)と、検査器の得意なこと(決定的な判定)を分けて担わせている、と捉えると全体像がつかみやすくなります。

Lean で小さな仕様を書いてみる

先ほどの割引の例を Lean 4 で書くと、次のようになります。

/-- 会員かつ合計 10000 円以上なら 10% を割り引く(端数は切り捨て) -/
def discount (total : Nat) (isMember : Bool) : Nat :=
  if isMember && total ≥ 10000 then total / 10 else 0

/-- 性質: 割引額は合計金額を超えない -/
theorem discount_le_total (t : Nat) (m : Bool) : discount t m ≤ t := by
  unfold discount
  split <;> omega

自然言語では曖昧だった点が、コードとして一意に決まっています。

あとから「割引は最大 500 円」という要求が加わったとき、LLM はこの定義を書き換え、既存の定理が引き続き証明できるかを Lean が確かめます。新しい要求が既存の性質と衝突すれば、証明が通らないという形で表に出ます。

形式仕様からテストオラクルを起こす

形式仕様が実行できることは、テストオラクルを作るうえで大きな利点です。Lean では #eval で定義をそのまま評価できます。

#eval discount 9999 true    -- 0
#eval discount 10000 true   -- 1000
#eval discount 12345 true   -- 1234
#eval discount 50000 false  -- 0

これらの値を期待値として、実装側のテストを生成します。実際には #eval の結果を JSON などに書き出し、それを読み込んでテストを組み立てるスクリプトを用意します。ここでは生成後の姿だけを示します。実装が Python なら、次のようなテストになります。

import pytest
from shop.pricing import discount

# 期待値は Lean の形式仕様(discount)を評価して得たもの。手で編集しない
@pytest.mark.parametrize(
    ("total", "is_member", "expected"),
    [
        (9999, True, 0),
        (10000, True, 1000),
        (12345, True, 1234),
        (50000, False, 0),
    ],
)
def test_discount_matches_spec(total, is_member, expected):
    assert discount(total, is_member) == expected


def test_discount_never_exceeds_total():
    # Lean で証明した性質 discount_le_total を、実装側では性質テストとして確かめる
    # (簡単のため固定の範囲で確かめている)
    for total in range(0, 30001, 7):
        for is_member in (True, False):
            assert discount(total, is_member) <= total

テストは 2 種類あります。

実装は「このテストが通るように書く」だけです。仕様が変われば Lean 側を直し、テストを再生成し、落ちたテストを実装で直す、という一方向の流れになります。

導入するときの注意点

この方式は強力ですが、そのまま全部に当てはまるわけではありません。

形式仕様が「意図」と合っているかは別問題

Lean の検査器が保証するのは、書かれた仕様が内部で整合しており、宣言した性質を満たすことです。「本当に欲しかったのは税込で 1 万円以上だった」のように、仕様そのものが利用者の意図からずれている場合は、検査を通っても誤りです。これは検証(verification)と妥当性確認(validation)の違いです。

ここで効くのが、正本から生成した可読ドキュメントです。利用者や業務担当者は Lean を読めなくても、生成された説明と具体例(9999 円なら割引なし、10000 円なら 1000 円引き)は確認できます。生成物を人が読んで「意図と違う」と言えることが、この方式の安全弁になります。

何でも形式化できるわけではない

形式仕様に向いているのは、料金計算・権限判定・状態遷移など、入力と出力の関係や守るべき性質がはっきりしている部分です。画面の見た目や操作感、文言のトーンのようなものは形式化しにくく、無理に書いても得るものが少ないでしょう。まずは間違えると損害が大きいドメインの中核から始めるのが現実的です。

Lean と TLA+・Quint の使い分け

mizchi さんは以前の記事で、対象に応じて道具を使い分けることを勧めています(mizchi さんの「俺のAIプログラミング手法」を読む)。Lean はアルゴリズムや計算ルールの正しさを示すのに向いています。一方、並行処理や分散システムの状態の組み合わせを網羅的に調べるなら、TLA+ や Quint のようなモデル検査(取りうる状態をすべて機械的に調べる手法)のほうが手軽です。「正本を形式的に書く」という方針は共通でも、書く言語は対象によって選びます。

Planモードとの関係

先日の記事「SDD は Planモードと何が違うのか」では、SDD の価値は仕様を実装後も保守し続けるかで決まると整理しました。形式仕様を正本にする方式は、その延長線上にあります。

自然言語の仕様書を保守し続けても、実装とのずれは人や LLM の読みでしか見つけられません。正本が形式仕様であれば、仕様の変更はテストの再生成を通じて実装に必ず伝わり、ずれはテストの失敗として機械的に現れます。「仕様を保守する」ことを、人の注意力ではなく仕組みで担保できるわけです。

spec-loop が Lean を使わない理由

筆者が作っている要求確定・仕様レビューのプラグイン spec-loop(紹介記事)も形式手法を使いますが、Lean は使っていません。使う検査器は、決定表・計算ルールには Z3(無ければ総当たり)、並行・リトライ・取り消しを含む業務フローには TLA+ の TLC、権限・ロールには Alloy です(TLC の使い方の記事)。Lean を外すと決めた記録は見つからなかったので、以下は設計から読み取った理由です。

正本を持つのが利用者だから

spec-loop の正本は、Q&A 表(CSV)・決定表・業務ルールです。利用者がレビュー会で回答し、要求の確定を git のタグで記録します。Lean を正本にすると、合意する本人がその正本を読めません。本記事の方式は「生成した可読ドキュメントを人が確認する」ことで補いますが、spec-loop は合意した中身そのものを照合する作りです。

形式モデルは正本ではなく、レビューの証拠だから

形式検査を担う判定役(Formal Checker)は、ファイルを書くツールを持ちません。モデルはリポジトリの外で組み、正本には「検査器が走らせたもの」の記録として写すだけです。形式仕様は正本から作る検査用の物で、本記事の方式とは向きが逆です。

判定を検査器の出力で決めたいから

Z3・TLC・Alloy は、有限の範囲で反例を自動で探します。反例のうち利用者に見える結果が変わるものは、たとえば「この入力の組み合わせのときはどう扱いますか」といった質問にして共有の Q&A 表に起票し、利用者に具体例で尋ねられます。Lean では証明を書く必要があり、証明が通らないとき、仕様が誤っているのか証明が書けないだけなのかを区別しにくくなります。

spec-loop は、ルールを 1 つわざと壊したモデルで反例が出ることを確かめてから「反例なし」と書きます(陽性対照)。モデル検査ならそのまま反例が出ます。Lean の証明は、壊した版では「通らない」ことしか示しません。反例を探すには Plausible のような別の道具が要り、それもモデル検査のように有限の範囲を網羅して「反例なし」を示すものではありません。

対象が業務の組み合わせだから

spec-loop が扱うのは、決定表・状態遷移・権限といった有限の組み合わせです。無限の範囲で成り立つ定理が要る場面は少なく、mizchi さんの使い分けでも Lean は「アルゴリズム自体の開発」向けです。また、構造化した仕様からテストを生成する部分は、仕様の中間表現(spec_ir.json)から OpenAPI・型・Red テストを生成する仕組みがすでに担っています。

同じ「形式仕様を使う SDD」でも、開発者が仕様を持ち、計算やアルゴリズムの正しさを示したいなら Lean を正本にする方式が合います。利用者が仕様を持ち、業務の組み合わせの抜けや矛盾を反例で見つけたいなら、spec-loop のようにモデル検査を「レビューの道具」として使う方式が合います。

まとめ

参考リンク



前の記事
『図と事例でやさしく学べる 要件定義 基本からAI対応まで』を目次から読む — 5 領域モデルと生成 AI の使いどころ
次の記事
コーネル式ノートの書き方と使い方 — 3 分割ページと 5R サイクルで「書いて終わり」をなくす