タグ: ミューテーションテスト

"ミューテーションテスト" が付いた記事と Wiki ページ

• mizchi さんの「俺のAIプログラミング手法」を読む — ループ・評価指標・形式手法で AI に任せる範囲を広げる

  2026年10月9日

  mizchi さんが 2026/10/05 に Zenn で公開した「俺のAIプログラミング手法」の要点を整理する。人間の役割の再定義、仕事を AI に渡すときの考える順番、Ralph Loop と /goal によるループ、数値化できる評価指標、そして TLA+・Z3・Alloy などの形式手法で仕様そのものを検査する発想まで。

• ミューテーションテスト（mutation harness）

  コードをわざと 1 箇所壊してテストが落ちるかを確かめ、テストの検出力を測る技法。専用ツールなしの 30 行のスクリプトでも価値が出る

• テストの導出元（ホワイトボックスとブラックボックス）

  ホワイトボックス／ブラックボックスの違いを「内部を見るか」ではなく「テストケースと期待値をどこから導くか」で捉える。期待値を実装から取ったテストは、カバレッジ 100% のままバグを守る

• ホワイトボックスとブラックボックスの違いを実測した — 分岐カバレッジ 100% でミューテーションスコアは 0% と 100%

  2026年9月17日

  ホワイトボックステストとブラックボックステストの違いを実測した。同じ関数・同じ分岐カバレッジ 100% の 4 スイートのうち、境界値分析を仕様から導出した側だけが off-by-one を検出。ミューテーションスコアは 0% と 100% に割れた。AI エージェントに実装を見せてテストを書かせると何が起きるかも測った。

• テストを信じる前に、テストを壊す — mutation harness で「緑」に意味を持たせる

  2026年9月16日

  テストが全部緑でも、コードについて何も分かっていない。わざとコードを壊してテストが落ちるかを見るミューテーション（mutation）テストを、専用ツールなしの 30 行の Python スクリプトで回した実例。到達不能な死んだガードの見つけ方、GREEN の 3 分類、踏んだ 6 つの罠、そして AI コーディングエージェントに検査を任せるときの指示の書き方までをまとめる。

• LLMLOOP を読む: LLM生成コードを5つのフィードバックループで磨き上げる仕組み

  2026年6月26日

  LLMが生成したコードにありがちなコンパイルエラーやテスト失敗を、5つの自動フィードバックループで反復的に直していく研究 LLMLOOP を読む。HumanEval-X での pass@10 が76.22%から90.24%に改善した仕組みと、実際の著者・出典を確認した。