海外で発生した実際のインシデント「An AI Vibe Coding Horror Story」を元に、AI に開発を丸投げするリスクを解説します。技術的リテラシーのないまま本番環境を構築した結果、患者データが完全露出するという深刻な事態が起きました。
何が起きたのか
専門知識のない医療従事者が、AI を使って自分専用の患者管理システムをゼロから自作しました。業界で実績のある既存ソフトウェアを使わず、「自分のバイブ（感覚）」で開発を進めたのです。
元記事: An AI Vibe Coding Horror Story
システムの問題点
AI が生成したこのアプリには、致命的なセキュリティ上の欠陥が多数ありました。
アーキテクチャの問題
- 単一 HTML ファイル構成: すべてのプログラムが 1 つの HTML ファイルに詰め込まれた簡素な構造
- クライアントサイド認証: パスワードなどの認証機能がブラウザ側の処理だけで実装されていた
- アクセス制御なし: データベースへのアクセス制限が全くなく、誰でも中身を閲覧できる状態
データ管理の問題
- 蓄積されていた大量の患者データをそのまま自作アプリに移行
- 全データが暗号化されず、無防備な状態で公開サーバーに配置
- 適切なセキュリティ設定をしないままインターネット上に公開
プライバシーの問題
- 診察中の会話を録音し、外部の AI サービスに送信して要約させる機能を実装
- 患者の個人情報や音声データが、事前の同意なく海外のサーバーへ転送
被害の深刻さ
わずか 30 分の調査 で、全ての患者データに対する読み書き権限が奪取されました。
- 患者の個人情報が完全に露出
- 音声データも含めた機密情報が外部に流出
- 現地の個人情報保護法や医療従事者の守秘義務に違反している可能性が極めて高い状況
問題の本質
不備を指摘された本人は、AI が生成した定型文で回答し、問題の深刻さを理解していませんでした。
これはバイブコーディングの本質的なリスクを示しています：
- AI はコードを生成できるが、セキュリティ要件の判断はできない
- 開発者が仕組みを理解していないと、問題が起きても原因を特定できない
- 「動いているように見える」と「安全に動いている」は全く別の話
開発の民主化とリテラシーのトレードオフ
AI によって開発の民主化が進み、非エンジニアでもアプリケーションを作れる時代になりました。一方で、最低限の技術的リテラシーがないと重大な事故を招くリスクも同時に高まっています。
特に以下の領域では、専門知識なしの AI 開発は高リスクです：
| 領域 | リスク |
|---|---|
| 医療・健康データ | 個人情報保護法・医療法違反 |
| 金融データ | 金融規制・顧客情報保護 |
| 個人認証システム | なりすまし・不正アクセス |
| 本番環境のインフラ | サービス停止・データ消失 |
まとめ
バイブコーディングは強力なツールですが、「AI に生成させたコードを理解できる人間が監督する」 という原則なしには危険です。
今回の事件は、開発の民主化がもたらす負の側面を象徴しています。AI に丸投げするのではなく、生成されたコードの意味と影響を把握した上で判断する姿勢が求められます。
出典ツイート: @iwashi86