概要
最新のドキュメントやナレッジベースをベクトル DB に保存し、クエリ時に関連文書を検索して LLM に供与する手法。LLM の知識カットオフを補い、ハルシネーション低減に効果的。
仕組み
- ドキュメントをチャンクに分割
- Embeddings でベクトル化してベクトル DB に格納
- クエリ時に類似ベクトルを検索
- 検索結果をコンテキストとして LLM に渡す
RAG の限界と LLM Wiki
Karpathy は RAG を「毎日同じ本を初めて読む人に質問を投げるようなもの」と評し、知識を積み上げる LLM Wiki パターンを提案した。RAG は都度検索、LLM Wiki は事前コンパイル。
関連ページ
- LLM Wiki パターン — RAG の限界を超える知識積み上げ型アプローチ
- AI エージェント — RAG を内部で利用するシステム
ソース記事
- getAI RAG — 2024-04
- Karpathy の LLM Wiki — 2026-04