概要

最新のドキュメントやナレッジベースをベクトル DB に保存し、クエリ時に関連文書を検索して LLM に供与する手法。LLM の知識カットオフを補い、ハルシネーション低減に効果的。

仕組み

  1. ドキュメントをチャンクに分割
  2. Embeddings でベクトル化してベクトル DB に格納
  3. クエリ時に類似ベクトルを検索
  4. 検索結果をコンテキストとして LLM に渡す

RAG の限界と LLM Wiki

Karpathy は RAG を「毎日同じ本を初めて読む人に質問を投げるようなもの」と評し、知識を積み上げる LLM Wiki パターンを提案した。RAG は都度検索、LLM Wiki は事前コンパイル。

関連ページ

ソース記事