RAG(Retrival-Augmented Generation)は情報検索(Retrieval)を行える機能がついたモデルのことで元々のLLMのモデルだけでは不正確であったり、間違えの含む内容を修正したものを出力することができます。このような外部ツールを利用したLLMをAugmented Language Model といい、RAGはそのうちの一つです。

　LLMのような大規模なデータを用いて学習を行ったモデルには誤りを含むデータがあったり、最新のデータが利用されていない場合があります。データを再び学習させ、修正するのは非常に大変です。これらを外部の情報を検索しその文章を引用したり、情報を修正することにより正確性が向上します。

　情報検索は Retriever が行います。その手法としてはクエリ(ユーザーの入力文)を元に類似するテキストを外部ツールから検索します。単語埋め込み(embeding)のコサイン類似度を用いて類似するものを選択します。