この記事のポイント

  • RAGは検索した外部知識(非パラメトリックメモリ)と生成モデルを組み合わせる方式で、原論文は2020年5月にarXivへ投稿された
  • Microsoftの設計ガイドは、文書を意味のまとまりで分割しメタデータで補強する段階的な設計・評価手順を示す
  • 評価は検索の的確さと、回答の根拠性(groundedness)などを分けて測る
目次
  1. RAGは「社内文書を覚えさせる技術」ではない
  2. 文書の量より、責任者と有効期間を整える
  3. 検索精度と回答品質を別々に測る
  4. 権限と出典表示が、社内検索への信頼を決める
01

RAGは「社内文書を覚えさせる技術」ではない

RAGは、利用者の質問に関係する文書を検索し、その内容を生成モデルへ渡して回答を作る仕組みだ。Lewisらが2020年5月22日にarXivへ投稿した原論文「Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks」は、モデルのパラメータに蓄えた知識(パラメトリックメモリ)と、Wikipediaの密ベクトル索引のような外部知識(非パラメトリックメモリ)を組み合わせる方式としてRAGを提示し、根拠を示せることや知識を更新しやすいことを課題として挙げた。

社内検索への含意は明確で、答えの質は生成モデル単体ではなく、検索でどの文書を渡せたかで決まる。設計は取り込み、検索、回答生成、表示の段階に分け、どの段階で情報が欠けたかを判別できる形にする。

02

文書の量より、責任者と有効期間を整える

共有フォルダーの全資料をそのまま投入すると、廃止済みの規程、重複した版、個人メモが混在する。文書ごとに正式版か、対象部門はどこか、いつまで有効か、誰が更新するかを整理し、出所が不明な資料は検索対象から外す。

分割方法について、MicrosoftのRAG設計・評価ガイドは、データを意味的にまとまった部分へ分けること、各部分にタイトルや要約、キーワードなどのメタデータを付けて補強すること、埋め込みモデルや検索索引を段階ごとに評価することを手順として示す。表の見出しと値、規程の条件と例外を別々に切ると文脈が失われるため、機械的な文字数だけで分割しないという実務上の注意と一致する。

03

検索精度と回答品質を別々に測る

評価ではまず、質問に必要な文書が上位の検索結果へ含まれたかを確認する。次に、その文書を使って回答が忠実に作られたか、引用箇所が主張を裏付けているかを見る。回答の読みやすさだけを採点すると、もっともらしい誤りを見逃す。

Microsoftの評価ガイド(RAGのLLMエンドツーエンド評価)は、回答が文脈に完全に基づくかを測るgroundedness(根拠性)、質問の全部分に答えているかを測るcompleteness(完全性)、渡した部分をどれだけ使ったかのutilization、関連性、正確性といった指標を分けて使うことを示す。現場の問い合わせ履歴から、典型例、曖昧な質問、複数文書をまたぐ質問、答えが存在しない質問を評価セットにし、文書や検索モデルを更新するたびに同じ評価を繰り返す。

04

権限と出典表示が、社内検索への信頼を決める

検索結果には利用者の閲覧権限を反映し、回答文だけで機密情報が漏れないようにする。文書取り込み時だけでなく検索時にも権限を確認する設計が要り、退職、異動、組織変更に伴う権限更新が反映されるまでの時間も運用指標になる。

回答には文書名、発行日、該当箇所へのリンクを表示し、利用者が原文へ戻れるようにする。これは原論文がRAGの利点として挙げた「判断の根拠を示せること」と同じ方向である。十分な根拠がない場合は推測で埋めず「確認できない」と返し、利用者のフィードバック、検索失敗、参照切れを定期的に点検して、文書管理と検索設計の両方へ改善を戻す。次に見るべき節目は、評価セットを用いた初回の検索・生成分離評価であり、そこで検索側の不足か生成側の不足かを切り分ける。

出典・参考資料