あるコースの手引きが更新されたところを想像してみてください。新旧両方の版をナレッジベースに入れて、AIにこう尋ねます。「今回の申請ではどの資料を提出する必要がありますか？」AIはすぐに一覧を挙げ、出典も添えてくれました。
しかし出典を開くと、問題が現れます。そのうちの一節は旧版の手引きから来ており、もう一節は申請手続きを紹介しているだけで、必要資料をすべて挙げてはいません。回答は完全に見えますが、根拠がそれを十分に支えてはいないのです。
検索拡張生成（一般にRAGと略されます）は、外部資料を言語モデルの回答プロセスに取り込む手法です。EvoClassのAI025「実践的RAGシステム：ナレッジベースから検索拡張生成へ」では、5つのレッスンでこの道筋をたどります。このコースが関心を寄せるのは、まさに情報が元の文書から検証可能な答えへとどう至るかという点です。
最初の断絶は、資料がシステムに入る前に潜んでいるかもしれない
レッスン1：RAGとナレッジベース構築の基礎 では、まずプロンプト、ファインチューニング、RAGを区別し、資料の整理、メタデータ、バージョン管理をナレッジベース構築に組み込みます。
この段階は準備作業と見なされがちですが、実際にはその後何を検証できるかを決めてしまいます。文書がどのバージョンに属するのか、誰に適用されるのか、条項がいつから有効なのか——こうした情報はすべて回答に影響し得ます。取り込み時にこれらの情報が失われれば、生成段階がどれほど滑らかでも、信頼できる根拠を取り戻すのは難しくなります。
あの手引きに戻り、ごく素朴な問いを立ててみましょう。システムは「これは新しいファイルだ」と「これは現在有効な規定だ」を区別できるでしょうか。公開日と適用開始日は必ずしも同じではありません。
したがって、ナレッジベースを構築する際に考えるべきは、本文を保存するだけではなく、その身元と利用条件を保持することでもあります。
細かく分割すれば、必ず正確に見つかるとは限らない
長い手引きは、多くの場合、検索可能な断片に分割する必要があります。小さく分割しすぎると、資料名は残っても前段の適用対象を失うかもしれません。大きく分割しすぎると、回答が無関係な内容に埋もれてしまうかもしれません。
レッスン2：チャンキング、埋め込み、インデックス では、チャンキングを検索、並べ替え、コンテキスト、引用の間で論じます。断片の境界は、「見つけられるかどうか」と「見つけた後、正しく使えるかどうか」の両方に同時に影響します。
例えば、ある規定の例外条件が次の段落に書かれている場合、最初の段落だけを残すと、条件付きの要件が誰にでも適用されるように見えてしまいます。こうした問題は、最終的な回答が間違ってから追跡するのではなく、資料整理の段階で見つける価値があります。
コースではさらに、意味的な類似性と回答における用途を区別します。2つの文章が同じテーマを扱っているからといって、どちらもユーザーが必要とする根拠を含んでいるとは限りません。
関連資料が見つかった後にも、選別が必要
ユーザーは時に概念について尋ね、時に正確な番号、製品名、条項を挙げます。この2種類の質問では、検索への要求が異なります。
レッスン3：ハイブリッド検索とリランキング では、キーワードマッチングと意味検索それぞれの用途を論じ、さらにリランキングを導入します。
これは2回の選択と捉えられます。まず役立ちそうな候補をできるだけ拾い上げ、次にどの断片が本当に回答に必要な情報を含むかを判断します。類似度スコアだけを見るのでは、2回目の判断を完了するには不十分なことが多いのです。
手引きの質疑応答を点検する際は、失敗を分けて記録できます。有効な条項がそもそも候補に入らなかったのか、それとも候補には入ったが後ろに順位付けされたのか。この2つの状況では、対処すべき工程が異なります。中間結果を残しておいてこそ、「間違って答えた」を特定可能な問題に変える機会が生まれます。
出典があっても、その出典が結論を支えているかを見る必要がある
引用は読者が資料へ戻る機会を与えますが、引用が存在するだけで回答が信頼できると断定することはできません。さらに確認する必要があります。この資料は有効か、この文に対応しているか、その中の限定条件を網羅しているか。
レッスン4：引用、鮮度、評価 では、根拠の検索と生成の忠実性をそれぞれ論じます。レッスン5：プロトタイプから本番へ では、視点をレイテンシ、コスト、障害診断、そして根拠が不足している場合の対応へと広げます。
試してみる価値のある学習課題は、同じ資料をめぐっていくつかの種類の質問を用意することです。本文が直接答えを示すもの、複数の情報を組み合わせる必要があるもの、旧バージョンに関わるもの、そして資料がまったく答えていないものです。システムがどの根拠を得て、その根拠に基づいて何を述べたのかを一つずつ確認します。
これらの質問は学習のための提案であり、本記事で完了したシステムテストではありません。それらは、ナレッジベースの価値は実際の情報の差異の中で検証する必要があり、数回うまくいったデモだけで判断すべきではないことを思い起こさせます。
AI025のコースページ から始めて、資料から回答への一つひとつの受け渡しをたどってみてください。次に根拠付きの回答に直面したとき、問う価値があるのはこういうことです。これらの出典は、回答の中のどの発言を支えているのか、と。
本記事はEvoClassの現在のコース資料に基づいてまとめたもので、レッスンのリンクは英語資料を指します。文中の手引きに関する質疑応答は教育的な想定です。これに基づいて、展開済みシステムの精度、性能、データアクセス能力を主張するものではありません。訪問者は現在公開されている内容を閲覧できますが、完全な学習権限はページの表示に従います。