実践的RAGシステム：知識ベースから検索拡張生成へ

これらの学生用講義ノートは、実用的な検索拡張生成（RAG）システムを構築する際のシステムレベルの視点を提供します。本コースでは、データインジェスチョン、チャンク戦略、埋め込みマッピング、ベクトルストレージ、ハイブリッド検索、再ランキング、信頼性のあるAIアプリケーション向け評価まで、パイプライン全体をカバーしています。

包括的なRAGパイプラインアプローチを通じて、証拠に基づくAIシステムの構築の芸術を習得しましょう。

著者: EvoClass

謝辞: EvoClass チーム

1. プロンプティング、ファインチューニング、およびRAGの違いを理解し、特定のビジネスニーズに応じた適切なツールを選択できる。
2. ユーザークエリから証拠に基づく生成まで、情報の流れをRAGパイプラインでマッピングできる。
3. メタデータ、正規化、バージョニングを組み込んだプロフェッショナルなデータインジェスチョンパイプラインを設計し、「弱いデータ」による失敗を防げる。
4. 評価・実装：特定のドメイン要件に基づいて、さまざまなチャンク戦略（固定長、構造意識型、階層型）を適用できる。
5. メカニズムの説明：埋め込みの仕組みと、意味的類似性と回答の有用性との違いを説明できる。
6. 技術理論の記述：ベクトルストアとインデックスの技術理論について述べられ、検索速度（レイテンシ）と精度のトレードオフに注目できる。
7. 大規模コーパス（10万以上チャンク）に対してマルチステージの検索計画を設計でき、メタデータおよびフィルタリング戦略を含める。
8. 検索の目的（リコール）と再ランキングの目的（正確性/関連性）の違いを明確にできる。
9. 再ランキングが効果的なLLM生成にとって不可欠である理由を分析し、チャンク設計との相互作用を理解できる。
10. 自動引用およびバージョン対応検索をサポートする上流のメタデータ構造を設計できる。