Практические системы RAG: от баз знаний до генерации, дополненной поиском

Эти конспекты лекций для студентов представляют системный взгляд на создание функциональных систем генерации с расширением поиска (RAG). В курсе охватывается весь процесс, включая загрузку данных, стратегии разбиения на фрагменты, отображение вложений, хранение векторов, гибридный поиск, повторную ранжировку и оценку для надежных приложений ИИ.

Освойте искусство создания систем ИИ, основанных на доказательствах, используя комплексный подход к цепочке RAG.

Автор: EvoClass

Благодарности: Команда EvoClass

1. Различать методы подсказывания (prompting), дообучение (fine-tuning) и RAG для выбора правильного инструмента под конкретные бизнес-требования.
2. Понимать поток информации в цепочке RAG — от пользовательского запроса до генерации, основанной на фактах.
3. Создавать профессиональную систему загрузки данных, включающую метаданные, нормализацию и версионирование, чтобы избежать сбоев из-за «слабых данных».
4. Оценивать и внедрять различные стратегии разбиения на фрагменты (фиксированная длина, ориентированная на структуру, иерархическая) в зависимости от специфики области применения.
5. Объяснить механику вложений и различие между семантической близостью и полезностью ответа.
6. Описать техническую теорию векторных хранилищ и индексирования, уделяя внимание компромиссам между скоростью поиска (задержкой) и точностью.
7. Разработать многоэтапный план поиска для крупномасштабной коллекции (более 100 000 фрагментов), включая стратегии фильтрации и работы с метаданными.
8. Различать цели поиска (полнота) и повторной ранжировки (точность/релевантность).
9. Проанализировать, почему повторная ранжировка необходима для эффективной генерации с помощью моделей ИИ и как она взаимодействует со структурой фрагментов.
10. Спроектировать структуру метаданных на начальном этапе, поддерживающую автоматическую цитирование и ретриевер, учитывающий версии.