Генеративный ИИ для начинающих

📚 Краткое содержание

Комплексная программа, посвящённая основам генеративного ИИ, больших языковых моделей (LLM), инженерии промптов и разработке приложений на базе ИИ с использованием таких инструментов, как Azure OpenAI и платформа Power Platform.

Освойте основы генеративного ИИ и создайте умные приложения с нуля.

Благодарности: Microsoft, Azure и OpenAI.

🎯 Цели обучения

1. Объясните механические внутренние процессы работы LLM, включая токенизацию, механизм внимания и недетерминированный вывод.
2. Сравните различные категории LLM (основные модели, открытые и проприетарные, архитектуры-кодировщики/декодировщики) для выбора подходящего инструмента в бизнес-сценариях.
3. Оцените стратегии повышения качества результатов модели, особенно выбор между инженерией промптов, расширенной генерацией на основе ретриевала (RAG) и дообучением.
4. Определите инженерию промптов и объясните её роль как основного интерфейса программирования для генеративного ИИ.
5. Различайте базовые LLM и модели, настроенные на инструкции, и способ их обработки токенов.
6. Создавайте сложные промпты, используя инструкции, основной текст, подсказки и шаблоны.
7. Создавайте и настраивайте приложения для генерации текста с помощью библиотеки openai, управляйте переменными среды и изменяйте разнообразие вывода через температуру.
8. Различайте правила-базированные чат-боты и контекстно-зависимые приложения на основе генеративного ИИ, реализуя Шесть принципов ответственного ИИ от Microsoft.
9. Выполняйте семантический поиск, преобразуя текст в векторы (эмбеддинги) и применяя косинусную схожесть для нахождения релевантного контента, выходящего за рамки простого совпадения по ключевым словам.
10. Создавайте и настраивайте приложения для генерации изображений, реализуя «метапромпты» для определения границ содержания и безопасности.

🔹 Урок 1: Основы и этика генеративного ИИ

Обзор: Этот урок предоставляет всестороннее введение в генеративный ИИ, прослеживая его эволюцию от статистического машинного обучения до современных трансформерных больших языковых моделей (LLM). Участники узнают, как функционируют такие модели через токенизацию и вероятность, как выбирать и оптимизировать различные типы моделей (открытые и проприетарные), а также о критическом фреймворке применения принципов ответственного ИИ для снижения рисков, таких как ложные утверждения (галлюцинации) и предвзятость.

Результаты обучения:

• Объясните механические внутренние процессы работы LLM, включая токенизацию, механизм внимания и недетерминированный вывод.
• Сравните различные категории LLM (основные модели, открытые и проприетарные, архитектуры-кодировщики/декодировщики) для выбора подходящего инструмента в бизнес-сценариях.
• Оцените стратегии повышения качества результатов модели, особенно выбор между инженерией промптов, расширенной генерацией на основе ретриевала (RAG) и дообучением.

🔹 Урок 2: Искусство и наука инженерии промптов

Обзор: Этот урок рассматривает инженерию промптов (PE) как процесс проектирования и оптимизации текстовых входов (промптов), чтобы направить большие языковые модели (LLM) на получение высококачественных, согласованных ответов. Учащиеся переходят от понимания основных механик токенизации и типов моделей к применению продвинутых техник, таких как цепочка рассуждений (Chain-of-thought) и маиетическая подача вопросов, для минимизации ограничений моделей, таких как стохастичность и вымышленная информация.

Результаты обучения:

• Определите инженерию промптов и объясните её роль как основного интерфейса программирования для генеративного ИИ.
• Различайте базовые LLM и модели, настроенные на инструкции, и способ их обработки токенов.
• Создавайте сложные промпты, используя инструкции, основной текст, подсказки и шаблоны.

🔹 Урок 3: Разработка ключевых ИИ-приложений

Обзор: Этот урок исследует практическую разработку инструментов на основе ИИ, с акцентом на генерацию текста, контекстно-зависимые чат-интерфейсы и приложения семантического поиска. Участники переходят от базовой интеграции API и настройки параметров (температура, количество токенов) к реализации передовых функций, таких как текстовые эмбеддинги, косинусная схожесть и системы ответственного ИИ.

Результаты обучения:

• Создавайте и настраивайте приложения для генерации текста с помощью библиотеки openai, управляйте переменными среды и изменяйте разнообразие вывода через температуру.
• Различайте правила-базированные чат-боты и контекстно-зависимые приложения на основе генеративного ИИ, реализуя Шесть принципов ответственного ИИ от Microsoft.
• Выполняйте семантический поиск, преобразуя текст в векторы (эмбеддинги) и применяя косинусную схожесть для нахождения релевантного контента, выходящего за рамки простого совпадения по ключевым словам.

🔹 Урок 4: Низкоуровневые и интегрированные решения на базе ИИ

Обзор: Этот материал охватывает три передовых направления внедрения ИИ: создание приложений для генерации изображений с использованием моделей, таких как DALL-E и Midjourney, разработка решений без кода через платформу Microsoft Power Platform, а также расширение возможностей LLM с помощью «вызова функций». Контент сосредоточен на практической реализации — от интеграций на основе Python до разработки приложений с использованием естественного языка и подключения ИИ к внешним источникам данных.

Результаты обучения:

• Создавайте и настраивайте приложения для генерации изображений, реализуя «метапромпты» для определения границ содержания и безопасности.
• Проектируйте низкоуровневые ИИ-приложения и автоматизированные рабочие процессы с использованием Copilot, Dataverse и AI Builder в рамках платформы Power Platform.
• Реализуйте вызов функций для обеспечения согласованного вывода структурированных данных (JSON) и интеграции LLM с внешними API.

🔹 Урок 5: UX, безопасность и жизненный цикл приложения

Обзор: Этот урок охватывает важное пересечение пользовательского опыта (UX), протоколов безопасности и операционного жизненного цикла специально для приложений на основе генеративного ИИ. Рассматривается, как строить доверие через объяснимость, выявляются уникальные угрозы ИИ-безопасности, такие как подмена данных и внедрение вводных запросов, а также описывается переход от традиционного MLOps к LLMOps для управления жизненным циклом приложения.

Результаты обучения:

• Проектируйте интерфейсы ИИ, способствующие доверию и прозрачности через объяснимость и контроль пользователя.
• Выявляйте и устраняйте специфические риски безопасности ИИ, включая подмену данных, внедрение вводных запросов и уязвимости цепочки поставок.
• Различайте MLOps и LLMOps и объясните этапы жизненного цикла приложения на основе генеративного ИИ (генерация идей, создание, эксплуатация).

🔹 Урок 6: Продвинутый ретриевал и агентные системы

Обзор: Этот урок рассматривает переход от базового взаимодействия с LLM к сложным системам, использующим расширенную генерацию на основе ретриевала (RAG) и автономные ИИ-агенты. Участники изучают, как закреплять модели на частных данных с помощью векторных баз данных, а также как расширять возможности LLM с помощью агентных фреймворков, способных планировать, использовать инструменты и взаимодействовать с другими агентами.

Результаты обучения:

• Объясните технический процесс работы RAG, включая разбиение на фрагменты, эмбеддинги и семантический ретриевал.
• Сравнивайте и выбираете подходящие открытые модели (Llama 2, Mistral, Falcon) на основе стоимости, возможности кастомизации и производительности.
• Различайте основные фреймворки ИИ-агентов (LangChain, AutoGen, TaskWeaver, JARVIS) и их конкретные сферы применения.

🔹 Урок 7: Дообучение моделей и специализированные архитектуры

Обзор: Этот урок охватывает переход от общей инженерии промптов к оптимизации моделей через обучение с учителем и использование специализированных малых языковых моделей (SLM). Предоставляется сравнительный анализ модельных семейств от Microsoft Phi, Mistral и Meta Llama, с детальным описанием архитектурных компромиссов в размерах, требованиях к вычислительным ресурсам и мультимодальности для развертывания в облачных и краевых средах.

Результаты обучения:

• Определите дообучение и определите, когда использовать его вместо инженерии промптов или расширенной генерации на основе ретриевала (RAG).
• Сравните характеристики больших языковых моделей (LLM) и малых языковых моделей (SLM) по размеру, пониманию и скорости вывода.
• Определите уникальные особенности и сферы применения модельных семей Phi-3.5, Mistral (Large/Small/NeMo) и Llama (3.1/3.2).