Основы генеративного ИИ на языке Python
Полное руководство по пониманию и реализации генеративного ИИ и больших языковых моделей (LLM). Этот курс охватывает переход от теоретических основ к практической разработке на языке Python, включая ГАНы, диффузионные модели, трансформеры, дообучение и развертывание в продакшене.
Обзор курса
📚 Краткое содержание
Полное руководство по пониманию и реализации генеративного ИИ и больших языковых моделей (LLM). Этот курс охватывает переход от теоретических основ к практической разработке на Python, включая ГАНы, диффузионные модели, трансформеры, донастройку и вывод в производственную среду.
Освойте основные принципы и практическое применение современных языковых моделей и генеративных методов с помощью Python.
Автор: Карлос Родригес
Благодарности: Особая благодарность жене автора Джилл, его родителям и техническим ревьюерам Морган Бойсу, Эрику Руи и Самире Шахи (автору предисловия).
🎯 Цели обучения
- Различать классические (дискриминативные) парадигмы машинного обучения и генеративные модели ИИ.
- Определять основополагающие архитектуры генеративного ИИ, включая ГАНы, диффузионные модели и трансформеры.
- Объяснять роль и эволюцию больших языковых моделей (LLM) в более широком контексте искусственного интеллекта.
- Различать уникальные особенности и архитектурные парадигмы ГАНов, диффузоров и трансформеров.
- Анализировать достижения и ограничения каждого типа моделей, включая конкретные проблемы, такие как коллапс режимов или скорость выборки.
- Реализовать пайплайн Stable Diffusion и оценить сгенерированные результаты с использованием логитов и вероятностей на основе CLIP.
- Отследить эволюцию обработки естественного языка (NLP) от ранних методов подсчета и РНН до современных распределённых представлений и переносного обучения.
- Объяснить технические особенности многоголовочного внимания (MHA), самовнимания, маскирования и сетей прямого распространения (FFN).
- Реализовать полную архитектуру трансформера, включая токенизацию данных, позиционное кодирование и функции обучения/вывода.
- Сопоставлять функции прототипирования (например, Google Colab) с рабочими средами с использованием Docker и VS Code.
Уроки 共 7 课时 · 预计 21.0h
Уроки
Lesson
This lesson explores the concept of the technological Singularity and the exponential growth of AI, while establishing the fundamental distinction between discriminative models that classify data and generative models that synthesize it. Students will learn to analyze the synergy between compute, data, and algorithmic efficiency, as well as the mathematical foundations of probabilistic modeling in high-dimensional spaces.
This lesson explores the three core pillars of generative AI—GANs, diffusion models, and transformers—by analyzing their unique mathematical strategies and architectural trade-offs. Students will learn to differentiate these models based on their training stability, computational efficiency, and specific applications in multimodal synthesis.
This lesson explores the evolution of Natural Language Processing from sparse, count-based methods like TF-IDF to dense, distributed vector representations and recurrent neural architectures. It examines the limitations of RNNs and LSTMs, such as the vanishing gradient problem and the Seq2Seq bottleneck, while establishing the mathematical foundations of the Transformer architecture and self-attention mechanisms.
AI030: Production Engineering and Responsible AI Deployment (Lesson 4) explores the transition from experimental prototyping in notebooks to robust, scalable production systems. Students will learn to implement CI/CD pipelines, ensure model reliability through automated testing, and integrate fairness monitoring to meet ethical and regulatory standards.
This lesson explores the spectrum of model adaptation, comparing the computational efficiency of In-Context Learning with the specialized performance and stability of Parameter-Efficient Fine-Tuning (PEFT) and full fine-tuning. Students will learn to navigate the trade-offs between hardware constraints and model alignment, with a focus on implementing techniques like LoRA to optimize performance in resource-limited environments.
This lesson explores the necessity of domain adaptation for general-purpose LLMs, focusing on techniques like continued pre-training and fine-tuning to align model knowledge with specialized fields. Students will learn to implement parameter-efficient methods like LoRA and develop evaluation frameworks to ensure linguistic accuracy in high-stakes professional environments.
This lesson explores the paradigm shift from resource-heavy model fine-tuning to efficient prompt-based inference and in-context learning. Students will learn to master advanced prompting techniques, such as persona-based conditioning and Chain-of-Thought, to optimize model performance and maintain factual consistency.