Introduction à l'apprentissage profond
L'apprentissage profond est un sous-domaine de l'apprentissage automatique qui se concentre sur l'apprentissage de représentations de caractéristiques complexes et hiérarchiques à partir de données brutes en utilisant des réseaux neuronaux artificiels. Le cours couvre les principes fondamentaux, les mathématiques sous-jacentes, les concepts d'optimisation (descente de gradient, rétropropagation), les modules de réseau (couches linéaires, convolutionnelles, de pooling) ainsi que les architectures courantes (CNN, RNN). Les applications présentées incluent la vision par ordinateur, le traitement du langage naturel et l'apprentissage par renforcement. Les étudiants utiliseront la bibliothèque d'apprentissage profond PyTorch pour les implémentations et réaliseront un projet final basé sur une situation réelle.
Aperçu du cours
📚 Résumé du contenu
L'apprentissage profond est un sous-domaine de l'apprentissage automatique qui se concentre sur l'apprentissage de représentations hiérarchiques complexes à partir de données brutes en utilisant des réseaux de neurones artificiels. Ce cours couvre les principes fondamentaux, les mathématiques sous-jacentes, les concepts d'optimisation (descente de gradient, rétropropagation), les modules de réseau (couches linéaires, convolutionnelles, de pooling) et les architectures courantes (CNNs, RNNs). Les applications présentées incluent la vision par ordinateur, le traitement du langage naturel et l'apprentissage par renforcement. Les étudiants utiliseront la bibliothèque d'apprentissage profond PyTorch pour l'implémentation et réaliseront un projet final sur une situation du monde réel.
Résumé succinct des objectifs essentiels : Maîtriser la théorie de l'apprentissage profond, implémenter des modèles avec PyTorch, comprendre les architectures spécialisées (CNNs, RNNs, Transformers) et appliquer ces concepts à la vision par ordinateur, le traitement du langage naturel et la prise de décision séquentielle.
🎯 Objectifs d'apprentissage
- Expliquer les fondements mathématiques et les techniques d'optimisation principales (descente de gradient, rétropropagation) nécessaires à l'entraînement des réseaux de neurones profonds.
- Utiliser efficacement le cadre d'apprentissage profond PyTorch pour implémenter, entraîner et déboguer des architectures modernes à l'aide de l'accélération CUDA et de techniques de gestion efficace des données.
- Concevoir et analyser des architectures spécialisées, notamment les réseaux de neurones convolutifs (CNNs) pour les données d'image et le modèle Transformer pour les dépendances séquentielles.
- Appliquer les techniques d'apprentissage profond pour résoudre des problèmes pratiques dans les domaines d'application clés : vision par ordinateur, traitement du langage naturel et apprentissage par renforcement.
- Évaluer les modèles selon leur robustesse, leur interprétabilité et leur équité éthique, en comparant les forces de divers paradigmes avancés (ex. : modèles génératifs, apprentissage semi-supervisé).
Leçons 共 10 课时 · 预计 30.0h
Leçons
Lesson
AI003: Deep Learning Fundamentals and Optimization (Lesson 1) introduces deep learning as a high-dimensional function approximation task built upon linear algebra and multivariate calculus. Students will learn how to implement and optimize neural networks by mastering the core training cycle of forward passes, backpropagation, and weight updates using vectorized matrix operations.
This lesson introduces PyTorch Tensors as the fundamental multi-dimensional data structures used for hardware-accelerated computation and model parameters. It further explores the dynamic computation graph and the autograd engine, which allow for flexible, real-time gradient tracking and automatic differentiation during neural network training.
EvoClass-AI003: From Fully Connected to Convolutional (Lesson 3) explores the limitations of dense layers in image processing, such as parameter explosion and the loss of spatial locality. It introduces Convolutional Neural Networks (CNNs) as a solution, focusing on the use of receptive fields, weight sharing, and the mathematical definition of the 2D convolution operation.
EvoClass-AI003: Overview and Architectural Evolution (Lesson 4) explores the evolution of deep CNNs by analyzing how VGG, GoogLeNet, and ResNet addressed challenges in depth, computational efficiency, and gradient stability. Students will learn how these seminal architectures utilize techniques like small kernel stacking, bottleneck layers, and skip connections to optimize performance in ultra-deep networks.
EvoClass-AI003: Recurrent Neural Networks and Sequence Modeling (Lesson 5) explores the transition from static data models to sequential data by introducing Recurrent Neural Networks (RNNs). Students will learn how RNNs utilize shared parameters and hidden states to maintain temporal memory, while also examining the challenges of gradient instability in long-sequence processing.
EvoClass-AI003: From Recurrence to Attention (Lesson 6) explores how attention mechanisms overcome the scalability and information bottleneck limitations of traditional RNNs by enabling direct, parallelized dependency modeling. The lesson details the transition from fixed-size context vectors to dynamic, weighted contextual sums using the Query, Key, and Value tensor framework.
EvoClass-AI003: From Sparse Vectors to Semantic Space (Lecture 7). This lesson explores the limitations of sparse representations like One-Hot Encoding, which suffer from extreme dimensionality and a lack of semantic meaning, and introduces dense word embeddings as a solution that captures linguistic relationships through continuous, low-dimensional vector spaces.
This lesson introduces generative modeling as a shift from discriminative tasks to learning the underlying data distribution $P(x)$ through explicit density models like Variational Autoencoders (VAEs) and implicit models like GANs. It specifically explores the VAE framework, detailing how variational inference and the ELBO objective enable the creation of structured, continuous latent spaces for effective data synthesis and representation learning.
This lesson introduces Deep Reinforcement Learning (DRL) as a framework where agents learn optimal policies through trial-and-error interactions within a Markov Decision Process (MDP). Students will explore how agents use scalar reward signals, discount factors, and the Markov property to make sequential decisions and maximize long-term cumulative returns.
This lesson explores the labeling spectrum in machine learning, contrasting the high-cost requirements of supervised learning with the structural discovery of unsupervised learning and the hybrid efficiency of semi-supervised learning. It further examines deep unsupervised learning through autoencoders, which utilize an encoder-decoder architecture to compress data into meaningful latent representations.