Introduction à l'apprentissage profond

Aperçu : Cette leçon fondamentale présente les blocs de construction essentiels de l'apprentissage profond. Nous commençons par examiner les classificateurs linéaires, en nous concentrant spécifiquement sur la fonction Softmax et l'utilisation de la perte entropie croisée pour quantifier l'erreur. En partant de ce point, nous définissons la structure d'un réseau de neurones feedforward de base (Perceptron multicouche), en détaillant le rôle des poids, des biais et des fonctions d'activation non linéaires (par exemple ReLU). L'accent se déplace ensuite vers le processus d'optimisation nécessaire à l'entraînement de ces modèles hautement paramétrés. Nous introduisons la descente de gradient (GD) comme algorithme d'optimisation principal, en contrastant ses exigences computationnelles avec celles de la descente de gradient stochastique (SGD) et de la GD par mini-batch. De manière cruciale, la leçon se termine par une explication détaillée de l'algorithme de rétropropagation, montrant comment la règle de chaîne du calcul est appliquée de manière efficace via des graphes de calcul pour calculer les gradients nécessaires à la mise à jour des poids dans toutes les couches. Résultats d'apprentissage :

• Définir la structure d'un réseau de neurones feedforward de base et expliquer la nécessité des fonctions d'activation non linéaires (par exemple ReLU).
• Formuler des fonctions de perte de classification (par exemple Softmax et entropie croisée) et comprendre comment elles quantifient l'erreur du modèle.
• Expliquer le mécanisme de la descente de gradient (GD) et différencier ses variantes (SGD, GD par mini-batch) en termes de convergence et d'efficacité computationnelle.
• Dériver l'algorithme de rétropropagation à l'aide de la règle de chaîne et démontrer son implémentation via des graphes de calcul pour calculer les gradients.
• Identifier les prérequis mathématiques clés (algèbre linéaire et calcul multivariable) requis pour comprendre l'optimisation des réseaux de neurones.

Aperçu : Cette leçon passe des concepts théoriques à l'implémentation opérationnelle de l'apprentissage profond à l'aide de PyTorch, la bibliothèque centrale de ce cours. Nous commençons par les bases de PyTorch, en détaillant la structure Tensor, l'utilisation de CUDA pour l'accélération GPU et la compréhension de la différentiation automatique via le graphe de calcul dynamique. Une attention particulière sera portée à la gestion efficace des données : introduction de la classe Dataset de PyTorch pour l'abstraction des données et du DataLoader pour gérer de grandes quantités de données, permettant le regroupement, le mélange et le chargement multi-processus. Enfin, nous abordons les considérations pratiques liées à l'évolutivité de l'entraînement, en couvrant l'optimisation de la gestion de la mémoire, des techniques telles que l'accumulation de gradients, et en introduisant les concepts fondamentaux de l'entraînement distribué (ex. : parallélisme de données) nécessaires pour travailler avec des modèles dépassant la capacité d'une seule carte GPU. Résultats d'apprentissage :

• Mettre en œuvre des opérations fondamentales d'apprentissage profond à l’aide des Tensors PyTorch et utiliser ses fonctionnalités de différentiation automatique pour le calcul des gradients.
• Concevoir et implémenter des pipelines de données efficaces à l’aide des abstractions Dataset et DataLoader de PyTorch afin de gérer des entrées de données à grande échelle et regroupées.
• Configurer les modèles et les données pour l’entraînement sur GPU compatibles CUDA afin d’accélérer significativement le processus d’entraînement et d’inférence.
• Expliquer le rôle des techniques d’optimisation de la mémoire, telles que l’accumulation de gradients, et comprendre les bases conceptuelles de l’entraînement distribué pour l’évolutivité.

Aperçu : Cette leçon introduit les réseaux de neurones convolutifs (CNNs), fondements de la vision par ordinateur moderne. Nous explorons en profondeur les modules fondamentaux : la couche convolutive et la couche de pooling. Pour la couche convolutive, nous couvrons les mathématiques de l’opération, y compris les rôles des noyaux (filtres), du pas et du padding, et discutons de concepts clés comme la connectivité locale et le partage de paramètres qui rendent les CNNs efficaces pour les données d’image haute dimensionnelle. Nous différencions le pooling maximal et le pooling moyen et expliquons leur rôle crucial dans le redimensionnement et l’induction d’invariance translationnelle. Enfin, nous synthétisons ces couches en architectures CNN basiques complètes, illustrant la transition séquentielle typique des données brutes d’images à travers des piles d’extraction hiérarchique de caractéristiques jusqu’aux couches complètement connectées pour la classification finale, en utilisant des modèles classiques comme LeNet-5 comme exemples représentatifs. Résultats d'apprentissage :

• Expliquer l'opération mathématique de la convolution 2D, y compris la manière dont la taille du filtre, le pas et le padding affectent les dimensions de la carte de caractéristiques de sortie.
• Articuler les concepts de connectivité locale et de partage de paramètres et expliquer comment ils contribuent à l'efficacité et à l'efficacité des CNNs par rapport aux réseaux entièrement connectés pour les données d'image.
• Différencier le pooling maximal et le pooling moyen, et décrire le but principal des couches de pooling dans le redimensionnement des cartes de caractéristiques et l'obtention d'une invariance translationnelle.
• Concevoir et analyser une architecture CNN séquentielle basique composée de couches alternées de convolution, d'activation (ReLU), de pooling et de couches complètement connectées.

Aperçu : Cette leçon va au-delà des CNNs fondamentaux (comme AlexNet) pour explorer des architectures sophistiquées et très influentes utilisées dans les tâches de vision par ordinateur de pointe. Nous analyserons les principes de conception et les innovations derrière des modèles clés, notamment la profondeur allégée des réseaux VGG, l'agrégation de caractéristiques multi-échelles d'Inception (GoogLeNet) et l'utilisation critique des connexions résiduelles dans ResNet pour surmonter le problème de disparition du gradient dans les réseaux extrêmement profonds. La deuxième moitié de la leçon se concentre sur le sujet vital de l'interprétabilité des modèles et de l'intelligence artificielle explicable (XAI). Les étudiants apprendront des techniques de visualisation, telles que l'inspection des activations de cartes de caractéristiques, et approfondiront les méthodes de localisation basées sur les gradients. Plus précisément, nous couvrirons les mécanismes et l'implémentation de la Cartographie d'Activation de Classe (CAM) et de sa généralisation basée sur les gradients, Grad-CAM, qui expliquent visuellement les décisions du réseau en mettant en évidence les régions pertinentes de l'image d'entrée. Résultats d'apprentissage :

• Comparer et contraster les innovations architecturales fondamentales (ex. : connexions résiduelles, modules Inception) des modèles VGG, GoogLeNet et ResNet.
• Expliquer le rôle et les défis liés à l'augmentation de la profondeur du réseau, en particulier le problème de dégradation et comment ResNet le contourne.
• Détailles des méthodes fondamentales de visualisation des caractéristiques, y compris l'inspection des activations des couches intermédiaires et des filtres appris.
• Décrire le mécanisme théorique de la Cartographie d'Activation de Classe (CAM) et de Grad-CAM pour générer des explications visuelles basées sur le flux de gradients.
• Appliquer des techniques d'interprétabilité pour analyser et diagnostiquer le processus de prise de décision des CNNs avancés dans les tâches de classification.

Aperçu : Cette leçon aborde les défis liés à la modélisation de données structurées, en particulier des séquences (ex. : texte, séries temporelles), qui violent l'hypothèse d'indépendance commune aux réseaux feedforward. Nous définissons les tâches de modélisation des séquences, telles que la traduction automatique, la reconnaissance vocale et la prédiction des séries temporelles, en insistant sur la nécessité d'un mécanisme de maintien d'informations d'état. L'accent principal sera mis sur l'architecture des réseaux de neurones récurrents (RNN) traditionnels. Les concepts clés couverts comprennent le mécanisme de partage de poids, le déroulement des graphes de calcul sur les étapes temporelles, le calcul des mises à jour d'état caché (h_t) et la gestion des séquences d'entrée de longueur variable. Nous examinons également les principales limitations des RNN de base, notamment la difficulté à capturer les dépendances à long terme en raison des problèmes de disparition et d'explosion des gradients rencontrés lors de la rétropropagation à travers le temps (BPTT). Résultats d'apprentissage :

• Définir les données structurées (séquences) et expliquer pourquoi les réseaux feedforward standards (FNN) sont inadéquats pour modéliser les dépendances séquentielles.
• Décrire l'architecture fondamentale d'un RNN de base, en identifiant les composants tels que l'état caché et les matrices de poids partagées.
• Illustrer le processus de « déroulement » d’un graphe de calcul RNN sur les étapes temporelles et discuter de la manière dont les séquences d’entrée de longueur variable sont traitées.
• Expliquer le mécanisme de rétropropagation à travers le temps (BPTT) et analyser les problèmes de disparition et d’explosion des gradients inhérents à l’entraînement des RNN traditionnels.

Aperçu : Cette leçon offre une analyse approfondie du changement de paradigme introduit par le papier "Attention Is All You Need", qui remplace les réseaux de neurones récurrents (RNN) en éliminant la récurrence et en ne s’appuyant exclusivement sur l’attention. Nous établissons d’abord les fondements mathématiques du mécanisme d’attention, en nous concentrant spécifiquement sur l’attention produit scalaire normalisée utilisant des vecteurs Query (Q), Key (K) et Value (V). La conférence développe ensuite ce concept en mécanisme d’attention à plusieurs têtes, expliquant son rôle dans la capture de dépendances contextuelles diverses. L’accent principal sera mis sur l’architecture complète du Transformer, en analysant la structure des empilements Encoder et Decoder, y compris des éléments cruciaux comme les connexions résiduelles, la normalisation par couche et le codage positionnel essentiel pour maintenir l’information séquentielle. Enfin, nous examinons comment le Transformer permet une parallélisation importante et son impact révolutionnaire dans des domaines comme la traduction automatique neuronale et les modèles linguistiques pré-entraînés. Résultats d'apprentissage :

• Définir le but des mécanismes d'attention et expliquer comment ils résolvent les limites (ex. : dépendances à longue portée, goulot d'étranglement de traitement séquentiel) des réseaux de neurones récurrents.
• Détaillez l'opération mathématique de l'attention produit scalaire normalisée, en identifiant correctement les rôles des vecteurs Query, Key et Value.
• Décrivez la structure globale du modèle Transformer, en distinguant les empilements Encoder et Decoder, et expliquez le rôle de l'attention à plusieurs têtes et des réseaux feed-forward.
• Expliquez la nécessité et l'implémentation mathématique du codage positionnel dans l'architecture permutation-invariante du Transformer.
• Analysez les avantages computationnels (parallélisation) et la large applicabilité de l'architecture Transformer dans les tâches modernes d'apprentissage profond, en citant des modèles comme BERT et GPT.

Aperçu : Cette conférence plonge dans les aspects fondamentaux et appliqués de l'apprentissage profond pour le traitement du langage naturel (NLP). Nous commençons par aborder le besoin crucial de représentations efficaces des mots, en passant des méthodes creuses aux embeddings de mots denses appris. Les mécanismes fondamentaux de Word2Vec (Skip-gram et CBOW) seront expliqués, soulignant comment le contexte génère des représentations vectorielles riches qui captent le sens sémantique. Nous appliquons ensuite ces concepts fondamentaux à deux tâches majeures du NLP : la traduction automatique neuronale (NMT), utilisant des architectures encodeur-décodateur séquence-à-séquence et le rôle critique des mécanismes d'attention pour gérer les dépendances longues et l'alignement ; et la reconnaissance automatique de la parole (ASR), en explorant comment les modèles profonds traitent les séquences temporelles de données acoustiques pour produire une sortie textuelle. La discussion mettra l'accent sur la manière dont les embeddings et les architectures d'apprentissage profond séquentielles forment la colonne vertébrale des systèmes commerciaux modernes de NLP. Résultats d'apprentissage :

• Expliquer les limites des représentations de mots creuses (ex. : encodage one-hot) et justifier la nécessité des embeddings vectoriels denses.
• Décrire les principes fondamentaux et l'architecture des modèles comme Word2Vec (Skip-gram/CBOW) utilisés pour apprendre des représentations distribuées.
• Décrire les composants principaux (encodeur, décoder, attention) d'un système moderne de traduction automatique neuronale, en le contrastant avec les méthodes traditionnelles.
• Analyser les défis inhérents aux tâches séquence-à-séquence comme la NMT et la reconnaissance automatique de la parole (ASR), en particulier concernant les longueurs variables d'entrée/sortie.
• Identifier comment les architectures neuronales sont adaptées pour traiter les entrées audio dans le contexte de la reconnaissance automatique de la parole.

Aperçu : Cette leçon présente les deux modèles génératifs profonds modernes fondamentaux : les autoencodeurs variationnels (VAEs) et les réseaux antagonistes génératifs (GANs). Nous commençons par les VAE, en détaillant leur architecture — un encodeur qui mappe les données vers une distribution latente paramétrée et un décodeur qui génère des échantillons. Une forte emphase sera placée sur les mathématiques sous-jacentes, en particulier la fonction objectif de borne inférieure de l'évidence (ELBO), en décomposant les rôles de la perte de reconstruction et du terme divergence KL pour la régularisation. La technique de reparamétrisation cruciale, nécessaire pour permettre le flux de gradients à travers le processus d'échantillonnage, sera expliquée en détail. Ensuite, nous passons aux GANs, en définissant le jeu antagoniste, à somme nulle, entre le générateur (G) et le discriminateur (D). La conférence couvre la fonction valeur minimax théorique, explore comment le discriminateur optimal maximise l'objectif, et discute des défis pratiques majeurs tels que le collapsus de mode et l'instabilité d'entraînement. Enfin, nous fournissons une comparaison qualitative, contrastant l'espace latent interprétable des VAE avec la fidélité généralement supérieure des échantillons des GANs. Résultats d'apprentissage :

• Différencier le modélisation discriminative et générative et expliquer l'objectif mathématique d'apprendre des distributions de données complexes.
• Expliquer l'architecture d'un autoencodeur variationnel (VAE) et dériver la fonction objectif de borne inférieure de l'évidence (ELBO).
• Analyser la nécessité et la fonction de la technique de reparamétrisation dans l'entraînement des VAE afin d'assurer une rétropropagation efficace.
• Décrire le processus d'entraînement d'un réseau antagoniste génératif (GAN) comme un jeu minimax entre le générateur et le discriminateur.
• Comparer et contraster les VAE et les GAN selon la qualité des échantillons, l'interprétabilité de l'espace latent et les défis courants d'entraînement comme le collapsus de mode.

Aperçu : Cette leçon introduit l'apprentissage par renforcement profond (DRL) en établissant le cadre fondamental de prise de décision, le processus décisionnel markovien (MDP). Nous définissons la boucle agent-environnement, les espaces d'état et d'action, et l'objectif de maximiser le retour escompté actualisé. Les concepts fondamentaux de RL traditionnel seront abordés, y compris les fonctions de valeur et l'équation d'optimalité de Bellman. La leçon passe ensuite au DRL, en explorant les défis posés par les grands espaces d'état et comment les réseaux Q profonds (DQN) les surmontent en utilisant des réseaux de neurones pour approximer la fonction Q. Nous détaillons les techniques de stabilité essentielles pour le DQN, telles que le replay d'expérience et les réseaux cibles. Enfin, nous comparons les méthodes basées sur les valeurs aux techniques de gradient de politique, en détaillant l'intuition mathématique derrière l'algorithme REINFORCE pour une optimisation directe de la politique et en posant les bases pour des architectures plus avancées comme l'Actor-Critic. Résultats d'apprentissage :

• Formaliser les problèmes de prise de décision séquentielle à l'aide du cadre MDP, y compris les définitions d'état, d'action, de récompense et de fonction de valeur.
• Expliquer la transition du Q-learning tabulaire au réseau Q profond (DQN) et identifier les techniques critiques (replay d'expérience, réseaux cibles) utilisées pour stabiliser l'entraînement du DRL.
• Différencier fondamentalement les méthodes basées sur les valeurs (comme le DQN) et les méthodes basées sur les politiques (comme REINFORCE).
• Décrire la fonction objectif et l'intuition mathématique derrière le théorème du gradient de politique et son implémentation dans l'algorithme REINFORCE.
• Confronter les applications des approches basées sur les valeurs versus celles basées sur les politiques dans les scénarios modernes d'apprentissage profond par renforcement.

Aperçu : Cette leçon introduit les paradigmes avancés d'apprentissage profond nécessaires à un déploiement robuste et examine les implications sociétales critiques. Nous explorons d'abord les fondements théoriques et les applications pratiques de l'apprentissage profond non supervisé, en nous concentrant sur des modèles comme les autoencodeurs et les modèles génératifs lorsqu'ils sont utilisés pour l'apprentissage de représentations et la détection d'anomalies. Ensuite, nous approfondissons les techniques d'apprentissage semi-supervisé (SSL), telles que le pseudo-étiquetage et la régularisation de cohérence (ex. : modèle Π, MixMatch), qui sont cruciales pour exploiter de grandes quantités de données non étiquetées en combinaison avec des exemples étiquetés rares. La deuxième partie majeure de la leçon examine de façon critique l'IA éthique, en détaillant comment la curation des données et les choix architecturaux introduisent un biais algorithmique. Nous définissons et analysons des métriques clés de justice (ex. : différence d'opportunité égale, parité démographique) et discutons de stratégies efficaces de mitigation, en mettant l'accent sur l'importance de l'interprétabilité des modèles (XAI) et de la responsabilité dans les systèmes d'apprentissage profond à fort impact. Résultats d'apprentissage :

• Distinction entre apprentissage non supervisé, semi-supervisé et apprentissage supervisé standard, et identification des scénarios du monde réel appropriés à chaque paradigme.
• Décrire la fonction et l'architecture des modèles non supervisés clés, tels que les autoencodeurs et leur utilisation pour la réduction de dimension ou l'apprentissage de représentations.
• Expliquer la méthode des techniques modernes d'apprentissage semi-supervisé, y compris les concepts de pseudo-étiquetage et de régularisation de cohérence.
• Identifier et catégoriser les sources principales de biais algorithmique introduites tout au long du cycle de vie de l'apprentissage profond (acquisition de données, modélisation, déploiement).
• Définir et comparer les métriques courantes de justice algorithmique (ex. : odds égaux) et discuter des compromis inhérents aux stratégies de mitigation du biais.