WU | Optimisation Intelligente

📚 Résumé du contenu

Un cours avancé explorant l'intersection entre l'optimisation mathématique classique, la computation évolutive et l'apprentissage automatique contemporain. Il couvre l'optimisation mono-objectif et multi-objectif, les stratégies pilotées par les données, ainsi que des sujets avancés comme la Recherche d'Architecture de Réseaux Neuronaux (Neural Architecture Search) et l'Apprentissage Fédéré.

Maîtriser l'évolution de l'intelligence grâce à l'optimisation avancée pilotée par les données et multi-objectif.

🎯 Objectifs d'apprentissage

1. [Appliquer des techniques d'optimisation avancées à des problèmes mathématiques complexes et pilotés par les données.]
2. [Concevoir et évaluer des architectures évolutives et d'apprentissage automatique dans des scénarios multi-objectifs.]

---

🔹 Leçon 1 : Fondamentaux de l'optimisation

Aperçu : Cette leçon offre une introduction complète aux fondements mathématiques de l'optimisation, allant des méthodes classiques basées sur les gradients aux stratégies inspirées de la biologie. Elle établit les définitions rigoureuses des variables décisionnelles, des fonctions objectifs et des contraintes, tout en explorant la taxonomie des problèmes d'optimisation. Le contenu passe des méthodes de recherche locale comme Newton-Raphson et la descente de gradient aux principes de l'évolution naturelle et aux mécanismes des Algorithmes Génétiques.

Objectifs d'apprentissage :

• Définir et classifier les problèmes d'optimisation : distinguer entre optimisation continue, discrète, combinatoire et convexe selon leurs propriétés mathématiques et contraintes.
• Exécuter des méthodes classiques basées sur les gradients : appliquer la méthode de Newton-Raphson et la descente de gradient (y compris ses variantes comme RPROP et Momentum) pour trouver des optima locaux de fonctions différentiables.
• Traduire l'évolution biologique en logique computationnelle : expliquer le lien entre génotype/phénotype, la sélection naturelle et la structure des Algorithmes Évolutifs (AE).
• Traiter les défis algorithmiques : identifier et atténuer des problèmes courants en optimisation, tels que le "cliff de Hamming" dans le codage binaire, le "problème de gradient qui disparaît" et le coût computationnel de l'inversion de la matrice hessienne.

---

🔹 Leçon 2 : Algorithmes génétiques : codage, sélection et opérateurs génétiques

Aperçu : Cette leçon couvre les mécanismes fondamentaux des Algorithmes Génétiques Canoniques et à codage réel (RCGA). Elle explore la représentation des variables, notamment le codage binaire, gray et réel, ainsi que les mécanismes de reproduction tels que le croisement et la mutation. Le contenu introduit également des techniques avancées pour résoudre des problèmes combinatoires et gérer les contraintes via des fonctions de pénalité et des méthodes de correction.

Objectifs d'apprentissage :

• Analyser différents schémas de représentation (codage binaire vs. codage gray) et leur impact sur la causalité de recherche et les "falaises de Hamming".
• Calculer les probabilités de sélection et décoder des chaînes binaires en variables décisionnelles entières ou réelles.
• Différencier divers opérateurs de croisement pour les algorithmes génétiques binaires (n-points, uniforme) et réels (BLX, SBX, linéaire).
• Formuler des stratégies pour gérer les contraintes et l'optimisation combinatoire dans des problèmes NP-durs comme le Problème du Voyageur de Commerce (TSP).

---

🔹 Leçon 3 : Stratégies évolutives et adaptation de l'étape

Aperçu : Cette leçon explore des techniques avancées de calcul évolutif, en se concentrant spécifiquement sur les mécanismes de gestion des contraintes et les mécanismes des Stratégies Évolutives (ES). Elle détaille la transition du codage binaire vers l'optimisation continue, soulignant l'importance de l'adaptation de l'étape. Les principales méthodes abordées incluent la règle 1/5 et l'Adaptation de Matrice de Covariance (CMA-ES).

Objectifs d'apprentissage :

• Évaluer les techniques de gestion des contraintes, notamment les méthodes de correction basées sur les gradients pour les problèmes continus et le classement stochastique pour les solutions non réalisables.
• Appliquer les opérateurs d'algorithmes génétiques à codage réel, notamment le Croisement Binaire Simulé (SBX) et la Mutation Polynomiale.
• Analyser la structure algorithmique des Stratégies Évolutives (ES), y compris les variantes (1+1)-ES et celles à population utilisant les sélections (μ, λ) et (μ + λ).
• Expliquer la logique mathématique derrière l'adaptation de l'étape, en comparant la règle 1/5, l'étape globale et les stratégies d'étape individuelle.

---

🔹 Leçon 4 : Programmation génétique et représentations arborescentes

Aperçu : Cette leçon traite de la Programmation Génétique (PG) comme méthode de résolution de problèmes d'optimisation et d'apprentissage automatique en représentant les fonctions mathématiques et le code sous forme d'arbres. Les étudiants explorent comment la PG fait évoluer ces structures à travers des méthodes d'initialisation spécifiques et des opérateurs génétiques. La leçon aborde également des techniques de gestion des contraintes telles que les fonctions de fitness pénalisées dans la régression symbolique.

Objectifs d'apprentissage :

• Différencier les ensembles de fonctions primitives et les ensembles terminaux dans les représentations arborescentes.
• Exécuter des stratégies d'initialisation, notamment les méthodes Full, Grow et Ramped-half-and-half.
• Analyser les mécanismes de recombinaison et de mutation arborescentes, y compris leurs effets sur la taille et la structure de la population.
• Évaluer les techniques de gestion des contraintes dans l'optimisation évolutionnaire, spécifiquement les pénalités dures, dynamiques et adaptatives.

---

🔹 Leçon 5 : Évolution différentielle et variantes de l'Optimisation par essaim de particules

Aperçu : Cette leçon explore des techniques d'optimisation méta-heuristiques avancées, commençant par des méthodes de correction pour la gestion des contraintes tant dans les problèmes combinatoires que continus. Elle fournit une analyse approfondie des mécanismes de l'Évolution Différentielle (DE) et de l'Optimisation par Essaim de Particules Canonique (PSO). Le contenu s'étend à des variantes spécialisées comme le PSO basé sur la compétition (CSO) et le PSO d'apprentissage social (SL-PSO) pour l'optimisation à grande échelle.

Objectifs d'apprentissage :

• Analyser les techniques de gestion des contraintes, notamment les méthodes de correction pour les optimisations combinatoires (remplacement de gènes) et continues (basées sur les gradients).
• Exécuter les opérateurs mathématiques de l'Évolution Différentielle, y compris la mutation par différence vectorielle, le croisement et la sélection.
• Formuler les équations de mise à jour de vitesse et de position pour le PSO canonique et ses variantes (PSO local, facteur de contraction, CSO).
• Distinction entre divers modèles d'intelligence d'essaim selon leurs stratégies d'apprentissage (par exemple, meilleur global vs. apprentissage social à partir de modèles).

---

🔹 Leçon 6 : Optimisation multi-objectif : dominance de Pareto et méthodes classiques

Aperçu : Cette leçon aborde la transition fondamentale de l'Optimisation Mono-objectif (SOO) vers l'Optimisation Multi-objectif (MOO). Elle insiste sur le fait que la MOO produit un ensemble de solutions d'équilibre plutôt qu'un seul optimum. La leçon évalue les méthodes classiques comme l'agrégation pondérée contre les approches modernes de décomposition évolutionnaire comme MOEA/D et RVEA.

Objectifs d'apprentissage :

• Définir mathématiquement la dominance de Pareto, les ensembles optimaux de Pareto et les frontières de Pareto.
• Distinguer les approches a priori, a posteriori et interactives en optimisation multi-objectif.
• Évaluer les limites de l'agrégation pondérée classique, particulièrement concernant les frontières de Pareto concaves.
• Expliquer les mécanismes des algorithmes basés sur la décomposition, incluant l'adaptation des poids et la direction des vecteurs de référence.

---

🔹 Leçon 7 : Approches MOO basées sur la dominance et indicateurs de performance

Aperçu : Cette leçon explore les approches basées sur la dominance en Optimisation Multi-objectif (MOO), en mettant l'accent sur les stratégies de sélection passant des méthodes mono-objectif vers la sélection basée sur la dominance et la diversité. Elle détaille des techniques spécifiques d'attribution de fitness, y compris le mappage par rang et le nichage pour assurer la diversité. La leçon évalue également les étapes procédurales et la complexité computationnelle des principaux algorithmes de tri non dominé appliqués dans le cadre NSGA-II.

Objectifs d'apprentissage :

• Analyser la transition de la sélection mono-objectif vers l'attribution de fitness basée sur la dominance et la diversité.
• Calculer les rangs des solutions, le mappage de fitness et les comptages de niches à l'aide de fonctions de partage.
• Comparer la logique procédurale et la complexité computationnelle des algorithmes de tri non dominé de base, rapide et efficace.
• Présenter le flux d'exécution de l'Algorithme Génétique de Tri Non Dominé (NSGA-II).

---

🔹 Leçon 8 : Algorithmes d'estimation de distribution et modélisation de régularité

Aperçu : Cette leçon explore des mécanismes avancés de sélection en optimisation multi-objectif, en se concentrant spécifiquement sur la distance de regroupement de NSGA-II et les indicateurs de performance comme IGD et Hyper-volume. Elle passe ensuite aux Algorithmes d'Estimation de Distribution (EDAs), qui remplacent les opérateurs génétiques traditionnels par des modèles probabilistes. Enfin, le matériel introduit la « Modélisation de Régularité » (MR-MOO), exploitant les propriétés géométriques des ensembles de Pareto pour améliorer l'efficacité de la recherche.

Objectifs d'apprentissage :

• Calculer et implémenter la sélection NSGA-II : définir et calculer la distance de regroupement et appliquer les règles de tournoi encombré.
• Évaluer les performances de MOO : différencier les indicateurs de performance tels que la Distance Générationnelle (GD), la Distance Générationnelle Inversée (IGD) et l'Hyper-volume.
• Analyser les mécanismes des EDAs : expliquer le passage des opérateurs de recherche aléatoire vers la construction et l'échantillonnage de modèles probabilistes (UMDA, UGM, MGM).
• Modéliser la régularité dans les problèmes d'optimisation multi-objectifs : décrire la propriété de variété (m-1)-dimensionnelle des ensembles de Pareto et l'utilisation de l'analyse en composantes principales locales et de la cartographie d'espace latent dans MR-MOO.

---

🔹 Leçon 9 : Apprentissage automatique : Réseaux de neurones, rétropropagation et sélection de modèle

Aperçu : Cette leçon traite de la transition de l'optimisation à nombreux objectifs vers des architectures avancées d'apprentissage automatique et l'évaluation de modèles. Elle détaille les mécanismes des Perceptrons Multicouches (MLP), les fondements mathématiques de la rétropropagation, et diverses techniques d'optimisation de descente de gradient. Elle aborde également des questions critiques en sélection de modèle, telles que le compromis biais-variance et les méthodes d'ensemble.

Objectifs d'apprentissage :

• Identifier les remèdes à la perte de pression de sélection en optimisation à nombreux objectifs, notamment les méthodes basées sur l'hypervolume et la décomposition.
• Différencier les modèles génératifs et discriminatifs et leurs rôles respectifs dans l'apprentissage automatique.
• Appliquer la règle Delta et la rétropropagation en utilisant les règles de dérivation pour mettre à jour les poids des réseaux de neurones.
• Évaluer des stratégies pour atténuer le surajustement, notamment la régularisation, l'arrêt anticipé et diverses techniques de validation croisée.
• Analyser les méthodes d'apprentissage par ensemble (Bagging, Boosting, Stacking) pour gérer le compromis biais-variance et améliorer la diversité du modèle.

---

🔹 Leçon 10 : Algorithmes métaheuristiques et influence de l'apprentissage pendant la vie

Aperçu : Cette leçon explore les Algorithmes Métaheuristiques (MA), qui intègrent une exploration génétique globale avec un raffinement phénotypique local grâce à l'apprentissage pendant la vie. Elle examine les distinctions mécaniques entre l'évolution lamarkienne et baldwinienne, ainsi que l'application de la recherche locale en optimisation multi-objectif. Le contenu couvre également l'utilisation de stratégies évolutives pour optimiser les structures et paramètres des réseaux de neurones.

Objectifs d'apprentissage :

• Différencier les algorithmes évolutifs standards des algorithmes métaheuristiques en fonction de l'inclusion de l'apprentissage pendant la vie et de la recherche locale.
• Contraire les paradigmes lamarkien et baldwinien concernant la transmission des changements phénotypiques acquis aux descendants.
• Évaluer l'influence de l'Effet Baldwin par rapport à l'Effet Masquage sur le taux d'évolution et la pression de sélection.
• Décrire la méthodologie d'optimisation des matrices de connexion et des paramètres de poids des Réseaux de Neurones (NN) par entraînement évolutif et basé sur les gradients.

---

🔹 Leçon 11 : Apprentissage automatique évolutif et MOML

Aperçu : Cette leçon explore l'Apprentissage Automatique Multi-Objectif (MOML) comme cadre pour équilibrer des objectifs concurrents dans la conception de réseaux de neurones, tels que précision versus complexité. À l'aide d'algorithmes comme NSGA-II, le contenu démontre comment optimiser les structures et paramètres des réseaux pour obtenir des modèles optimaux de Pareto. Le contenu étend ces principes à des applications pratiques incluant l'extraction de règles, le clustering multi-objectif et l'extraction de caractéristiques robustes au bruit.

Objectifs d'apprentissage :

• Définir la base mathématique de la régularisation basée sur Pareto dans le MOML, notamment le compromis entre erreur et complexité du modèle.
• Expliquer les mécanismes de représentation réseau et de mutation dans un cadre évolutif.
• Analyser les fronts optimaux de Pareto pour extraire des règles décisionnelles interprétables à partir de réseaux de neurones.
• Décrire comment l'optimisation multi-objectif est appliquée au clustering et à l'extraction de caractéristiques.

---

🔹 Leçon 12 : Optimisation évolutionnaire pilotée par les données et gestion des modèles

Aperçu : Cette leçon couvre les motivations et méthodologies de l'Optimisation Évolutionnaire Pilotée par les Données (DDEO), en se concentrant sur des scénarios où les fonctions objectifs sont coûteuses en calcul. Elle détaille le rôle crucial de la Gestion des Modèles et explore des stratégies avancées comme les approches basées sur l'individu et la génération. Des approches d'optimisation bayésienne utilisant des modèles de substitution sont examinées pour équilibrer exploration et exploitation.

Objectifs d'apprentissage :

• Identifier les motivations fondamentales de l'optimisation pilotée par les données, notamment la forte intensité de calcul et le coût des simulations physiques.
• Catégoriser les stratégies de gestion des modèles (basées sur l'individu, la génération et la population) et leurs techniques d'implémentation spécifiques.
• Expliquer le flux de travail de l'Optimisation Bayésienne et le rôle des Processus Gaussiens (GP) comme modèles de substitution non-paramétriques.

---

🔹 Leçon 13 : Optimisation bayésienne et fonctions d'acquisition

Aperçu : Cette leçon couvre l'application avancée de l'Optimisation Bayésienne (BO) dans les cadres évolutifs, en se concentrant sur l'optimisation assistée par des modèles de substitution. Elle détaille la transition des modèles de Processus Gaussien (PG) standard vers des ensembles afin de faire face à la « Malédiction de la Dimension ». Le contenu explore également des stratégies spécialisées pour les problèmes multi-objectifs à coût hétérogène (HE-MOPs) et le transfert de connaissances.

Objectifs d'apprentissage :

• Définir et comparer les fonctions d'acquisition courantes (LCB, EI, Échantillonnage de Thompson) utilisées pour équilibrer exploration et exploitation.
• Identifier les limitations computationnelles des Processus Gaussiens et expliquer les stratégies de réduction de dimension et de remplacement de modèle de substitution.
• Analyser les méthodes de gestion des objectifs à coût hétérogène à travers le transfert de connaissances basé sur les paramètres et les instances.

---

🔹 Leçon 14 : Recherche évolutionnaire d'architecture de réseaux (E-NAS)

Aperçu : Cette leçon explore l'automatisation de la conception de réseaux de neurones par des algorithmes évolutifs, en se concentrant sur la transition des architectures manuelles vers des espaces de recherche automatisés. Elle couvre le pipeline E-NAS, le partage de poids dans les super-réseaux, et des techniques avancées comme l'évaluation assistée par modèle de substitution. Le contenu s'étend également à des modèles inspirés de la biologie, incluant la plasticité évoluée et la coévolution de la morphologie.

Objectifs d'apprentissage :

• Définir le processus en cinq étapes de l'E-NAS et la distinction entre espaces de recherche macro et micro.
• Expliquer le concept de partage de poids dans les super-réseaux et identifier les principaux défis des méthodes en une seule étape.
• Décrire les mécanismes d'héritage de nœuds, notamment comment les opérateurs de croisement et de mutation sont appliqués aux graphes acycliques dirigés (DAG).
• Évaluer les stratégies de réduction des coûts computationnels, telles que les métriques proxy, les modèles de substitution et l'entraînement échantillonné.

---

🔹 Leçon 15 : Apprentissage automatique fédéré et préservant la vie privée

Aperçu : Cette leçon explore la transition de l'apprentissage automatique centralisé basé sur le cloud vers des cadres distribués et préservant la vie privée. Elle couvre les architectures fondamentales de l'Apprentissage Fédéré (horizontal et vertical) et les techniques d'amélioration de l'efficacité de communication. La leçon aborde également l'intégration d'algorithmes évolutifs pour la Recherche d'Architecture de Réseaux Fédérés (NAS) et les Algorithmes Évolutifs Fédérés Sécurisés.

Objectifs d'apprentissage :

• Distinction entre l'apprentissage centralisé en cloud et l'apprentissage distribué sur dispositifs locaux en termes de vie privée, sécurité et précision du modèle.
• Expliquer les mécanismes des techniques fondamentales de préservation de la vie privée, notamment la Privacy Différentielle, le Chiffrement Homomorphe et le Calcul Multi-parties Sécurisé.
• Analyser le flux opérationnel de l'Apprentissage Fédéré Horizontal et Vertical et leurs défis respectifs liés aux données non IID.
• Évaluer les méthodes d'efficacité de communication, telles que les mises à jour asynchrones par couche et la quantification ternaire.
• Décrire l'implémentation de l'Optimisation Bayésienne Fédérée et des Algorithmes Évolutifs Fédérés Sécurisés utilisant le masquage Diffie-Hellman.