Retour aux cours

SCI1005

Optimisation Intelligente

Un cours avancé couvrant la théorie et les applications des techniques d'optimisation intelligente, allant des méthodes classiques de gradient aux méta-heuristiques évolutionnaires modernes, à l'optimisation multi-objectifs, aux modèles assistés par surrogats et aux applications d'apprentissage automatique fédéré.

5.0 Évaluation

300 Étudiants

Commencer à apprendre

Aperçu du cours

--- SOURCE TEXT ---

📚 Résumé du contenu

Un cours avancé couvrant la théorie et l'application des techniques d'optimisation intelligente, allant des méthodes classiques par gradient aux méta-heuristiques évolutionnaires modernes, à l'optimisation multi-objectifs, aux modèles assistés par surrogats, ainsi qu'aux applications de l'apprentissage machine fédéré.

Maîtrisez les méta-heuristiques évolutionnaires avancées et l'optimisation intelligente pilotée par données pour des systèmes ingénierie complexes.

🎯 Objectifs d'apprentissage

Comprendre les fondements mathématiques et la taxonomie des problèmes d'optimisation, des fonctions continues et convexes aux cadres combinatoires complexes.
Développer une maîtrise dans l'application des algorithmes évolutionnaires, de l'optimisation multi-objectifs et des modèles assistés par surrogats aux défis réels en ingénierie et apprentissage automatique.

🔹 Leçon 1 : Fondamentaux de l'optimisation (I)

Aperçu : Cette leçon présente les fondements mathématiques et la taxonomie de l'optimisation, en mettant l'accent sur l'identification des variables de décision, des fonctions objectifs et des contraintes. Elle explore la classification des problèmes d'optimisation et les défis pratiques de formulation dans des systèmes complexes comme la conception ingénierie et l'apprentissage automatique.

Résultats d'apprentissage :

Définir les composantes mathématiques d'un problème d'optimisation, y compris les variables de décision, les fonctions objectifs et les contraintes.
Catégoriser les problèmes d'optimisation à l'aide d'une taxonomie multidimensionnelle basée sur les types de variables, les contraintes et les objectifs.
Distinction entre optimum local et global, et identification des propriétés spécifiques de l'optimisation convexe.
Formuler des scénarios du monde réel dans des cadres formels d'optimisation.

🔹 Leçon 2 : Méthodes de Newton-Raphson et de descente de gradient

Aperçu : Cette leçon traite de la transition des méthodes analytiques d'optimisation vers des méthodes numériques itératives pour trouver les optima des fonctions non linéaires. Elle détaille les mécanismes, avantages et limites de la méthode de Newton-Raphson, des approximations quasi-Newton, ainsi que diverses approches basées sur le gradient comme RPROP.

Résultats d'apprentissage :

Identifier les maxima et minima locaux en déterminant où le gradient d'une fonction est nul.
Comparer l'efficacité et les exigences de la méthode de Newton-Raphson versus la descente de gradient dans les espaces univariés et multivariés.
Expliquer les problèmes de "disparition" et de "dépassement" du gradient et leur impact sur la divergence de l'optimisation.
Décrire le rôle des méthodes quasi-Newton et de RPROP pour réduire la charge computationnelle et améliorer la stabilité de l'optimisation.

🔹 Leçon 3 : Algorithmes génétiques et gestion des contraintes

Aperçu : Cette leçon explore les heuristiques stochastiques à base de population appelées Algorithmes évolutionnaires (AE). Elle détaille les fondements biologiques des algorithmes génétiques (AG), diverses schémas de représentation, ainsi que les mécanismes de sélection, de croisement et de mutation, tout en abordant des techniques spécialisées de gestion des contraintes.

Résultats d'apprentissage :

Contraster les méthodes basées sur le gradient avec les heuristiques de recherche à base de population afin d'identifier les cas où les AE sont préférables.
Expliquer la correspondance entre l'évolution biologique et les termes d'optimisation computationnelle.
Mettre en œuvre divers opérateurs d’algorithme génétique, notamment le croisement à n points, la mutation par inversion de bits et la sélection par tournoi.
Appliquer des techniques de gestion des contraintes telles que les fonctions d'adéquation pénalisées et les méthodes de correction basées sur le gradient.

🔹 Leçon 4 : Stratégies évolutionnaires et programmation génétique

Aperçu : Cette leçon couvre des techniques avancées de calcul évolutionnaire, passant des algorithmes génétiques codés en réels aux stratégies évolutionnaires (SE) et à la programmation génétique (PG). Elle détaille des opérateurs spécifiques tels que le croisement binaire simulé, l’adaptation de pas dans les SE, et les représentations arborescentes pour l’évolution de fonctions mathématiques.

Résultats d'apprentissage :

Analyser les mécanismes des algorithmes génétiques codés en réels, notamment le croisement binaire simulé et la mutation polynomiale.
Évaluer les variantes des stratégies évolutionnaires, y compris (1+1)-ES, (\mu, \lambda) et (\mu + \lambda).
Construire des modèles de programmation génétique à l’aide de représentations arborescentes, incluant les ensembles de fonctions primitives et les ensembles terminaux.
Déterminer les méthodes d’initialisation appropriées pour la PG, telles que les méthodes Full, Grow et Ramped-half-and-half.

🔹 Leçon 5 : Différentiation évolutionnaire et optimisation par essaim de particules

Aperçu : Cette leçon traite des techniques avancées de méta-heuristique d'optimisation, en se concentrant sur la Différentiation évolutionnaire (DE) et l'Optimisation par essaim de particules (PSO). Elle détaille les fondements mathématiques de la mutation vectorielle dans DE et les comportements sociaux biologiques qui pilotent le mouvement des particules dans PSO.

Résultats d'apprentissage :

Analyser les techniques de gestion des contraintes, y compris les fonctions d'adéquation pénalisées, les méthodes de réparation et le classement stochastique.
Formuler les étapes de mutation, de croisement et de sélection de l'algorithme de Différentiation évolutionnaire.
Expliquer les mécanismes de l'Optimisation par essaim de particules canonique, notamment les rôles du meilleur individuel, du meilleur global et du poids d'inertie.
Évaluer les variantes de PSO telles que PSO local, PSO avec contraction et algorithmes d'essaim basés sur la compétition (CSO).

🔹 Leçon 6 : Optimisation multi-objectifs : Approches par décomposition

Aperçu : Cette leçon explore les définitions fondamentales de l'optimalité de Pareto et de domination, les méthodes classiques d'agrégation, et les algorithmes évolutionnaires avancés par décomposition. Elle détaille comment les problèmes multi-objectifs sont convertis en sous-problèmes mono-objectifs à l'aide de méthodes comme MOEA/D.

Résultats d'apprentissage :

Définir et identifier la domination de Pareto, les ensembles optimaux de Pareto et les frontières de Pareto dans les espaces décisionnels et objectifs.
Comparer et contraster les approches a priori, a posteriori et interactives en optimisation multi-objectifs.
Expliquer le mécanisme de décomposition en OMO pour transformer les problèmes multi-objectifs en sous-problèmes mono-objectifs.
Analyser les avantages de l'agrégation pondérée dynamique (DWA) et de MOEA/D pour gérer les frontières de Pareto convexes et concaves.

🔹 Leçon 7 : Optimisation multi-objectifs : Approches basées sur la domination

Aperçu : Cette leçon se concentre sur des techniques avancées pour les algorithmes évolutionnaires multi-objectifs (MOEA), détaillant le MOEA guidé par vecteurs de référence (RVEA) et l'attribution de fitness basée sur la domination. Elle explore le maintien de la diversité par nichage et fournit une analyse comparative des algorithmes de tri non dominé comme NSGA-II.

Résultats d'apprentissage :

Implémenter le processus RVEA, incluant la génération de vecteurs de référence et le calcul de la distance pénalisée par angle (APD).
Calculer la fitness basée sur la domination et la diversité à l’aide de l’affectation de rang et des fonctions de partage.
Analyser les étapes procédurales et la complexité computationnelle des algorithmes de tri non dominé de base, rapide et efficace.
Présenter le flux de travail de l’Algorithme génétique de tri non dominé II (NSGA-II).

🔹 Leçon 8 : Indicateurs de performance et sélection avancée

Aperçu : Cette leçon couvre les mécanismes de l’algorithme NSGA-II, y compris la distance de regroupement et la sélection environnementale, et explore les indicateurs d’évaluation de performance. Elle détaille également des méthodes de sélection avancées via les algorithmes d’estimation de distribution (EDAs) et la modélisation de régularité dans les problèmes continus.

Résultats d'apprentissage :

Calculer et appliquer la distance de regroupement et la sélection basée sur le rang dans le cadre de NSGA-II.
Évaluer l’efficacité de différents indicateurs de performance tels que GD, IGD, Hyper-volume et Espacement.
Différencier les opérateurs génétiques traditionnels des approches basées sur les modèles comme les algorithmes d’estimation de distribution (EDAs).
Expliquer comment la régularité dans l’ensemble de Pareto peut être modélisée à l’aide de cartographie d’espace latent et de PCA locale.

🔹 Leçon 9 : Algorithmes d’estimation de distribution et réseaux neuronaux

Aperçu : Ce matériel explore des stratégies pour surmonter la perte de pression de sélection dans l’optimisation à haute dimension et fournit une taxonomie complète des modèles d’apprentissage automatique. Il détaille les fondements mathématiques de l’entraînement des réseaux neuronaux, y compris la rétropropagation et les variantes de descente de gradient.

Résultats d'apprentissage :

Identifier et appliquer des remèdes à la perte de pression de sélection dans l’optimisation multi-objectifs.
Catégoriser les modèles d’apprentissage automatique en types génératifs et discriminatifs et distinguer entre différents paradigmes d’apprentissage.
Expliquer les fondements mathématiques de l’entraînement des réseaux neuronaux, y compris la règle Delta et la rétropropagation.
Évaluer différentes variantes de descente de gradient et heuristiques utilisées pour atténuer les problèmes de convergence.

🔹 Leçon 10 : Sélection de modèle et optimisation structurelle évolutionnaire

Aperçu : Cette leçon explore les défis liés à l’entraînement des réseaux neuronaux profonds, en particulier le problème du gradient qui disparaît et la sélection de modèle pour prévenir le surapprentissage. Elle détaille les techniques de validation, les stratégies d’apprentissage d’ensemble et l’intégration de la computation évolutionnaire avec l’apprentissage local.

Résultats d'apprentissage :

Identifier et atténuer le surapprentissage en utilisant des compromis biais-variance, l’arrêt anticipé et les techniques de validation croisée.
Différencier les méthodes d’apprentissage d’ensemble Bagging, Boosting et Stacking.
Contraster les mécanismes de transmission de Lamarck et de Baldwin dans les paradigmes d’apprentissage évolutionnaire.
Concevoir des cadres d’optimisation structurelle pour les matrices de connexion et les architectures de réseaux neuronaux.

🔹 Leçon 11 : Apprentissage automatique multi-objectifs et optimisation pilotée par données

Aperçu : Cette leçon explore l’intégration des algorithmes évolutionnaires multi-objectifs dans l’apprentissage automatique et l’optimisation pilotée par données. Elle détaille comment les approches basées sur Pareto optimisent les structures de réseaux neuronaux et les regroupements, tout en introduisant des stratégies de gestion de modèles assistés par surrogats pour des évaluations coûteuses.

Résultats d'apprentissage :

Analyser les compromis entre précision du modèle et complexité à l’aide de la régularisation basée sur Pareto.
Évaluer les cadres multi-objectifs pour le regroupement et l’extraction de caractéristiques.
Déterminer les stratégies appropriées de gestion de modèle (individuelle, par population ou par génération) pour l’optimisation assistée par surrogats.

🔹 Leçon 12 : Gestion de modèle de base et optimisation bayésienne

Aperçu : Cette leçon explore l’intégration des méta-modèles (surrogats) dans l’optimisation évolutionnaire pilotée par données afin de gérer les évaluations coûteuses en calcul. Elle détaille les stratégies de gestion de modèle et propose une analyse approfondie de l’Optimisation bayésienne (BO) utilisant les processus gaussiens.

Résultats d'apprentissage :

Définir la gestion de modèle et expliquer sa nécessité pour éviter les minima erronés pendant l’optimisation.
Comparer les stratégies de gestion de modèle basées sur l’individu, la génération et la population.
Exécuter le flux de travail de l’Optimisation bayésienne, depuis le choix des a priori jusqu’à l’utilisation des fonctions d’acquisition.
Analyser le cadre mathématique des processus gaussiens et les exigences sur les noyaux.
Identifier les défis computationnels de la BO et proposer des stratégies de mitigation comme la réduction de dimension.

🔹 Leçon 13 : Optimisation multi-objectifs assistée par surrogats et transfert de connaissances

Aperçu : Cette leçon explore des stratégies avancées pour l’optimisation multi-objectifs assistée par surrogats (SA-MOO), en se concentrant sur RVEA et sa variante assistée par Kriging. Elle détaille les méthodes pour gérer les problèmes multi-objectifs hétérogènes coûteux (HE-MOPs) et introduit trois cadres principaux de transfert de connaissances.

Résultats d'apprentissage :

Analyser les mécanismes des algorithmes évolutionnaires guidés par vecteurs de référence et l’utilisation de la distance pénalisée par angle.
Évaluer les stratégies de gestion de surrogats, y compris l’utilisation d’ensembles et de modèles de Kriging.
Différencier les méthodes d’adaptation de domaine basées sur les paramètres, les instances et hybrides pour le transfert de connaissances.
Appliquer les principes d’optimisation multi-objectifs à des cas d’utilisation ingénierie réels.

🔹 Leçon 14 : Apprentissage automatique évolutionnaire et recherche d’architecture neuronale

Aperçu : Cette leçon explore l’intersection entre le calcul évolutionnaire et l’apprentissage automatique, en se concentrant sur l’Apprentissage automatique automatisé (AutoML) et la Recherche d’Architecture Neuronale (NAS). Elle couvre l’optimisation automatisée des hyperparamètres et la co-évolution de systèmes de contrôle et de morphologie dans la robotique inspirée de la biologie.

Résultats d'apprentissage :

Définir les cinq étapes principales de la Recherche d’Architecture Neuronale Évolutionnaire (E-NAS).
Différencier les espaces de recherche macro et micro, et le rôle des Super-réseaux pour réduire les coûts computationnels.
Identifier des stratégies pour améliorer l’efficacité computationnelle dans NAS, y compris l’héritage de nœuds et les modèles surrogats.
Expliquer les principes de co-évolution cerveau-corps et le rôle des réseaux régulateurs génétiques dans le développement.

🔹 Leçon 15 : Apprentissage automatique préservant la vie privée et apprentissage fédéré

Aperçu : Cette leçon explore la transition de l’apprentissage centralisé basé sur le cloud vers des cadres distribués préservant la vie privée. Elle détaille les mécanismes de l’apprentissage fédéré et examine des solutions techniques pour l’efficacité de la communication et la confidentialité, telles que la confidentialité différentielle et le chiffrement homomorphe.

Résultats d'apprentissage :

Différencier l’apprentissage centralisé dans le cloud de l’apprentissage distribué sur appareil.
Expliquer les mécanismes fondamentaux des techniques de calcul préservant la vie privée, notamment la confidentialité différentielle et le chiffrement homomorphe.
Analyser le flux opérationnel de l’apprentissage fédéré horizontal et vertical, ainsi que les défis liés aux données Non-IID.
Évaluer des stratégies d’efficacité de communication, telles que la mise à jour asynchrone par couche.
Décrire la mise en œuvre d’algorithmes évolutionnaires bayésiens fédérés sécurisés.

--- END SOURCE TEXT ---