WU | Optimización Inteligente

📚 Resumen del Contenido

Un curso avanzado que explora la intersección entre la optimización matemática clásica, la computación evolutiva y el aprendizaje automático contemporáneo. Cubre la optimización de una y múltiples objetivos, estrategias basadas en datos y temas avanzados como la Búsqueda de Arquitecturas Neuronales y el Aprendizaje Federado.

Domina la evolución de la inteligencia mediante optimización avanzada basada en datos y multiobjetivo.

🎯 Objetivos de Aprendizaje

1. [Aplicar técnicas avanzadas de optimización a problemas matemáticos complejos y basados en datos.]
2. [Diseñar y evaluar arquitecturas evolutivas y de aprendizaje automático para escenarios multiobjetivo.]

---

🔹 Lección 1: Fundamentos de la Optimización

Resumen: Esta lección proporciona una introducción completa a los fundamentos matemáticos de la optimización, desde técnicas clásicas basadas en gradientes hasta estrategias inspiradas biológicamente. Establece definiciones rigurosas de variables de decisión, funciones objetivo y restricciones, mientras explora la taxonomía de los problemas de optimización. El material avanza desde métodos de búsqueda local como Newton-Raphson y Descenso por Gradiente hacia los principios de la evolución natural y la mecánica de los Algoritmos Genéticos.

Resultados de Aprendizaje:

• Definir y clasificar problemas de optimización: Distinguir entre optimización continua, discreta, combinatoria y convexa según sus propiedades matemáticas y restricciones.
• Aplicar métodos clásicos basados en gradientes: Utilizar el método de Newton-Raphson y el Descenso por Gradiente (incluyendo variantes como RPROP y Momentum) para encontrar óptimos locales de funciones diferenciables.
• Traducir la evolución biológica a lógica computacional: Explicar la relación entre genotipo/fenotipo, selección natural y la estructura de los Algoritmos Evolutivos (AE).
• Abordar desafíos algorítmicos: Identificar y mitigar problemas comunes en la optimización, como el "acantilado de Hamming" en codificación binaria, el "problema de gradiente desvanecido" y el costo computacional de la inversión de la matriz hessiana.

---

🔹 Lección 2: Algoritmos Genéticos: Codificación, Selección y Operadores Genéticos

Resumen: Esta lección cubre los mecanismos fundamentales de los Algoritmos Genéticos Canónicos y de Codificación Real (RCGA). Explora representaciones de variables incluyendo codificación binaria, codificación Gray y codificación real, junto con mecanismos de reproducción como el cruce y la mutación. El material también introduce técnicas avanzadas para resolver problemas combinatorios y manejar restricciones mediante funciones de penalización y métodos de reparación.

Resultados de Aprendizaje:

• Analizar diferentes esquemas de representación (codificación binaria frente a codificación Gray) y su impacto en la causalidad de búsqueda y los "acantilados de Hamming".
• Calcular probabilidades de selección y decodificar cadenas binarias en variables de decisión enteras o reales.
• Diferenciar entre diversos operadores de cruce para algoritmos genéticos binarios (n-puntos, uniforme) y de codificación real (BLX, SBX, lineal).
• Formular estrategias para manejar restricciones y optimización combinatoria en problemas NP-difíciles como el Problema del Vendedor Viajero (TSP).

---

🔹 Lección 3: Estrategias Evolutivas y Adaptación del Paso de Tamaño

Resumen: Esta lección explora técnicas avanzadas de computación evolutiva, centrándose específicamente en mecanismos para manejar restricciones y la mecánica de las Estrategias Evolutivas (ES). Detalla la transición de la optimización binaria a la continua, enfatizando la importancia de la adaptación del paso de tamaño. Se discuten métodos clave como la regla del 1/5 y la Adaptación de Matriz de Covarianza (CMA-ES).

Resultados de Aprendizaje:

• Evaluar técnicas para manejar restricciones, incluyendo métodos de reparación basados en gradientes para problemas continuos y ordenamiento estocástico para soluciones inviables.
• Aplicar operadores de Algoritmo Genético de Codificación Real, específicamente el Cruzamiento Binario Simulado (SBX) y la Mutación Polinomial.
• Analizar la estructura algorítmica de las Estrategias Evolutivas (ES), incluyendo (1+1)-ES y variantes basadas en población usando selección (μ, λ) y (μ + λ).
• Explicar la lógica matemática detrás de la adaptación del paso de tamaño, comparando la regla del 1/5, el paso de tamaño global y las estrategias de paso individual.

---

🔹 Lección 4: Programación Genética y Representaciones Basadas en Árboles

Resumen: Esta lección trata la Programación Genética (GP) como un método para resolver problemas de optimización y aprendizaje automático representando funciones matemáticas y código como estructuras de árbol. Los estudiantes exploran cómo GP evoluciona estas estructuras mediante métodos de inicialización específicos y operadores genéticos. La lección también aborda técnicas para manejar restricciones como funciones de aptitud penalizadas dentro de la regresión simbólica.

Resultados de Aprendizaje:

• Diferenciar entre conjuntos de funciones primitivas y conjuntos terminales en representaciones basadas en árboles.
• Ejecutar estrategias de inicialización, incluyendo los métodos Full, Grow y Ramped-half-and-half.
• Analizar la mecánica de la recombinación y mutación basada en árboles, incluyendo sus efectos sobre el tamaño y la estructura de la población.
• Evaluar técnicas para manejar restricciones en la optimización evolutiva, específicamente penalizaciones duras, dinámicas y adaptativas.

---

🔹 Lección 5: Evolución Diferencial y Variantes de Optimización de Enjambres de Partículas

Resumen: Esta lección explora técnicas avanzadas de metaheurística de optimización, comenzando con el manejo de restricciones mediante reparación tanto para problemas combinatorios como continuos. Proporciona un análisis profundo de los mecanismos de la Evolución Diferencial (DE) y la Optimización de Enjambres de Partículas Canónica (PSO). El contenido se extiende hacia variantes especializadas como PSO basado en competencia (CSO) y PSO de Aprendizaje Social (SL-PSO) para optimización a gran escala.

Resultados de Aprendizaje:

• Analizar técnicas de manejo de restricciones, específicamente métodos de reparación para optimización combinatoria (reemplazo de genes) y continua (basada en gradientes).
• Ejecutar los operadores matemáticos de Evolución Diferencial, incluyendo mutación por diferencia vectorial, cruce y selección.
• Formular las ecuaciones de actualización de velocidad y posición para PSO canónico y sus variantes (PSO local, factor de contracción y CSO).
• Distinguir entre diversos modelos de inteligencia de enjambres según sus estrategias de aprendizaje (por ejemplo, mejor global vs. aprendizaje social de demostradores).

---

🔹 Lección 6: Optimización Multiobjetivo: Dominancia de Pareto y Métodos Clásicos

Resumen: Esta lección cubre la transición fundamental desde la Optimización de un Solo Objetivo (SOO) hasta la Optimización Multiobjetivo (MOO). Destaca que la MOO produce un conjunto de soluciones de compromiso en lugar de un único óptimo. La lección evalúa métodos clásicos como la Agregación Ponderada frente a enfoques modernos de descomposición evolutiva como MOEA/D y RVEA.

Resultados de Aprendizaje:

• Definir matemáticamente la dominancia de Pareto, los conjuntos de soluciones óptimas de Pareto y los frentes de Pareto.
• Distinguir entre enfoques a priori, a posteriori e interactivos en la optimización multiobjetivo.
• Evaluar las limitaciones de la agregación ponderada clásica, especialmente respecto a frentes de Pareto cóncavos.
• Explicar los mecanismos de algoritmos basados en descomposición, incluyendo la adaptación de pesos y la guía por vectores de referencia.

---

🔹 Lección 7: Enfoques MOO Basados en Dominancia y Indicadores de Desempeño

Resumen: Esta lección explora enfoques basados en dominancia en la Optimización Multiobjetivo (MOO), centrándose en estrategias de selección que pasan de métodos de un solo objetivo a selección basada en dominancia y diversidad. Detalla técnicas específicas de asignación de aptitud, incluyendo mapeo de rangos y nicho para mantener diversidad. La lección también evalúa los pasos procedimentales y complejidades computacionales de los principales algoritmos de ordenamiento no dominante aplicados en el marco NSGA-II.

Resultados de Aprendizaje:

• Analizar la transición de la selección de un solo objetivo a la asignación de aptitud basada en dominancia y diversidad.
• Calcular rangos de soluciones, mapeo de aptitud y conteo de nichos usando funciones de compartimiento.
• Comparar la lógica procedimental y la complejidad computacional de los algoritmos de ordenamiento no dominante básicos, rápidos y eficientes.
• Esquematizar el flujo de ejecución del Algoritmo Genético de Ordenamiento No Dominante (NSGA-II).

---

🔹 Lección 8: Algoritmos de Estimación de Distribución y Modelado de Regularidad

Resumen: Esta lección explora mecanismos avanzados de selección en la Optimización Multiobjetivo, centrándose específicamente en la distancia de apelmazamiento de NSGA-II y los indicadores de desempeño como IGD y Hipervolumen. Transita hacia los Algoritmos de Estimación de Distribución (EDAs), que sustituyen operadores genéticos tradicionales por modelos probabilísticos. Finalmente, el material presenta "Modelado de Regularidad" (MR-MOO), aprovechando las propiedades geométricas de los conjuntos de Pareto para mejorar la eficiencia de búsqueda.

Resultados de Aprendizaje:

• Calcular e implementar la selección de NSGA-II: Definir y calcular la distancia de apelmazamiento y aplicar reglas de selección por torneo con apelmazamiento.
• Evaluar el desempeño de la MOO: Diferenciar entre indicadores de desempeño como Distancia Generacional (GD), Distancia Generacional Invertida (IGD) e Hipervolumen.
• Analizar mecanismos de EDA: Explicar el cambio de operadores de búsqueda aleatoria a construcción y muestreo a partir de modelos probabilísticos (UMDA, UGM, MGM).
• Modelar regularidad en problemas de optimización multiobjetivo: Describir la propiedad de manifold (m-1)-dimensional de los conjuntos de Pareto y cómo se utilizan el PCA local y el mapeo en espacio latente en MR-MOO.

---

🔹 Lección 9: Aprendizaje Automático: Redes Neuronales, Retropropagación y Selección de Modelos

Resumen: Esta lección cubre la transición desde la optimización multiobjetivo a arquitecturas avanzadas de aprendizaje automático y evaluación de modelos. Detalla la mecánica de las Redes Perceptrón Multicapa (MLP), la base matemática de la retropropagación y diversas técnicas de optimización por descenso de gradiente. Además, aborda cuestiones críticas en la selección de modelos, como el trade-off entre sesgo y varianza y los métodos de ensemble.

Resultados de Aprendizaje:

• Identificar remedios para la pérdida de presión de selección en la optimización multiobjetivo, incluyendo métodos basados en hipervolumen y descomposición.
• Diferenciar entre modelos generativos y discriminativos y sus respectivos roles en el aprendizaje automático.
• Aplicar la regla de entrenamiento Delta y la retropropagación usando reglas de diferenciación para actualizar pesos de redes neuronales.
• Evaluar estrategias para mitigar el sobreajuste, específicamente regularización, detención anticipada y diversas técnicas de validación cruzada.
• Analizar métodos de aprendizaje por ensamble (Bagging, Boosting, Stacking) para gestionar el trade-off entre sesgo y varianza y mejorar la diversidad del modelo.

---

🔹 Lección 10: Algoritmos Meméticos e Influencia del Aprendizaje de Vida

Resumen: Esta lección explora los Algoritmos Meméticos (MA), que integran la exploración genética global con la refinación fenotípica local mediante aprendizaje durante toda la vida. Examina las diferencias mecánicas entre la evolución Lamarckiana y Baldwiniana y la aplicación de búsquedas locales en optimización multiobjetivo. El material también cubre el uso de estrategias evolutivas para optimizar estructuras y parámetros de redes neuronales.

Resultados de Aprendizaje:

• Diferenciar entre Algoritmos Evolutivos estándar y Algoritmos Meméticos según la inclusión de aprendizaje de vida y búsquedas locales.
• Contrastar los paradigmas Lamarckiano y Baldwiniano respecto a la transmisión de cambios fenotípicos adquiridos a la descendencia.
• Evaluar la influencia del Efecto Baldwin frente al Efecto Oculto sobre la tasa de evolución y la presión de selección.
• Describir la metodología para optimizar matrices de conexión y parámetros de peso de Redes Neuronales (NN) mediante entrenamiento evolutivo y basado en gradiente.

---

🔹 Lección 11: Aprendizaje Automático Evolutivo y MOML

Resumen: Esta lección explora el Aprendizaje Automático Multiobjetivo (MOML) como marco para equilibrar objetivos competitivos en el diseño de redes neuronales, como precisión versus complejidad. Usando algoritmos como NSGA-II, el material demuestra cómo optimizar estructuras y parámetros de red para derivar modelos óptimos de Pareto. El contenido se extiende a aplicaciones prácticas incluyendo extracción de reglas, clustering multiobjetivo y extracción de características robustas ante ruido.

Resultados de Aprendizaje:

• Definir la base matemática de la regularización basada en Pareto en MOML, específicamente el trade-off entre error y complejidad del modelo.
• Explicar los mecanismos de representación de red y mutación dentro de un marco evolutivo.
• Analizar frentes óptimos de Pareto para extraer reglas de decisión interpretables de redes neuronales.
• Describir cómo la optimización multiobjetivo se aplica al clustering y a la extracción de características.

---

🔹 Lección 12: Optimización Evolutiva Dirigida por Datos y Gestión de Modelos

Resumen: Esta lección cubre las motivaciones y metodologías para la Optimización Evolutiva Dirigida por Datos (DDEO), centrándose en escenarios donde las funciones objetivo son computacionalmente costosas. Detalla el papel crítico de la Gestión de Modelos y explora estrategias avanzadas como enfoques basados en individuos y generaciones. Se examinan enfoques de optimización bayesiana utilizando modelos de sustitución para equilibrar exploración y explotación.

Resultados de Aprendizaje:

• Identificar las motivaciones centrales de la optimización dirigida por datos, incluyendo la intensidad computacional y el costo de simulaciones físicas.
• Categorizar estrategias de gestión de modelos (basadas en individuo, generación y población) y sus técnicas de implementación específicas.
• Explicar el flujo de trabajo de la Optimización Bayesiana y el papel de los Procesos Gaussians (PG) como modelos de sustitución no paramétricos.

---

🔹 Lección 13: Optimización Bayesiana y Funciones de Adquisición

Resumen: Esta lección cubre la aplicación avanzada de la Optimización Bayesiana (BO) dentro de marcos evolutivos, centrándose en la optimización asistida por modelos de sustitución. Detalla la transición de modelos estándar de Proceso Gaussiano (PG) a conjuntos para abordar la "Maldición de la Dimensión". El material explora estrategias especializadas para Problemas Multiobjetivo con Costo Heterogéneo (HE-MOPs) y transferencia de conocimiento.

Resultados de Aprendizaje:

• Definir y comparar funciones de adquisición comunes (LCB, EI, Muestreo de Thompson) usadas para equilibrar exploración y explotación.
• Identificar las limitaciones computacionales de los Procesos Gaussians y explicar estrategias de reducción de dimensión y sustitución de modelos.
• Analizar métodos para manejar objetivos con costos heterogéneos mediante transferencia de conocimiento basada en parámetros y casos.

---

🔹 Lección 14: Búsqueda Evolutiva de Arquitecturas Neuronales (E-NAS)

Resumen: Esta lección explora la automatización del diseño de redes neuronales mediante algoritmos evolutivos, centrándose en la transición desde arquitecturas hechas a mano hasta espacios de búsqueda automatizados. Cubre el pipeline de E-NAS, el compartir pesos en supernets, y técnicas avanzadas como evaluación asistida por modelos de sustitución. El material también se extiende hacia modelos inspirados biológicamente, incluyendo plasticidad evolucionada y coevolución de morfología.

Resultados de Aprendizaje:

• Definir el proceso de cinco pasos de E-NAS y la distinción entre espacios de búsqueda macro y micro.
• Explicar el concepto de compartir pesos en supernets y identificar los principales desafíos de los métodos de un solo paso.
• Describir los mecanismos de herencia de nodos, incluyendo cómo se aplican operadores de cruce y mutación a Grafos Acíclicos Dirigidos (DAG).
• Evaluar estrategias para reducir costos computacionales, como métricas proxy, modelos de sustitución y entrenamiento muestral.

---

🔹 Lección 15: Aprendizaje Automático Privado y Federado

Resumen: Esta lección explora la transición desde el aprendizaje automático centralizado en la nube hasta marcos distribuidos y privados. Cubre las arquitecturas fundamentales del Aprendizaje Federado (horizontal y vertical) y técnicas para mejorar la eficiencia comunicacional. La lección también discute la integración de algoritmos evolutivos para la Búsqueda de Arquitecturas Neuronales Federada (NAS) y Algoritmos Evolutivos Seguros Federados.

Resultados de Aprendizaje:

• Distinguir entre el aprendizaje en la nube centralizada y el aprendizaje distribuido en dispositivos locales en términos de privacidad, seguridad y precisión del modelo.
• Explicar la mecánica de técnicas clave de protección de privacidad, incluyendo Privacidad Diferencial, Criptografía Homomórfica y Computación Multiparte Segura.
• Analizar el flujo operativo del Aprendizaje Federado Horizontal y Vertical y sus respectivos desafíos con datos no IID.
• Evaluar métodos de eficiencia comunicacional, como Actualizaciones Asíncronas por Capa y Cuantificación Ternaria.
• Describir la implementación del Aprendizaje Bayesiano Federado y Algoritmos Evolutivos Federados Seguros usando enmascaramiento de Diffie-Hellman.