WU | Интеллектуальная оптимизация

📚 Краткое содержание

Продвинутый курс, исследующий пересечение классической математической оптимизации, эволюционного вычисления и современного машинного обучения. Охватывает одномерную и многомерную оптимизацию, стратегии, основанные на данных, а также продвинутые темы, такие как поиск архитектуры нейронных сетей и федеративное обучение.

Овладейте развитием интеллекта с помощью продвинутых методов оптимизации, основанных на данных и многокритериальных подходах.

🎯 Цели обучения

1. [Применять продвинутые методы оптимизации к сложным математическим задачам, основанным на данных.]
2. [Проектировать и оценивать эволюционные и архитектуры машинного обучения для многокритериальных сценариев.]

---

🔹 Урок 1: Основы оптимизации

Обзор: Этот урок предоставляет всестороннее введение в математические основы оптимизации — от классических градиентных методов до биологически вдохновлённых стратегий эволюции. Он устанавливает строгие определения переменных решения, целевых функций и ограничений, а также рассматривает классификацию задач оптимизации. Материал переходит от локальных поисковых методов, таких как метод Ньютона-Рафсона и градиентный спуск, к принципам естественной эволюции и механике генетических алгоритмов.

Цели обучения:

• Определить и классифицировать задачи оптимизации: различать непрерывную, дискретную, комбинаторную и выпуклую оптимизацию на основе математических свойств и ограничений.
• Применять классические градиентные методы: использовать метод Ньютона-Рафсона и градиентный спуск (включая варианты, такие как RPROP и импульс), чтобы найти локальные оптимумы дифференцируемых функций.
• Перевести биологическую эволюцию в вычислительную логику: объяснить связь между генотипом/фенотипом, естественным отбором и структурой эволюционных алгоритмов (ЭА).
• Решать алгоритмические проблемы: выявлять и минимизировать распространённые трудности при оптимизации, такие как «пропасть Хэмминга» при двоичном кодировании, «проблема исчезающего градиента» и высокая вычислительная стоимость обращения матрицы Гессе.

---

🔹 Урок 2: Генетические алгоритмы: кодирование, отбор и генетические операторы

Обзор: Этот урок охватывает фундаментальные механизмы канонических и реальных генетических алгоритмов (RCGA). Рассматриваются различные способы представления переменных, включая двоичное, грейсовое и вещественное кодирование, а также механизмы размножения, такие как скрещивание и мутация. Также представлены сложные техники решения комбинаторных задач и управление ограничениями с помощью штрафных функций и методов исправления.

Цели обучения:

• Проанализировать различные схемы кодирования (двоичное против грейсового) и их влияние на причинность поиска и «пропасти Хэмминга».
• Вычислить вероятности отбора и декодировать двоичные строки в целочисленные или вещественные переменные решения.
• Различать различные операторы скрещивания как для двоичных (n-точечное, равномерное), так и для вещественных кодов (BLX, SBX, линейное).
• Формулировать стратегии управления ограничениями и решать комбинаторные задачи в NP-трудных проблемах, таких как задача коммивояжёра (TSP).

---

🔹 Урок 3: Эволюционные стратегии и адаптация шага

Обзор: Этот урок изучает продвинутые методы эволюционного вычисления, в частности механизмы работы с ограничениями и механику эволюционных стратегий (ES). Подробно рассматриваются переход от двоичной к непрерывной оптимизации, подчёркивая важность адаптации шага. Обсуждаются ключевые методы, включая правило 1/5 и адаптацию матрицы ковариаций (CMA-ES).

Цели обучения:

• Оценить методы работы с ограничениями, включая градиентные методы исправления для непрерывных задач и стохастическое ранжирование для несоблюдения условий.
• Применять операторы реального кодированного генетического алгоритма, в частности имитированное бинарное скрещивание (SBX) и полиномиальную мутацию.
• Проанализировать алгоритмическую структуру эволюционных стратегий (ES), включая (1+1)-ES и популяционные варианты с выбором (μ, λ) и (μ + λ).
• Объяснить математическую логику адаптации шага, сравнивая правило 1/5, глобальную и индивидуальную стратегии адаптации шага.

---

🔹 Урок 4: Генетическое программирование и деревообразные представления

Обзор: Этот урок рассматривает генетическое программирование (ГП) как метод решения задач оптимизации и машинного обучения путём представления математических функций и кода в виде деревьев. Студенты изучают, как ГП эволюционирует эти структуры с помощью специфических методов инициализации и генетических операторов. Также рассматриваются методы управления ограничениями, такие как штрафные функции приспособленности в символической регрессии.

Цели обучения:

• Различать наборы примитивных функций и терминальные множества в деревообразных представлениях.
• Выполнять стратегии инициализации, включая методы Полного, Роста и Рампового половины плюс половина.
• Анализировать механизмы рекомбинации и мутации деревьев, включая их влияние на размер и структуру популяции.
• Оценивать методы управления ограничениями в эволюционной оптимизации, особенно жёсткие, динамические и адаптивные штрафы.

---

🔹 Урок 5: Дифференциальная эволюция и варианты частиц-стада

Обзор: Этот урок изучает продвинутые метагенетические методы оптимизации, начиная с методов исправления ограничений для комбинаторных и непрерывных задач. Предоставляется глубокое погружение в механизмы дифференциальной эволюции (DE) и канонического частиц-стада (PSO). Материал расширяется до специализированных вариантов, таких как конкурентный PSO (CSO) и социальное обучение (SL-PSO) для крупномасштабной оптимизации.

Цели обучения:

• Проанализировать методы управления ограничениями, в частности методы исправления для комбинаторных (замена гена) и непрерывных (градиентные) задач.
• Выполнить математические операторы дифференциальной эволюции, включая мутацию разности векторов, скрещивание и отбор.
• Сформулировать уравнения обновления скорости и положения для канонического PSO и его вариантов (локальный PSO, коэффициент сжатия, CSO).
• Различать различные модели интеллекта стада на основе их стратегий обучения (например, глобальный лучший против социального обучения от демонстраций).

---

🔹 Урок 6: Многокритериальная оптимизация: доминирование Парето и классические методы

Обзор: Этот урок рассматривает фундаментальный переход от однокритериальной оптимизации (SOO) к многокритериальной оптимизации (MOO). Подчёркивается, что MOO приводит к множеству компромиссных решений, а не к одному оптимуму. Урок оценивает классические методы, такие как взвешенная агрегация, против современных эволюционных методов декомпозиции, таких как MOEA/D и RVEA.

Цели обучения:

• Математически определить доминирование Парето, множества оптимальности Парето и фронты Парето.
• Различать подходы к многокритериальной оптимизации: априорные, апостериорные и интерактивные.
• Оценить ограничения классической взвешенной агрегации, особенно в отношении вогнутых фронтов Парето.
• Объяснить механизмы алгоритмов на основе декомпозиции, включая адаптацию весов и направление по опорным векторам.

---

🔹 Урок 7: Подходы к многокритериальной оптимизации на основе доминирования и показатели эффективности

Обзор: Этот урок исследует подходы к многокритериальной оптимизации (МОО), основанные на доминировании, с акцентом на стратегии отбора, переходящие от однокритериальных методов к отбору на основе доминирования и разнообразия. Подробно рассматриваются конкретные методы назначения приспособленности, включая ранжирование и ниши для обеспечения разнообразия. Также оцениваются процедурные шаги и вычислительная сложность основных алгоритмов непредвзятого сортирования, применяемых в рамках NSGA-II.

Цели обучения:

• Проанализировать переход от однокритериального отбора к назначению приспособленности на основе доминирования и разнообразия.
• Вычислить ранги решений, карту приспособленности и количество ниш с использованием функций деления.
• Сравнить процедуру логики и вычислительную сложность базовых, быстрых и эффективных алгоритмов непредвзятого сортирования.
• Описать последовательность выполнения генетического алгоритма непредвзятого сортирования (NSGA-II).

---

🔹 Урок 8: Алгоритмы оценки распределения и моделирование регулярности

Обзор: Этот урок исследует продвинутые механизмы отбора в многокритериальной оптимизации, в частности расстояние разреженности в NSGA-II и показатели эффективности, такие как IGD и гиперобъём. Переход осуществляется к алгоритмам оценки распределения (EDA), которые заменяют традиционные генетические операторы вероятностными моделями. В заключение материал представляет «Моделирование регулярности» (MR-MOO), использующее геометрические свойства множеств Парето для повышения эффективности поиска.

Цели обучения:

• Вычислить и реализовать отбор в NSGA-II: определить и вычислить расстояние разреженности, применить правила отбора по плотности.
• Оценить эффективность МОО: различать показатели эффективности, такие как расстояние поколений (GD), обратное расстояние поколений (IGD) и гиперобъём.
• Проанализировать механизмы работы ЭДА: объяснить переход от случайного поиска к построению и выборке из вероятностных моделей (UMDA, UGM, MGM).
• Моделировать регулярность в МОЗ: описать свойство (m-1)-мерного многообразия множеств Парето и использование локального анализа главных компонент (PCA) и отображения в скрытом пространстве в рамках MR-MOO.

---

🔹 Урок 9: Машинное обучение: нейронные сети, обратное распространение и выбор моделей

Обзор: Этот урок описывает переход от многокритериальной оптимизации к продвинутым архитектурам машинного обучения и оценке моделей. Подробно рассматриваются механика многослойных перцептронов (MLP), математическая основа обратного распространения и различные методы оптимизации градиентного спуска. Кроме того, затрагиваются ключевые вопросы выбора моделей, такие как компромисс между смещением и дисперсией, а также методы ансамблей.

Цели обучения:

• Определить пути восстановления давления отбора в многокритериальной оптимизации, включая методы на основе гиперобъёма и декомпозиции.
• Различать генеративные и дискриминативные модели и их роли в машинном обучении.
• Применять правило обучения Δ и обратное распространение с использованием правил дифференцирования для обновления весов нейронных сетей.
• Оценивать стратегии уменьшения переобучения, в частности регуляризацию, раннюю остановку и различные методы кросс-валидации.
• Анализировать методы обучения ансамбля (Бэггинг, Бустинг, Стекинг) для управления компромиссом между смещением и дисперсией и повышения разнообразия моделей.

---

🔹 Урок 10: Меметические алгоритмы и влияние обучения за жизнь

Обзор: Этот урок исследует меметические алгоритмы (МА), которые интегрируют глобальный генетический поиск с локальной фенотипической доработкой через обучение за жизнь. Изучаются механические различия между ламарковской и бальдинской эволюцией, а также применение локального поиска в многокритериальной оптимизации. Также рассмотрено использование эволюционных стратегий для оптимизации структуры и параметров нейронных сетей.

Цели обучения:

• Различать стандартные эволюционные алгоритмы и меметические алгоритмы на основе наличия обучения за жизнь и локального поиска.
• Сравнивать ламарковскую и бальдинскую парадигмы относительно передачи приобретённых фенотипических изменений потомству.
• Оценивать влияние эффекта Бальдина и эффекта маскировки на скорость эволюции и давление отбора.
• Описать методологию оптимизации матриц соединений и параметров весов нейронной сети с помощью эволюционного и градиентного обучения.

---

🔹 Урок 11: Эволюционное машинное обучение и МОМЛ

Обзор: Этот урок рассматривает многокритериальное машинное обучение (МОМЛ) как рамочную систему для балансировки конкурирующих целей при проектировании нейронных сетей, например, точность против сложности. Используя алгоритмы, такие как NSGA-II, материал демонстрирует, как оптимизировать структуру и параметры сетей для получения моделей, соответствующих Парето. Принципы расширяются до практических применений, включая извлечение правил, многокритериальную кластеризацию и устойчивое к шуму извлечение признаков.

Цели обучения:

• Определить математическую основу регуляризации на основе Парето в МОМЛ, особенно компромисс между ошибкой и сложностью модели.
• Объяснить механизмы представления сети и мутации в рамках эволюционной парадигмы.
• Проанализировать фронты оптимальности Парето для извлечения интерпретируемых правил принятия решений из нейронных сетей.
• Описать, как многокритериальная оптимизация применяется к кластеризации и извлечению признаков.

---

🔹 Урок 12: Данные-ориентированная эволюционная оптимизация и управление моделями

Обзор: Этот урок охватывает мотивацию и методологии данных-ориентированной эволюционной оптимизации (ДОЭО), фокусируясь на сценариях, где целевые функции имеют высокую вычислительную стоимость. Подчёркивается критическая роль управления моделями и рассматриваются продвинутые стратегии, такие как индивидуальные и поколенческие подходы. Исследуются подходы байесовской оптимизации с использованием суррогатных моделей для балансировки исследования и эксплуатации.

Цели обучения:

• Определить основные мотивации для данных-ориентированной оптимизации, включая высокую вычислительную нагрузку и дороговизну физических симуляций.
• Классифицировать стратегии управления моделями (индивидуальные, поколенческие, популяционные) и их конкретные методы реализации.
• Объяснить рабочий процесс байесовской оптимизации и роль процессов Гаусса (ГП) как непараметрических суррогатных моделей.

---

🔹 Урок 13: Байесовская оптимизация и функции приобретения

Обзор: Этот урок рассматривает продвинутое применение байесовской оптимизации (БО) в рамках эволюционных систем, с акцентом на суррогатную оптимизацию. Подробно описывается переход от стандартных моделей Гауссова процесса (ГП) к ансамблям для преодоления «проклятия размерности». Материал дополнительно исследует специализированные стратегии для проблем с разнородной стоимостью (ГЕ-МСП) и передачу знаний.

Цели обучения:

• Определить и сравнить распространённые функции приобретения (LCB, EI, выбор по Томпсону), используемые для балансировки исследования и эксплуатации.
• Определить вычислительные ограничения Гауссовых процессов и объяснить стратегии снижения размерности и замены суррогатных моделей.
• Проанализировать методы управления разнородными по стоимости целями с помощью передачи знаний по параметрам и по экземплярам.

---

🔹 Урок 14: Эволюционный поиск архитектуры нейронных сетей (Е-НАС)

Обзор: Этот урок исследует автоматизацию проектирования нейронных сетей с помощью эволюционных алгоритмов, с акцентом на переход от ручного проектирования к автоматизированному поиску. Рассматривается путь Е-НАС, общий вес в суперсетях, а также продвинутые техники, такие как суррогатная оценка. Материал расширяется до биологически вдохновлённых моделей, включая эволюционную пластичность и совместную эволюцию формы.

Цели обучения:

• Определить пятиэтапный процесс Е-НАС и различие между макро- и микро-пространствами поиска.
• Объяснить концепцию общего веса в суперсетях и указать основные проблемы методов одного прохода.
• Описать механизмы наследования узлов, включая применение операторов скрещивания и мутации к направленным ациклическим графам (ДАГ).
• Оценить стратегии снижения вычислительных затрат, такие как прокси-метрики, суррогатные модели и выборочное обучение.

---

🔹 Урок 15: Приватность и федеративное машинное обучение

Обзор: Этот урок исследует переход от централизованного облачного машинного обучения к распределённым, ориентированным на приватность платформам. Рассматриваются основные архитектуры федеративного обучения (горизонтальное и вертикальное) и методы повышения эффективности связи. Также обсуждается интеграция эволюционных алгоритмов для федеративного поиска архитектуры нейросетей (НАС) и безопасных федеративных эволюционных алгоритмов.

Цели обучения:

• Различать централизованное обучение в облаке и распределённое обучение на устройствах с точки зрения приватности, безопасности и точности модели.
• Объяснить механизмы ключевых методов защиты приватности, включая дифференциальную приватность, гомоморфное шифрование и безопасное вычисление с несколькими сторонами.
• Проанализировать рабочий процесс горизонтального и вертикального федеративного обучения и их вызовы при работе с данными, не являющимися одинаково распределёнными (non-IID).
• Оценить методы повышения эффективности связи, такие как асинхронные обновления по уровням и троичная квантизация.
• Описать реализацию федеративной байесовской оптимизации и безопасных федеративных эволюционных алгоритмов с использованием маскировки Диффи-Хеллмана.