WU | Интеллектуальная оптимизация

Обзор: Этот урок изучает продвинутые методы эволюционного вычисления, в частности механизмы работы с ограничениями и механику эволюционных стратегий (ES). Подробно рассматриваются переход от двоичной к непрерывной оптимизации, подчёркивая важность адаптации шага. Обсуждаются ключевые методы, включая правило 1/5 и адаптацию матрицы ковариаций (CMA-ES).

Цели обучения:

• Оценить методы работы с ограничениями, включая градиентные методы исправления для непрерывных задач и стохастическое ранжирование для несоблюдения условий.
• Применять операторы реального кодированного генетического алгоритма, в частности имитированное бинарное скрещивание (SBX) и полиномиальную мутацию.
• Проанализировать алгоритмическую структуру эволюционных стратегий (ES), включая (1+1)-ES и популяционные варианты с выбором (μ, λ) и (μ + λ).
• Объяснить математическую логику адаптации шага, сравнивая правило 1/5, глобальную и индивидуальную стратегии адаптации шага.

Обзор: Этот урок рассматривает генетическое программирование (ГП) как метод решения задач оптимизации и машинного обучения путём представления математических функций и кода в виде деревьев. Студенты изучают, как ГП эволюционирует эти структуры с помощью специфических методов инициализации и генетических операторов. Также рассматриваются методы управления ограничениями, такие как штрафные функции приспособленности в символической регрессии.

Цели обучения:

• Различать наборы примитивных функций и терминальные множества в деревообразных представлениях.
• Выполнять стратегии инициализации, включая методы Полного, Роста и Рампового половины плюс половина.
• Анализировать механизмы рекомбинации и мутации деревьев, включая их влияние на размер и структуру популяции.
• Оценивать методы управления ограничениями в эволюционной оптимизации, особенно жёсткие, динамические и адаптивные штрафы.

Обзор: Этот урок изучает продвинутые метагенетические методы оптимизации, начиная с методов исправления ограничений для комбинаторных и непрерывных задач. Предоставляется глубокое погружение в механизмы дифференциальной эволюции (DE) и канонического частиц-стада (PSO). Материал расширяется до специализированных вариантов, таких как конкурентный PSO (CSO) и социальное обучение (SL-PSO) для крупномасштабной оптимизации.

Цели обучения:

• Проанализировать методы управления ограничениями, в частности методы исправления для комбинаторных (замена гена) и непрерывных (градиентные) задач.
• Выполнить математические операторы дифференциальной эволюции, включая мутацию разности векторов, скрещивание и отбор.
• Сформулировать уравнения обновления скорости и положения для канонического PSO и его вариантов (локальный PSO, коэффициент сжатия, CSO).
• Различать различные модели интеллекта стада на основе их стратегий обучения (например, глобальный лучший против социального обучения от демонстраций).

Обзор: Этот урок рассматривает фундаментальный переход от однокритериальной оптимизации (SOO) к многокритериальной оптимизации (MOO). Подчёркивается, что MOO приводит к множеству компромиссных решений, а не к одному оптимуму. Урок оценивает классические методы, такие как взвешенная агрегация, против современных эволюционных методов декомпозиции, таких как MOEA/D и RVEA.

Цели обучения:

• Математически определить доминирование Парето, множества оптимальности Парето и фронты Парето.
• Различать подходы к многокритериальной оптимизации: априорные, апостериорные и интерактивные.
• Оценить ограничения классической взвешенной агрегации, особенно в отношении вогнутых фронтов Парето.
• Объяснить механизмы алгоритмов на основе декомпозиции, включая адаптацию весов и направление по опорным векторам.

Обзор: Этот урок исследует подходы к многокритериальной оптимизации (МОО), основанные на доминировании, с акцентом на стратегии отбора, переходящие от однокритериальных методов к отбору на основе доминирования и разнообразия. Подробно рассматриваются конкретные методы назначения приспособленности, включая ранжирование и ниши для обеспечения разнообразия. Также оцениваются процедурные шаги и вычислительная сложность основных алгоритмов непредвзятого сортирования, применяемых в рамках NSGA-II.

Цели обучения:

• Проанализировать переход от однокритериального отбора к назначению приспособленности на основе доминирования и разнообразия.
• Вычислить ранги решений, карту приспособленности и количество ниш с использованием функций деления.
• Сравнить процедуру логики и вычислительную сложность базовых, быстрых и эффективных алгоритмов непредвзятого сортирования.
• Описать последовательность выполнения генетического алгоритма непредвзятого сортирования (NSGA-II).

Обзор: Этот урок исследует продвинутые механизмы отбора в многокритериальной оптимизации, в частности расстояние разреженности в NSGA-II и показатели эффективности, такие как IGD и гиперобъём. Переход осуществляется к алгоритмам оценки распределения (EDA), которые заменяют традиционные генетические операторы вероятностными моделями. В заключение материал представляет «Моделирование регулярности» (MR-MOO), использующее геометрические свойства множеств Парето для повышения эффективности поиска.

Цели обучения:

• Вычислить и реализовать отбор в NSGA-II: определить и вычислить расстояние разреженности, применить правила отбора по плотности.
• Оценить эффективность МОО: различать показатели эффективности, такие как расстояние поколений (GD), обратное расстояние поколений (IGD) и гиперобъём.
• Проанализировать механизмы работы ЭДА: объяснить переход от случайного поиска к построению и выборке из вероятностных моделей (UMDA, UGM, MGM).
• Моделировать регулярность в МОЗ: описать свойство (m-1)-мерного многообразия множеств Парето и использование локального анализа главных компонент (PCA) и отображения в скрытом пространстве в рамках MR-MOO.

Обзор: Этот урок описывает переход от многокритериальной оптимизации к продвинутым архитектурам машинного обучения и оценке моделей. Подробно рассматриваются механика многослойных перцептронов (MLP), математическая основа обратного распространения и различные методы оптимизации градиентного спуска. Кроме того, затрагиваются ключевые вопросы выбора моделей, такие как компромисс между смещением и дисперсией, а также методы ансамблей.

Цели обучения:

• Определить пути восстановления давления отбора в многокритериальной оптимизации, включая методы на основе гиперобъёма и декомпозиции.
• Различать генеративные и дискриминативные модели и их роли в машинном обучении.
• Применять правило обучения Δ и обратное распространение с использованием правил дифференцирования для обновления весов нейронных сетей.
• Оценивать стратегии уменьшения переобучения, в частности регуляризацию, раннюю остановку и различные методы кросс-валидации.
• Анализировать методы обучения ансамбля (Бэггинг, Бустинг, Стекинг) для управления компромиссом между смещением и дисперсией и повышения разнообразия моделей.

Обзор: Этот урок исследует меметические алгоритмы (МА), которые интегрируют глобальный генетический поиск с локальной фенотипической доработкой через обучение за жизнь. Изучаются механические различия между ламарковской и бальдинской эволюцией, а также применение локального поиска в многокритериальной оптимизации. Также рассмотрено использование эволюционных стратегий для оптимизации структуры и параметров нейронных сетей.

Цели обучения:

• Различать стандартные эволюционные алгоритмы и меметические алгоритмы на основе наличия обучения за жизнь и локального поиска.
• Сравнивать ламарковскую и бальдинскую парадигмы относительно передачи приобретённых фенотипических изменений потомству.
• Оценивать влияние эффекта Бальдина и эффекта маскировки на скорость эволюции и давление отбора.
• Описать методологию оптимизации матриц соединений и параметров весов нейронной сети с помощью эволюционного и градиентного обучения.

Обзор: Этот урок рассматривает многокритериальное машинное обучение (МОМЛ) как рамочную систему для балансировки конкурирующих целей при проектировании нейронных сетей, например, точность против сложности. Используя алгоритмы, такие как NSGA-II, материал демонстрирует, как оптимизировать структуру и параметры сетей для получения моделей, соответствующих Парето. Принципы расширяются до практических применений, включая извлечение правил, многокритериальную кластеризацию и устойчивое к шуму извлечение признаков.

Цели обучения:

• Определить математическую основу регуляризации на основе Парето в МОМЛ, особенно компромисс между ошибкой и сложностью модели.
• Объяснить механизмы представления сети и мутации в рамках эволюционной парадигмы.
• Проанализировать фронты оптимальности Парето для извлечения интерпретируемых правил принятия решений из нейронных сетей.
• Описать, как многокритериальная оптимизация применяется к кластеризации и извлечению признаков.

Обзор: Этот урок охватывает мотивацию и методологии данных-ориентированной эволюционной оптимизации (ДОЭО), фокусируясь на сценариях, где целевые функции имеют высокую вычислительную стоимость. Подчёркивается критическая роль управления моделями и рассматриваются продвинутые стратегии, такие как индивидуальные и поколенческие подходы. Исследуются подходы байесовской оптимизации с использованием суррогатных моделей для балансировки исследования и эксплуатации.

Цели обучения:

• Определить основные мотивации для данных-ориентированной оптимизации, включая высокую вычислительную нагрузку и дороговизну физических симуляций.
• Классифицировать стратегии управления моделями (индивидуальные, поколенческие, популяционные) и их конкретные методы реализации.
• Объяснить рабочий процесс байесовской оптимизации и роль процессов Гаусса (ГП) как непараметрических суррогатных моделей.

Обзор: Этот урок рассматривает продвинутое применение байесовской оптимизации (БО) в рамках эволюционных систем, с акцентом на суррогатную оптимизацию. Подробно описывается переход от стандартных моделей Гауссова процесса (ГП) к ансамблям для преодоления «проклятия размерности». Материал дополнительно исследует специализированные стратегии для проблем с разнородной стоимостью (ГЕ-МСП) и передачу знаний.

Цели обучения:

• Определить и сравнить распространённые функции приобретения (LCB, EI, выбор по Томпсону), используемые для балансировки исследования и эксплуатации.
• Определить вычислительные ограничения Гауссовых процессов и объяснить стратегии снижения размерности и замены суррогатных моделей.
• Проанализировать методы управления разнородными по стоимости целями с помощью передачи знаний по параметрам и по экземплярам.

Обзор: Этот урок исследует автоматизацию проектирования нейронных сетей с помощью эволюционных алгоритмов, с акцентом на переход от ручного проектирования к автоматизированному поиску. Рассматривается путь Е-НАС, общий вес в суперсетях, а также продвинутые техники, такие как суррогатная оценка. Материал расширяется до биологически вдохновлённых моделей, включая эволюционную пластичность и совместную эволюцию формы.

Цели обучения:

• Определить пятиэтапный процесс Е-НАС и различие между макро- и микро-пространствами поиска.
• Объяснить концепцию общего веса в суперсетях и указать основные проблемы методов одного прохода.
• Описать механизмы наследования узлов, включая применение операторов скрещивания и мутации к направленным ациклическим графам (ДАГ).
• Оценить стратегии снижения вычислительных затрат, такие как прокси-метрики, суррогатные модели и выборочное обучение.

Обзор: Этот урок исследует переход от централизованного облачного машинного обучения к распределённым, ориентированным на приватность платформам. Рассматриваются основные архитектуры федеративного обучения (горизонтальное и вертикальное) и методы повышения эффективности связи. Также обсуждается интеграция эволюционных алгоритмов для федеративного поиска архитектуры нейросетей (НАС) и безопасных федеративных эволюционных алгоритмов.

Цели обучения:

• Различать централизованное обучение в облаке и распределённое обучение на устройствах с точки зрения приватности, безопасности и точности модели.
• Объяснить механизмы ключевых методов защиты приватности, включая дифференциальную приватность, гомоморфное шифрование и безопасное вычисление с несколькими сторонами.
• Проанализировать рабочий процесс горизонтального и вертикального федеративного обучения и их вызовы при работе с данными, не являющимися одинаково распределёнными (non-IID).
• Оценить методы повышения эффективности связи, такие как асинхронные обновления по уровням и троичная квантизация.
• Описать реализацию федеративной байесовской оптимизации и безопасных федеративных эволюционных алгоритмов с использованием маскировки Диффи-Хеллмана.