К курсам
SCI1005

Интеллектуальная оптимизация

Продвинутый курс, посвящённый теории и применению интеллектуальных методов оптимизации, от классических градиентных методов до современных эволюционных мета-эвристик, многокритериальной оптимизации, моделей с использованием заменителей и приложений федеративного машинного обучения.

5.0 Рейтинг
300 Студенты
Начать обучение

Обзор курса

📚 Краткое содержание

Продвинутый курс, охватывающий теорию и применение интеллектуальных методов оптимизации, от классических градиентных методов до современных эволюционных метагеометрических подходов, многокритериальной оптимизации, моделей с приближёнными заменителями и применений федеративного машинного обучения.

Освойте продвинутые эволюционные метагеометрические методы и интеллектуальную оптимизацию на основе данных для сложных инженерных систем.

🎯 Цели обучения

  1. Понять математические основы и классификацию задач оптимизации — от непрерывных и выпуклых до сложных комбинаторных структур.
  2. Освоить применение вычислительной эволюции, многокритериальной оптимизации и моделей с приближёнными заменителями для решения реальных задач в области инженерии и машинного обучения.

🔹 Урок 1: Основы оптимизации (I)

Обзор: В этом уроке рассматриваются математические основы и классификация задач оптимизации, с акцентом на выявление переменных решений, целевых функций и ограничений. Изучается классификация задач оптимизации и практические трудности формулирования проблем в сложных системах, таких как проектирование инженерных объектов и обучение машин.

Результаты обучения:

  • Определить математические компоненты задачи оптимизации, включая переменные решений, целевые функции и ограничения.
  • Классифицировать задачи оптимизации по многоуровневой системе, основанной на типах переменных, ограничениях и целях.
  • Различать локальные и глобальные оптимумы, а также определить особенности выпуклой оптимизации.
  • Формализовать реальные ситуации в виде формальных моделей оптимизации.

🔹 Урок 2: Методы Ньютона-Рафсона и градиентного спуска

Обзор: В этом уроке рассматривается переход от аналитической оптимизации к итерационным численным методам поиска оптимума нелинейных функций. Подробно описаны механика, преимущества и ограничения метода Ньютона-Рафсона, приближений квази-Ньютона и различных градиентных подходов, таких как RPROP.

Результаты обучения:

  • Обнаруживать локальные максимумы и минимумы, определяя точки, где градиент функции равен нулю.
  • Сравнить эффективность и требования метода Ньютона-Рафсона и градиентного спуска в одномерном и многомерном пространствах.
  • Объяснить проблемы «исчезновения» и «эксплозии» градиента и их влияние на расхождение оптимизации.
  • Описать цель квази-Ньютоновских методов и RPROP по снижению вычислительной нагрузки и повышению устойчивости оптимизации.

🔹 Урок 3: Генетические алгоритмы и обработка ограничений

Обзор: В этом уроке рассматриваются стохастические эвристические методы поиска на основе популяций, известные как эволюционные алгоритмы (EA). Подробно изложены биологические основы генетических алгоритмов (GA), различные схемы представления, механизмы отбора, скрещивания и мутации, а также специализированные методы обработки ограничений.

Результаты обучения:

  • Сравнить градиентные методы с эвристиками поиска на основе популяции, чтобы определить, когда предпочтительнее использовать ЭА.
  • Объяснить соответствие между биологической эволюцией и терминологией вычислительной оптимизации.
  • Реализовать операторы генетического алгоритма, включая множественное скрещивание, мутацию бита и турнирный отбор.
  • Применить методы обработки ограничений, такие как штрафные функции приспособленности и методы исправления на основе градиента.

🔹 Урок 4: Эволюционные стратегии и генетическое программирование

Обзор: В этом уроке рассматриваются продвинутые методы вычислительной эволюции, переход от вещественно-кодированных генетических алгоритмов к эволюционным стратегиям (ES) и генетическому программированию (GP). Подробно описаны конкретные операторы, такие как имитация двоичного скрещивания, адаптация шага в ES и деревообразные представления для эволюции математических функций.

Результаты обучения:

  • Проанализировать механизмы вещественно-кодированных генетических алгоритмов, особенно имитацию двоичного скрещивания и полиномиальную мутацию.
  • Оценить варианты эволюционных стратегий, включая (1+1)-ES, (\mu, \lambda) и (\mu + \lambda) схемы отбора.
  • Создавать модели генетического программирования с использованием деревообразных представлений, включая наборы примитивных функций и терминалов.
  • Определить подходящие методы инициализации для ГП, такие как методы "Full", "Grow" и "Ramped-half-and-half".

🔹 Урок 5: Дифференциальная эволюция и частицная оптимизация

Обзор: В этом уроке рассматриваются продвинутые метагеометрические методы оптимизации, с фокусом на дифференциальную эволюцию (DE) и частицную оптимизацию (PSO). Подробно описаны математические основы векторной мутации в DE и биологические социальные поведения, лежащие в основе движения частиц в PSO.

Результаты обучения:

  • Проанализировать методы обработки ограничений, включая штрафные функции приспособленности, методы исправления и стохастический ранжирование.
  • Формализовать шаги мутации, скрещивания и отбора в алгоритме дифференциальной эволюции.
  • Объяснить механику канонической частицной оптимизации, в частности роли личного лучшего, глобального лучшего и веса инерции.
  • Оценить варианты PSO, такие как локальный PSO, PSO с констраинтом и алгоритмы конкурентного роя (CSO).

🔹 Урок 6: Многокритериальная оптимизация: подходы на основе декомпозиции

Обзор: В этом уроке рассматриваются фундаментальные понятия парето-оптимальности и доминирования, классические методы агрегации и продвинутые эволюционные алгоритмы на основе декомпозиции. Подробно описано, как многокритериальные задачи преобразуются в однокритериальные подзадачи с помощью методов, таких как MOEA/D.

Результаты обучения:

  • Определить и выявить доминирование Парето, множества парето-оптимальных решений и парето-фронт в пространствах решений и целей.
  • Сравнить и противопоставить априорные, апостериорные и интерактивные подходы к многокритериальной оптимизации.
  • Объяснить механизм декомпозиции в многокритериальной оптимизации для преобразования многокритериальных задач в однокритериальные подзадачи.
  • Проанализировать преимущества динамической взвешенной агрегации (DWA) и метода MOEA/D при работе с выпуклыми и вогнутыми парето-фронтами.

🔹 Урок 7: Многокритериальная оптимизация: подходы на основе доминирования

Обзор: В этом уроке рассматриваются продвинутые методы многокритериальных эволюционных алгоритмов (МОЭА), подробно описываются алгоритм RVEA, управляемый направляющими векторами, и назначение приспособленности на основе доминирования. Исследуется поддержание разнообразия через ниширование и проводится сравнительный анализ алгоритмов непреодолимого сортирования, таких как NSGA-II.

Результаты обучения:

  • Реализовать процесс RVEA, включая генерацию направляющих векторов и вычисление углово-штрафованного расстояния (APD).
  • Вычислить приспособленность на основе доминирования и разнообразие с помощью ранговой оценки и функций деления.
  • Проанализировать процедурные шаги и вычислительную сложность базовых, быстрых и эффективных алгоритмов непреодолимого сортирования.
  • Описать рабочий процесс Непреодолимого сортировочного генетического алгоритма второго поколения (NSGA-II).

🔹 Урок 8: Показатели качества и продвинутые методы отбора

Обзор: В этом уроке рассматриваются механизмы алгоритма NSGA-II, включая расстояние кластеризации и экологический отбор, а также исследуются показатели оценки эффективности. Далее подробно рассматриваются продвинутые методы отбора через алгоритмы оценки распределения (EDAs) и моделирование регулярности в непрерывных задачах.

Результаты обучения:

  • Вычислять и применять расстояние кластеризации и отбор по рангу в рамках алгоритма NSGA-II.
  • Оценивать эффективность различных показателей качества, таких как GD, IGD, объём гиперпространства и равномерность.
  • Отличать традиционные генетические операторы от модельных подходов, таких как алгоритмы оценки распределения (EDAs).
  • Объяснить, как регулярность в множестве Парето может быть смоделирована с помощью отображения скрытого пространства и локального метода главных компонент (PCA).

🔹 Урок 9: Алгоритмы оценки распределения и нейронные сети

Обзор: Этот материал исследует стратегии преодоления потери давления отбора в высокоразмерной оптимизации и предоставляет всестороннюю классификацию моделей машинного обучения. Подробно описаны математические основы обучения нейронных сетей, включая обратное распространение и варианты градиентного спуска.

Результаты обучения:

  • Идентифицировать и применять меры по восстановлению потери давления отбора в многокритериальной оптимизации.
  • Классифицировать модели машинного обучения на генеративные и дискриминативные типы и различать различные парадигмы обучения.
  • Объяснить математические основы обучения нейронных сетей, включая правило дельта и обратное распространение.
  • Оценить различные варианты градиентного спуска и эвристики, используемые для устранения проблем сходимости.

🔹 Урок 10: Выбор моделей и оптимизация структуры эволюции

Обзор: В этом уроке рассматриваются трудности обучения глубоких нейронных сетей, в частности проблема исчезновения градиента и выбор моделей для предотвращения переобучения. Подробно описаны методы валидации, стратегии ансамблевого обучения и интеграция эволюционного вычисления с локальным обучением.

Результаты обучения:

  • Идентифицировать и смягчить переобучение с помощью балансировки ошибки и дисперсии, раннего завершения и кросс-валидации.
  • Отличать методы ансамбля — Бэггинг, Бустинг и Стекинг.
  • Сравнить ламарковские и бальдинские механизмы наследования в эволюционно-обучаемых парадигмах.
  • Разрабатывать структурные рамки оптимизации для матриц связей и архитектур нейронных сетей.

🔹 Урок 11: Многокритериальное машинное обучение и оптимизация на основе данных

Обзор: В этом уроке рассматривается интеграция многокритериальных эволюционных алгоритмов в машинное обучение и оптимизацию на основе данных. Подробно описано, как подходы на основе Парето оптимизируют структуры нейронных сетей и кластеризацию, а также представлены стратегии управления моделями с приближёнными заменителями для дорогостоящих оценок.

Результаты обучения:

  • Проанализировать компромиссы между точностью модели и её сложностью с использованием регуляризации на основе Парето.
  • Оценить многокритериальные рамки для кластеризации и извлечения признаков.
  • Определить подходящие стратегии управления моделями (индивидуальные, популяционные или поколенческие) для оптимизации с приближёнными заменителями.

🔹 Урок 12: Основы управления моделями и байесовская оптимизация

Обзор: В этом уроке рассматривается интеграция метамоделей (заменителей) в эволюционную оптимизацию на основе данных для работы с вычислительно затратными оценками. Подробно описаны стратегии управления моделями и глубокое погружение в байесовскую оптимизацию (БО) с использованием гауссовых процессов.

Результаты обучения:

  • Определить управление моделями и объяснить необходимость его применения для предотвращения ложных минимумов в процессе оптимизации.
  • Сравнить стратегии управления моделями на основе индивидов, поколений и популяций.
  • Выполнить рабочий процесс байесовской оптимизации — от выбора априорных распределений до использования функций приобретения.
  • Проанализировать математическую основу гауссовых процессов и требования к ядрам.
  • Определить вычислительные трудности в БО и предложить стратегии смягчения, такие как снижение размерности.

🔹 Урок 13: Оптимизация с приближёнными заменителями и передача знаний

Обзор: В этом уроке рассматриваются продвинутые стратегии многокритериальной оптимизации с приближёнными заменителями (SA-MOO), с фокусом на RVEA и его варианты, основанные на кригинге. Подробно описаны методы решения задач с разной стоимостью оценки (HE-MOPs) и представлены три основные архитектуры передачи знаний.

Результаты обучения:

  • Проанализировать механизмы алгоритмов, управляемых направляющими векторами, и использование углово-штрафованного расстояния.
  • Оценить стратегии управления заменителями, включая использование ансамблей и моделей кригинга.
  • Отличать методы адаптации домена на основе параметров, на основе примеров и гибридные методы передачи знаний.
  • Применить принципы многокритериальной оптимизации к реальным инженерным задачам.

🔹 Урок 14: Эволюционное машинное обучение и поиск архитектуры нейронных сетей

Обзор: В этом уроке рассматривается пересечение вычислительной эволюции и машинного обучения, с фокусом на автоматизированное машинное обучение (AutoML) и поиск архитектуры нейронных сетей (NAS). Рассмотрены автоматизированная оптимизация гиперпараметров и коэволюция систем управления и морфологии в биоинспирированной робототехнике.

Результаты обучения:

  • Определить пять основных этапов эволюционного поиска архитектуры нейронных сетей (E-NAS).
  • Отличать макро- и микроскопические пространства поиска и роль сверхсетей в снижении вычислительных затрат.
  • Определить стратегии повышения вычислительной эффективности в NAS, включая наследование узлов и модели приближённых заменителей.
  • Объяснить принципы коэволюции мозга и тела и роль генетических регуляторных сетей в развитии.

🔹 Урок 15: Приватное машинное обучение и федеративное обучение

Обзор: В этом уроке рассматривается переход от централизованного облачного обучения к распределённым приватным платформам. Подробно описаны механизмы федеративного обучения и технические решения для повышения эффективности связи и защиты приватности, такие как дифференциальная приватность и гомоморфное шифрование.

Результаты обучения:

  • Отличать централизованное облачное обучение от распределённого обучения на устройствах.
  • Объяснить основные механизмы методов вычислений, защищённых приватностью, включая дифференциальную приватность и гомоморфное шифрование.
  • Проанализировать рабочий процесс горизонтального и вертикального федеративного обучения и трудности, связанные с данными, не являющимися одинаково распределёнными (Non-IID).
  • Оценить стратегии повышения эффективности связи, такие как асинхронное обновление по слоям.
  • Описать реализацию безопасных федеративных байесовских эволюционных алгоритмов.