课程概述
📚 内容概要
一门高级课程，涵盖智能优化技术的理论与应用，从经典的梯度方法到现代的进化元启发式算法、多目标优化、代理辅助模型以及联邦机器学习的应用。
掌握先进的进化元启发式算法和数据驱动的智能优化，用于复杂工程系统。
🎯 学习目标
- 理解优化问题的数学基础与分类体系，从连续凸问题到复杂的组合框架。
- 熟练运用进化计算、多目标优化和代理辅助模型解决实际工程与机器学习挑战。
🔹 第1课：优化基础（一）
概述： 本课介绍优化的数学基础与分类体系，重点在于识别决策变量、目标函数和约束条件。探讨优化问题的分类方式，以及在工程设计和机器学习等复杂系统中建模的实际挑战。
学习成果：
- 定义优化问题的数学组成部分，包括决策变量、目标函数和约束。
- 基于变量类型、约束和目标的多维分类体系对优化问题进行归类。
- 区分局部最优与全局最优，并识别凸优化的特定性质。
- 将现实场景转化为正式的优化框架。
🔹 第2课：牛顿-拉夫森法与梯度下降法
概述： 本课探讨从解析优化向迭代数值方法的转变，用于寻找非线性函数的极值点。详细讲解牛顿-拉夫森法、拟牛顿近似以及各类基于梯度的方法（如RPROP）的原理、优势与局限性。
学习成果：
- 通过确定函数梯度为零的位置，识别局部极大值和极小值。
- 比较牛顿-拉夫森法与梯度下降法在单变量与多变量空间中的效率与需求差异。
- 解释“梯度消失”与“梯度爆炸”问题及其对优化发散的影响。
- 描述拟牛顿方法和RPROP的目的，即降低计算开销并提升优化稳定性。
🔹 第3课：遗传算法与约束处理
概述： 本课探讨基于种群的随机搜索启发式算法，即进化算法（EAs）。详细阐述遗传算法（GAs）的生物学基础、多种表示方案，以及选择、交叉和变异的机制，同时介绍专门的约束处理技术。
学习成果：
- 对比基于梯度的方法与基于种群的搜索启发式，判断何时更适合使用进化算法。
- 阐明生物进化与计算优化术语之间的映射关系。
- 实现多种遗传算法算子，包括多点交叉、位翻转变异和锦标赛选择。
- 应用约束处理技术，如惩罚适应度函数和基于梯度的修复方法。
🔹 第4课：进化策略与遗传编程
概述： 本课介绍先进的进化计算技术，从实数编码遗传算法过渡到进化策略（ES）和遗传编程（GP）。详细说明模拟二进制交叉、进化策略中的步长自适应，以及用于演化数学函数的树形表示。
学习成果：
- 分析实数编码遗传算法的机制，特别是模拟二进制交叉和多项式变异。
- 评估进化策略的不同变体，包括(1+1)-ES、(\mu, \lambda)和(\mu + \lambda)选择机制。
- 使用树形表示构建遗传编程模型，包括基本函数集与终端集。
- 确定遗传编程的合适初始化方法，如全树法、生长法和阶梯半随机法。
🔹 第5课：差分进化与粒子群优化
概述： 本课介绍先进的元启发式优化技术，聚焦差分进化（DE）和粒子群优化（PSO）。详细讲解差分进化中基于向量的变异数学基础，以及粒子群优化中驱动粒子运动的生物社会行为。
学习成果：
- 分析处理约束的技术，包括惩罚适应度函数、修复方法和随机排序。
- 制定差分进化算法的变异、交叉与选择步骤。
- 解释标准粒子群优化的机制，特别是个人最优、全局最优与惯性权重的作用。
- 评估PSO的变体，如局部PSO、带压缩因子的PSO以及基于竞争的群算法（CSO）。
🔹 第6课：多目标优化：分解法
概述： 本课探讨帕累托最优与支配关系的基本定义，经典聚合方法，以及先进的基于分解的进化算法。详细说明如何利用MOEA/D等方法将多目标问题转化为单目标子问题。
学习成果：
- 在决策空间与目标空间中定义并识别帕累托支配、帕累托最优集与帕累托前沿。
- 比较并对比先验、后验与交互式多目标优化方法。
- 解释多目标优化中分解机制如何将多目标问题转换为单目标子问题。
- 分析动态加权聚合（DWA）与MOEA/D在处理凸与凹帕累托前沿方面的优势。
🔹 第7课：多目标优化：支配法
概述： 本课聚焦于多目标进化算法（MOEAs）的先进技术，详细讲解参考向量引导的多目标进化算法（RVEA）和基于支配的适应度分配。探讨通过生态位保持多样性的方法，并对非支配排序算法（如NSGA-II）进行比较分析。
学习成果：
- 实现RVEA流程，包括参考向量生成与角度惩罚距离（APD）的计算。
- 使用排名分配与共享函数计算基于支配的适应度与多样性。
- 分析基本、快速与高效非支配排序算法的步骤与计算复杂度。
- 描绘非支配排序遗传算法II（NSGA-II）的工作流程。
🔹 第8课：性能指标与高级选择
概述： 本课讲解NSGA-II算法的机制，包括拥挤度距离与环境选择，并探索性能评估指标。进一步深入通过分布估计算法（EDAs）实现高级选择方法，以及对连续问题中规律性的建模。
学习成果：
- 在NSGA-II框架内计算并应用拥挤度距离与基于排名的选择。
- 评估不同性能指标（如GD、IGD、超体积、间距）的有效性。
- 区分传统遗传算子与基于模型的方法（如分布估计算法，EDAs）。
- 解释如何通过潜在空间映射与局部主成分分析（PCA）建模帕累托集中的规律性。
🔹 第9课：分布估计算法与神经网络
概述： 本内容探讨克服高维优化中选择压力丧失的策略，并提供机器学习模型的全面分类体系。详细说明神经网络训练的数学基础，包括反向传播与梯度下降的变体。
学习成果：
- 识别并应用缓解多目标优化中选择压力丧失的解决方案。
- 将机器学习模型分为生成式与判别式类型，并区分不同的学习范式。
- 解释神经网络训练的数学基础，包括误差规则与反向传播。
- 评估不同的梯度下降变体及用于缓解收敛问题的启发式方法。
🔹 第10课：模型选择与进化结构优化
概述： 本课探讨深度神经网络训练中的挑战，特别关注梯度消失问题与模型选择以防止过拟合。详细介绍验证技术、集成学习策略，以及进化计算与局部学习的融合。
学习成果：
- 通过偏差-方差权衡、早停与交叉验证技术识别并缓解过拟合。
- 区分袋装（Bagging）、提升（Boosting）与堆叠（Stacking）集成方法。
- 对比进化学习范式中的拉马克与巴尔德温继承机制。
- 设计神经网络连接矩阵与架构的结构优化框架。
🔹 第11课：多目标机器学习与数据驱动优化
概述： 本课探讨将多目标进化算法融入机器学习与数据驱动优化。详细说明基于帕累托的优化方法如何改进神经网络结构与聚类，并引入代理辅助模型管理策略以应对高成本评估。
学习成果：
- 使用基于帕累托的正则化分析模型精度与复杂度之间的权衡。
- 评估用于聚类与特征提取的多目标框架。
- 确定适用于代理辅助优化的模型管理策略（个体、种群或代际级）。
🔹 第12课：基础模型管理与贝叶斯优化
概述： 本课探讨将元模型（代理）集成到数据驱动的进化优化中，以应对计算成本高昂的评估问题。详细说明模型管理策略，并深入剖析基于高斯过程的贝叶斯优化（BO）。
学习成果：
- 定义模型管理并解释其在避免优化过程中陷入虚假极小值的重要性。
- 比较基于个体、代际与种群的模型管理策略。
- 执行贝叶斯优化工作流程，从选择先验到利用采集函数。
- 分析高斯过程的数学框架与核函数要求。
- 识别贝叶斯优化中的计算挑战，并提出如降维等缓解策略。
🔹 第13课：代理辅助多目标优化与知识迁移
概述： 本课探讨代理辅助多目标优化（SA-MOO）的先进策略，重点关注RVEA及其基于克里金法的变体。详细说明处理异质高成本多目标问题（HE-MOPs）的方法，并介绍三种主要的知识迁移框架。
学习成果：
- 分析参考向量引导进化算法的机制及其对角度惩罚距离的使用。
- 评估代理管理策略，包括集成与克里金模型的使用。
- 区分基于参数、实例与混合的领域自适应方法在知识迁移中的应用。
- 将多目标优化原则应用于真实工程案例。
🔹 第14课：进化机器学习与神经架构搜索
概述： 本课探讨进化计算与机器学习的交汇点，聚焦自动化机器学习（AutoML）与神经架构搜索（NAS）。涵盖超参数的自动优化，以及仿生机器人中控制系统与形态的协同进化。
学习成果：
- 定义进化神经架构搜索（E-NAS）的五个主要步骤。
- 区分宏观与微观搜索空间，以及超级网络在降低计算成本中的作用。
- 识别提升NAS计算效率的策略，包括节点继承与代理模型。
- 解释脑-体协同进化的原理以及基因调控网络在发育中的作用。
🔹 第15课：隐私保护机器学习与联邦学习
概述： 本课探讨从集中式云学习向分布式隐私保护框架的转变。详细说明联邦学习的机制，并分析通信效率与隐私保护的技术解决方案，如差分隐私与同态加密。
学习成果：
- 区分集中式云学习与分布式设备端学习。
- 解释隐私保护计算技术的核心机制，包括差分隐私与同态加密。
- 分析水平与垂直联邦学习的操作流程及非独立同分布（Non-IID）数据带来的挑战。
- 评估通信效率策略，如逐层异步更新。
- 描述安全联邦贝叶斯进化算法的实现。