WU | 智能优化
一门高级课程，涵盖智能优化技术的理论与应用，内容从经典的梯度方法到现代的进化元启发式算法、多目标优化、代理辅助模型以及联邦机器学习的应用。
课程
Lesson
课程概述
📚 内容概要
一门高级课程，探讨经典数学优化、进化计算与现代机器学习的交叉领域。内容涵盖单目标与多目标优化、数据驱动策略，以及神经架构搜索和联邦学习等高级主题。
通过先进的数据驱动与多目标优化，掌握智能演化的奥秘。
🎯 学习目标
- [将先进的优化技术应用于复杂的、数据驱动的数学问题。]
- [设计并评估适用于多目标场景的进化与机器学习架构。]
🔹 第1课：优化基础
概述： 本课全面介绍优化的数学基础，从经典的基于梯度的方法到受生物启发的进化策略。它确立了决策变量、目标函数和约束的严格定义，并探讨了优化问题的分类体系。内容从牛顿-拉夫森法和梯度下降等局部搜索方法，过渡到自然进化的原理及遗传算法（GA）的机制。
学习成果：
- 定义并分类优化问题：根据数学特性与约束条件，区分连续优化、离散优化、组合优化与凸优化。
- 执行经典基于梯度的方法：应用牛顿-拉夫森法和梯度下降法（包括RPROP和动量变体），求解可微函数的局部最优解。
- 将生物进化转化为计算逻辑：解释基因型/表型、自然选择与进化算法（EA）结构之间的关系。
- 应对算法挑战：识别并缓解优化中的常见问题，如二进制编码中的“汉明悬崖”、梯度消失问题，以及海森矩阵求逆的计算成本。
🔹 第2课：遗传算法：编码、选择与遗传算子
概述： 本课讲解标准遗传算法（GA）与实数编码遗传算法（RCGA）的基本机制。内容涵盖变量表示方式，包括二进制、格雷码和实数编码，以及繁殖机制如交叉与变异。材料还介绍了处理组合优化与约束问题的复杂技术，如惩罚函数与修复方法。
学习成果：
- 分析不同表示方案（二进制与格雷码）对搜索因果性及“汉明悬崖”的影响。
- 计算选择概率，并将二进制字符串解码为整数或实数值决策变量。
- 区分适用于二进制（多点、均匀）与实数编码（BLX、SBX、线性）遗传算法的各类交叉算子。
- 制定应对约束与组合优化的策略，解决如旅行商问题（TSP）等NP难问题。
🔹 第3课：进化策略与步长自适应
概述： 本课深入探讨先进的进化计算技术，重点聚焦于约束处理机制与进化策略（ES）的运作原理。内容详细阐述从二进制优化向连续优化的转变，强调步长自适应的重要性。重点讨论的方法包括1/5成功规则和协方差矩阵自适应（CMA-ES）。
学习成果：
- 评估约束处理技术，包括针对连续问题的基于梯度的修复方法，以及对不可行解的随机排序。
- 应用实数编码遗传算法算子，特别是模拟二进制交叉（SBX）与多项式变异。
- 分析进化策略（ES）的算法结构，包括(1+1)-ES及基于(μ, λ)与(μ + λ)选择的种群变体。
- 解释步长自适应背后的数学逻辑，比较1/5成功规则、全局步长与个体步长策略。
🔹 第4课：遗传编程与树形表示
概述： 本课介绍遗传编程（GP）作为一种通过树结构表示数学函数与代码以解决优化与机器学习问题的方法。学生将探索如何通过特定初始化方法与遗传算子演化这些结构。课程还涉及符号回归中使用惩罚适应度函数等约束处理技术。
学习成果：
- 区分树形表示中的基本函数集与终端集。
- 执行初始化策略，包括全树法、生长法与阶梯半半法。
- 分析树形重组与变异的机制，及其对种群规模与结构的影响。
- 评估进化优化中处理约束的技术，特别是硬约束、动态约束与自适应惩罚。
🔹 第5课：差分进化与粒子群优化变体
概述： 本课探讨先进的元启发式优化技术，从修复法处理组合与连续问题开始。深入剖析差分进化（DE）与标准粒子群优化（PSO）的机制。内容延伸至专用于大规模优化的变体，如竞争型PSO（CSO）与社会学习PSO（SL-PSO）。
学习成果：
- 分析约束处理技术，特别是针对组合问题（基因替换）与连续问题（基于梯度）的修复方法。
- 执行差分进化中的数学算子，包括向量差分变异、交叉与选择。
- 推导标准PSO及其变体（局部PSO、收缩因子、CSO）的速度与位置更新公式。
- 根据学习策略（如全局最优与从示范者学习的社会学习）区分各类群体智能模型。
🔹 第6课：多目标优化：帕累托支配与经典方法
概述： 本课探讨从单目标优化（SOO）向多目标优化（MOO）的根本转变。强调MOO的结果是一组权衡解而非单一最优解。课程评估经典方法如加权聚合与现代进化分解方法如MOEA/D与RVEA。
学习成果：
- 数学定义帕累托支配、帕累托最优集与帕累托前沿。
- 区分多目标优化的先验、后验与交互式方法。
- 评估经典加权聚合的局限性，尤其在凹帕累托前沿情况下的表现。
- 解释基于分解算法的机制，包括权重自适应与参考向量引导。
🔹 第7课：基于支配的多目标优化方法与性能指标
概述： 本课探讨多目标优化（MOO）中的基于支配方法，重点关注从单目标方法到基于支配与多样性选择的策略过渡。详细说明具体的适应度分配技术，包括等级映射与聚类以维持多样性。课程还评估了非支配排序算法的主要步骤与计算复杂度，这些算法应用于NSGA-II框架中。
学习成果：
- 分析从单目标选择到基于支配与多样性的适应度分配的过渡。
- 使用共享函数计算解的等级、适应度映射与聚类数量。
- 比较基础、快速与高效非支配排序算法的逻辑流程与计算复杂度。
- 描述非支配排序遗传算法（NSGA-II）的执行流程。
🔹 第8课：分布估计算法与建模规律性
概述： 本课探讨多目标优化中的先进选择机制，特别关注NSGA-II的拥挤距离与性能指标如IGD与超体积。内容转向分布估计算法（EDAs），其以概率模型替代传统遗传算子。最后引入“建模规律性”（MR-MOO），利用帕累托集的几何特性提升搜索效率。
学习成果：
- 计算并实现NSGA-II选择：定义并计算拥挤距离，应用拥挤锦标赛选择规则。
- 评估多目标优化性能：区分生成距离（GD）、反向生成距离（IGD）与超体积等性能指标。
- 分析EDAs机制：解释从随机搜索算子转向构建与采样概率模型（UMDA、UGM、MGM）的转变。
- 建模多目标问题中的规律性：描述帕累托集的（m-1）维流形特性，以及局部主成分分析（PCA）与潜在空间映射在MR-MOO中的应用。
🔹 第9课：机器学习：神经网络、反向传播与模型选择
概述： 本课探讨从多目标优化向先进机器学习架构与模型评估的过渡。详细说明多层感知机（MLP）的机制、反向传播的数学基础，以及各种梯度下降优化技术。此外，还讨论模型选择中的关键问题，如偏差-方差权衡与集成方法。
学习成果：
- 识别多目标优化中选择压力丧失的解决方案，包括基于超体积与分解的方法。
- 区分生成模型与判别模型及其在机器学习中的角色。
- 应用δ训练规则与反向传播，借助微分规则更新神经网络权重。
- 评估缓解过拟合的策略，具体包括正则化、早停与多种交叉验证技术。
- 分析集成学习方法（装袋、提升、堆叠），以管理偏差-方差权衡并提升模型多样性。
🔹 第10课：膜因算法与终身学习的影响
概述： 本课探讨膜因算法（MA），该算法通过终身学习将全局遗传探索与局部表型精炼相结合。研究拉马克主义与巴尔德温主义进化之间的机械差异，以及局部搜索在多目标优化中的应用。内容还涵盖使用进化策略优化神经网络结构与参数。
学习成果：
- 根据是否包含终身学习与局部搜索，区分标准进化算法与膜因算法。
- 对比拉马克主义与巴尔德温主义范式在表型变化传递给后代方面的差异。
- 评估巴尔德温效应与隐藏效应对于进化速度与选择压力的影响。
- 描述通过进化与基于梯度训练优化神经网络连接矩阵与权重参数的方法。
🔹 第11课：进化机器学习与多目标机器学习（MOML）
概述： 本课探讨多目标机器学习（MOML）作为平衡神经网络设计中相互竞争目标的框架，如准确率与复杂度之间的权衡。通过NSGA-II等算法，演示如何优化网络结构与参数以获得帕累托最优模型。内容进一步拓展至实际应用，包括规则提取、多目标聚类与抗噪声特征提取。
学习成果：
- 定义多目标机器学习中基于帕累托的正则化数学基础，具体为误差与模型复杂度之间的权衡。
- 解释在进化框架内网络表示与变异的机制。
- 分析帕累托最优前沿，从神经网络中提取可解释的决策规则。
- 描述多目标优化在聚类与特征提取中的应用。
🔹 第12课：数据驱动的进化优化与模型管理
概述： 本课介绍数据驱动进化优化（DDEO）的动机与方法论，重点关注目标函数计算成本高昂的场景。详细阐述模型管理的关键作用，并探讨高级策略如个体级与代际级方法。通过使用代理模型的贝叶斯优化方法，平衡探索与利用。
学习成果：
- 识别数据驱动优化的核心动机，包括计算强度与物理仿真成本。
- 对模型管理策略（个体级、代际级与种群级）进行分类，并说明其具体实现技术。
- 解释贝叶斯优化的工作流程，以及高斯过程（GP）作为非参数代理模型的作用。
🔹 第13课：贝叶斯优化与获取函数
概述： 本课探讨贝叶斯优化（BO）在进化框架中的高级应用，聚焦于代理辅助优化。详细阐述从标准高斯过程（GP）模型向集成模型的过渡，以应对“维度诅咒”。内容进一步探索异质昂贵多目标问题（HE-MOPs）的专用策略与知识迁移。
学习成果：
- 定义并比较常用的获取函数（LCB、EI、汤普森采样），用于平衡探索与利用。
- 识别高斯过程的计算局限性，并解释降维与代理替换策略。
- 分析通过基于参数与基于实例的知识迁移处理异质昂贵目标的方法。
🔹 第14课：进化神经架构搜索（E-NAS）
概述： 本课探讨通过进化算法自动化神经网络设计，聚焦从手工设计架构向自动搜索空间的转变。涵盖E-NAS流程、超网中的权重共享，以及代理辅助评估等先进技术。内容还延伸至生物启发模型，包括进化可塑性与形态协同进化。
学习成果：
- 定义五步E-NAS流程，并区分宏观与微观搜索空间。
- 解释超网中权重共享的概念，并识别一次性方法的主要挑战。
- 描述节点继承机制，包括如何将交叉与变异算子应用于有向无环图（DAG）。
- 评估降低计算成本的策略，如代理指标、代理模型与采样训练。
🔹 第15课：隐私保护与联邦机器学习
概述： 本课探讨从集中式云机器学习向分布式、隐私保护框架的转变。涵盖联邦学习（水平与垂直）的基础架构，以及提升通信效率的技术。课程还讨论将进化算法用于联邦神经架构搜索（NAS）与安全联邦进化算法的集成。
学习成果：
- 在隐私、安全与模型准确性方面，区分集中式云学习与分布式设备端学习。
- 解释核心隐私保护技术的机制，包括差分隐私、同态加密与安全多方计算。
- 分析水平与垂直联邦学习的操作流程及其在非独立同分布（non-IID）数据下的挑战。
- 评估通信效率方法，如逐层异步更新与三值量化。
- 描述使用迪菲-赫尔曼掩码实现联邦贝叶斯优化与安全联邦进化算法。