WU | 智能優化
一門高階課程，涵蓋智能優化技術的理論與應用，從傳統的梯度方法到現代的演化元啟發式算法、多目標優化、代理輔助模型，以及聯邦機器學習的應用。
課程
Lesson
課程總覽
📚 內容摘要
一門高階課程，探討古典數學優化、演化計算與現代機器學習的交集。內容涵蓋單目標與多目標優化、資料驅動策略，以及神經架構搜尋和聯邦學習等進階主題。
透過先進的資料驅動與多目標優化，掌握智慧的演進。
🎯 學習目標
- [將進階優化技術應用於複雜的資料驅動數學問題。]
- [設計並評估適用於多目標情境的演化與機器學習架構。]
🔹 作業 1：優化基礎
概要： 本課提供優化的數學基礎全面介紹，從古典梯度方法到生物啟發的演化策略。建立決策變數、目標函數與限制的嚴謹定義，並探討優化問題的分類。內容由牛頓-拉夫森法與梯度下降等局部搜尋方法，過渡至自然演化原理與遺傳演算法（GA）的運作機制。
學習成果：
- 定義與分類優化問題：根據數學性質與限制，區分連續、離散、組合與凸優化。
- 執行古典梯度法：應用牛頓-拉夫森法與梯度下降（含 RPROP 與動量等變體），尋找可微函數的局部最優解。
- 將生物演化轉譯為計算邏輯：說明基因型/表現型、自然選擇與演化演算法（EA）結構之間的關係。
- 解決演算法挑戰：辨識並緩解常見的優化問題，如二進位編碼中的「哈明斷崖」、「梯度消失問題」，以及海塞矩陣反轉的計算成本。
🔹 作業 2：遺傳演算法：編碼、選拔與遺傳運算子
概要： 本課探討標準與實值遺傳演算法（RCGA）的基本機制。內容包括變數表示方式（二進位、格雷碼、實值碼），以及繁殖機制如交配與突變。同時介紹處理組合優化與約束的複雜技巧，例如懲罰函數與修復方法。
學習成果：
- 分析不同表示方式（二進位對格雷碼）對搜尋因果性與「哈明斷崖」的影響。
- 計算選拔機率，並將二進位字串解碼為整數或實值決策變數。
- 辨別二進位（多點、均勻）與實值（BLX、SBX、線性）遺傳演算法中各種交配運算子的差異。
- 制定處理約束與組合優化之策略，針對旅行商問題（TSP）等 NP-難題。
🔹 作業 3：演化策略與步幅適應
概要： 本課探討進階的演化計算技術，特別聚焦於約束處理機制與演化策略（ES）的運作。詳細說明從二進位到連續優化的轉移，強調步幅適應的重要性。重點方法包括「1/5 成功規則」與協方差矩陣適應（CMA-ES）。
學習成果：
- 評估約束處理技術，包括連續問題的梯度修復方法與不可行解的隨機排序。
- 應用實值遺傳演算法運算子，特別是模擬二進位交配（SBX）與多項式突變。
- 分析演化策略（ES）的演算法結構，包含 (1+1)-ES 及使用 (μ, λ) 與 (μ + λ) 選拔的族群型變體。
- 解釋步幅適應的數學邏輯，比較「1/5 成功規則」、全域步幅與個體步幅策略。
🔹 作業 4：遺傳程式與樹狀表示
概要： 本課介紹遺傳程式（GP）作為以樹結構表示數學函數與程式碼來解決優化與機器學習問題的方法。學生探索如何透過特定初始化方法與遺傳運算子演化這些結構。課程也討論符號迴歸中使用懲罰適應度函數的約束處理技術。
學習成果：
- 区分樹狀表示中的基本函數集合與終端集合。
- 執行初始化策略，包括完整法（Full）、生長法（Grow）與遞增半半法（Ramped-half-and-half）。
- 分析樹狀重組與突變的機制，包括其對族群大小與結構的影響。
- 評估演化優化中處理約束的技術，特別是硬性、動態與自適應懲罰。
🔹 作業 5：差分演化與粒子群優化變體
概要： 本課探討進階的元啟發式優化技術，從修復式約束處理（適用於組合與連續問題）開始。深入探討差分演化（DE）與標準粒子群優化（PSO）的運作機制。內容延伸至專用變體，如競賽式 PSO（CSO）與社會學習 PSO（SL-PSO），以應對大規模優化問題。
學習成果：
- 分析約束處理技術，特別是組合問題（基因替換）與連續問題（梯度基）的修復方法。
- 執行差分演化的數學運算子，包括向量差異突變、交配與選拔。
- 設定標準 PSO 及其變體（局部 PSO、收縮因子、CSO）的速度與位置更新方程。
- 根據學習策略（如全局最佳對社會學習示範者）區分各種群體智能模型。
🔹 作業 6：多目標優化：帕累托支配與傳統方法
概要： 本課探討從單目標優化（SOO）過渡到多目標優化（MOO）的根本轉變。強調 MOO 產生的是折衷解的集合而非單一最優解。課程評估傳統方法如加權聚合，對比現代演化分解方法如 MOEA/D 與 RVEA。
學習成果：
- 數學上定義帕累托支配、帕累托最優集合與帕累托前緣。
- 辨別多目標優化中的事前、事後與互動式方法。
- 評估傳統加權聚合的局限性，特別是針對凹形帕累托前緣。
- 解釋分解式演算法的機制，包括權重調整與參考向量引導。
🔹 作業 7：基於支配的多目標優化方法與效能指標
概要： 本課探討多目標優化（MOO）中基於支配的方法，著重於從單目標方法過渡到基於支配與多樣性的選拔策略。詳述特定適應度分配技術，包括階層映射與多樣性篩選。課程也評估主要非支配排序演算法在 NSGA-II 框架中的程序步驟與計算複雜度。
學習成果：
- 分析從單目標選拔過渡到基於支配與多樣性的適應度分配。
- 使用共享函數計算解的階層、適應度映射與族群計數。
- 比較基本、快速與高效非支配排序演算法的程序邏輯與計算複雜度。
- 概述非支配排序遺傳演算法（NSGA-II）的執行流程。
🔹 作業 8：機率分佈演算法與規律建模
概要： 本課探討多目標優化中的進階選拔機制，特別聚焦於 NSGA-II 的密集聚距離與性能指標（如 IGD 與超體積）。內容轉向機率分佈演算法（EDAs），以機率模型取代傳統遺傳運算子。最後引入「規律建模」（MR-MOO），利用帕累托集合的幾何特性提升搜尋效率。
學習成果：
- 計算與實作 NSGA-II 選拔：定義並計算密集聚距離，套用密集淘汰選拔規則。
- 評估多目標優化效能：區分生成距離（GD）、逆生成距離（IGD）與超體積等指標。
- 分析 EDA 機制：解釋從隨機搜尋運算子轉向建立與抽樣機率模型（UMDA、UGM、MGM）的過程。
- 在多目標問題中建模規律：描述帕累托集合的 (m-1) 維流形特性，並說明局部 PCA 與潛在空間映射在 MR-MOO 中的應用。
🔹 作業 9：機器學習：神經網路、反向傳播與模型選擇
概要： 本課探討從多目標優化過渡到先進機器學習架構與模型評估。詳細說明多層感知器（MLP）的運作機制、反向傳播的數學基礎，以及各種梯度下降優化技術。此外，也探討模型選擇的關鍵議題，如偏差-變異權衡與集成方法。
學習成果：
- 針對多目標優化中選拔壓力流失提出解決方案，包括超體積基礎與分解方法。
- 辨別生成式與判別式模型及其在機器學習中的角色。
- 透過微分規則應用 Delta 訓練規則與反向傳播，以更新神經網路權重。
- 評估減緩過擬合的策略，特別是正則化、提早停止與各類交叉驗證技術。
- 分析集成學習方法（袋裝法、提升法、堆疊法），以管理偏差-變異權衡並提升模型多樣性。
🔹 作業 10：膜演算法與終身學習的影響
概要： 本課探討膜演算法（MA），結合全球遺傳探索與透過終身學習進行的局部表現精煉。探討拉馬克主義與巴爾德溫主義演化的機械差異，以及局部搜尋在多目標優化中的應用。內容亦涵蓋利用演化策略優化神經網路結構與參數。
學習成果：
- 根據是否包含終身學習與局部搜尋，區分標準演化演算法與膜演算法。
- 比較拉馬克主義與巴爾德溫主義在獲取表現變化傳遞給後代方面的差異。
- 評估巴爾德溫效應與隱藏效應對演化速度與選拔壓力的影響。
- 描述透過演化與梯度訓練優化神經網路連接矩陣與權重參數的方法。
🔹 作業 11：演化機器學習與多目標機器學習（MOML）
概要： 本課探討多目標機器學習（MOML）作為平衡神經網路設計中競爭目標（如準確率對複雜度）的框架。使用如 NSGA-II 等演算法，示範如何優化網路結構與參數以取得帕累托最優模型。內容進一步延伸至實際應用，包括規則提取、多目標聚類與抗噪特徵提取。
學習成果：
- 定義 MOML 中基於帕累托的正則化數學基礎，特別是誤差與模型複雜度之間的權衡。
- 解釋演化框架內的網路表示與突變機制。
- 分析帕累托最優前緣，以從神經網路中提取可解釋的決策規則。
- 描述多目標優化如何應用於聚類與特徵提取。
🔹 作業 12：資料驅動的演化優化與模型管理
概要： 本課探討資料驅動演化優化（DDEO）的動機與方法論，聚焦於目標函數計算成本高昂的場景。詳細說明模型管理的關鍵角色，並探討進階策略如個體基礎與世代基礎方法。分析使用代理模型的貝葉斯優化方法，以平衡探索與利用。
學習成果：
- 識別資料驅動優化的核心動機，包括計算強度與實體模擬的昂貴成本。
- 分類模型管理策略（個體基礎、世代基礎、族群基礎）及其具體實作技術。
- 解釋貝葉斯優化的流程，以及高斯過程（GP）作為非參數代理模型的角色。
🔹 作業 13：貝葉斯優化與獲取函數
概要： 本課探討貝葉斯優化（BO）在演化框架中的進階應用，聚焦於代理輔助優化。詳細說明從標準高斯過程（GP）模型過渡到集成模型，以克服「維度災難」。內容進一步探討針對異質高成本多目標問題（HE-MOPs）的專用策略與知識轉移。
學習成果：
- 定義並比較常用獲取函數（LCB、EI、湯普森採樣），以平衡探索與利用。
- 識別高斯過程的計算限制，並說明降維與代理模型替代策略。
- 分析透過參數基礎與例項基礎知識轉移處理異質高成本目標的方法。
🔹 作業 14：演化神經架構搜尋（E-NAS）
概要： 本課探討透過演化演算法自動化神經網路設計，聚焦於從手動設計架構過渡到自動化搜尋空間。內容涵蓋 E-NAS 流程、超網中的權重共享，以及先進技術如代理輔助評估。內容亦延伸至生物啟發模型，包括演化可塑性與形態共演化。
學習成果：
- 定義五階段 E-NAS 流程，並區分巨觀與微觀搜尋空間。
- 解釋超網中權重共享的概念，並識別一次性方法的主要挑戰。
- 描述節點繼承機制，包括如何將交配與突變運算子套用於有向無環圖（DAG）。
- 評估降低計算成本的策略，如代理指標、代理模型與抽樣訓練。
🔹 作業 15：隱私保護與聯邦機器學習
概要： 本課探討從集中式雲端機器學習過渡到分散式、隱私保護架構。內容涵蓋聯邦學習（水平與垂直）的基本架構，以及提升通訊效率的技術。課程也討論將演化演算法整合至聯邦神經架構搜尋（NAS）與安全聯邦演化演算法。
學習成果：
- 在隱私、安全性與模型準確性方面，區分集中式雲端學習與分散式設備端學習。
- 解釋核心隱私保護技術的運作機制，包括差分隱私、同態加密與安全多方計算。
- 分析水平與垂直聯邦學習的操作流程，及其面對非獨立同分布（non-IID）資料的挑戰。
- 評估通訊效率提升方法，如層級非同步更新與三元量化。
- 描述使用迪菲-赫曼遮蔽實現聯邦貝葉斯優化與安全聯邦演化演算法。