課程總覽
📚 內容摘要
一門高階課程，涵蓋智能優化技術的理論與應用，從傳統梯度方法到現代進化型元啟發式算法、多目標優化、代理輔助模型，以及聯邦機器學習的應用。
掌握先進的進化型元啟發式算法與資料驅動的智能優化，以應對複雜工程系統。
🎯 學習目標
- 理解優化問題的數學基礎與分類，從連續且凸性問題到複雜組合框架。
- 精通應用演化計算、多目標優化與代理輔助模型，解決現實世界中的工程與機器學習挑戰。
🔹 第 1 課：優化基礎（一）
概述： 本課介紹優化的數學基礎與分類，專注於識別決策變數、目標函數與約束條件。探討優化問題的分類，以及在工程設計與機器學習等複雜系統中問題建模的實際挑戰。
學習成果：
- 定義優化問題的數學組成要素，包括決策變數、目標函數與約束條件。
- 使用基於變數類型、約束與目標的多維分類法對優化問題進行分類。
- 辨別局部最優與全域最優，並識別凸優化的特定性質。
- 將現實情境轉化為正式的優化架構。
🔹 第 2 課：牛頓-拉夫森法與梯度下降法
概述： 本課探討從解析優化過渡到用於尋找非線性函數最優值的迭代數值方法。詳細說明牛頓-拉夫森法、擬牛頓近似法，以及各種基於梯度的方法（如 RPROP）的運作機制、優點與限制。
學習成果：
- 透過判斷函數梯度為零的位置，識別局部極大值與極小值。
- 比較牛頓-拉夫森法與梯度下降法在單變量與多變量空間中的效率與需求。
- 解釋「梯度消失」與「梯度爆炸」問題及其對優化發散的影響。
- 阐述擬牛頓法與 RPROP 的目的，以降低計算負擔並提升優化穩定性。
🔹 第 3 課：遺傳演算法與約束處理
概述： 本課探討稱為演化演算法（EAs）的族群導向隨機搜尋啟發式方法。詳述遺傳演算法（GAs）的生物學基礎、各種表示方式，以及選擇、交配與突變的運作機制，同時也討論專用的約束處理技術。
學習成果：
- 對比基於梯度的方法與族群導向搜尋啟發式，辨識出何時使用 EAs 更為適切。
- 解釋生物演化與計算優化術語之間的對應關係。
- 實現多種遺傳演算法操作，包括 n 點交配、位元翻轉突變與淘汰賽選擇。
- 應用約束處理技術，如懲罰式適應度函數與基於梯度的修復方法。
🔹 第 4 課：演化策略與遺傳程式設計
概述： 本課介紹進階的演化計算技術，從實數編碼遺傳演算法過渡至演化策略（ES）與遺傳程式設計（GP）。詳述特定操作，如模擬二進位交配、ES 中的步長適應，以及用樹狀結構演化數學函數的方法。
學習成果：
- 分析實數編碼遺傳演算法的機制，特別是模擬二進位交配與多項式突變。
- 評估演化策略的不同變體，包括 (1+1)-ES、(\mu, \lambda) 與 (\mu + \lambda) 選擇方案。
- 使用樹狀表示建立遺傳程式設計模型，包含基本函數集合與終端集合。
- 判定適合的 GP 初始化方法，如完整法、成長法與半階遞增法。
🔹 第 5 課：差分演化與粒子群優化
概述： 本課介紹先進的元啟發式優化技術，專注於差分演化（DE）與粒子群優化（PSO）。詳述 DE 中基於向量的突變數學基礎，以及 PSO 中推動粒子移動的生物社會行為。
學習成果：
- 分析處理約束的技術，包括懲罰式適應度函數、修復方法與隨機排序。
- 建構差分演化算法的突變、交配與選擇步驟。
- 解釋標準粒子群優化（Canonical PSO）的運作機制，特別是個體最佳、全域最佳與慣性權重的角色。
- 評估 PSO 變體，如局部 PSO、具束縛因子的 PSO，以及競爭型群體演算法（CSO）。
🔹 第 6 課：多目標優化：分解式方法
概述： 本課探討帕累托最優性與支配關係的基本定義，經典聚合方法，以及進階的分解式演化算法。詳述如何利用 MOEA/D 等方法將多目標問題轉換為單目標子問題。
學習成果：
- 定義並識別決策空間與目標空間中的帕累托支配、帕累托最優集與帕累托前沿。
- 比較與對照事前（A priori）、事後（A posteriori）與互動式多目標優化方法。
- 解釋多目標優化中分解機制如何將多目標問題轉化為單目標子問題。
- 分析動態加權聚合（DWA）與 MOEA/D 在處理凸與凹帕累托前沿方面的優勢。
🔹 第 7 課：多目標優化：支配式方法
概述： 本課聚焦於多目標演化演算法（MOEAs）的進階技術，詳述參考向量引導的多目標演化演算法（RVEA）與支配式適應度分配。探討透過分區維持多樣性的方法，並提供非支配排序算法（如 NSGA-II）的比較分析。
學習成果：
- 實施 RVEA 流程，包括參考向量生成與角度懲罰距離（APD）的計算。
- 計算基於支配的適應度與多樣性，使用排序指派與共享函數。
- 分析基本、快速與高效非支配排序算法的執行步驟與計算複雜度。
- 概述非支配排序遺傳演算法第二版（NSGA-II）的工作流程。
🔹 第 8 課：效能指標與進階選擇
概述： 本課探討 NSGA-II 算法的運作機制，包括擁擠距離與環境選擇，並深入探討評估效能指標。進一步詳述透過估計分佈算法（EDAs）的進階選擇方法，以及連續問題中規律性的建模。
學習成果：
- 在 NSGA-II 架構中計算並應用擁擠距離與基於排序的選擇。
- 評估不同效能指標（如 GD、IGD、超體積與間距）的有效性。
- 区分傳統遺傳操作與基於模型的方法，如估計分佈算法（EDAs）。
- 解釋如何透過潛在空間映射與局部主成分分析（PCA）建模帕累托集中的規律性。
🔹 第 9 課：估計分佈算法與神經網絡
概述： 本內容探討克服高維度優化中選擇壓力流失的策略，並提供機器學習模型的完整分類法。詳述神經網絡訓練的數學基礎，包括反向傳播與梯度下降的變體。
學習成果：
- 識別並應用針對多目標優化中選擇壓力流失的補救措施。
- 將機器學習模型分類為生成式與判別式類型，並區分不同的學習範式。
- 解釋神經網絡訓練的數學基礎，包括 Delta 法則與反向傳播。
- 評估不同梯度下降變體與用以緩解收斂問題的啟發式方法。
🔹 第 10 課：模型選擇與演化結構優化
概述： 本課探討訓練深度神經網絡的挑戰，特別是解決梯度消失問題與模型選擇以防止過度擬合。詳述驗證技術、集成學習策略，以及演化計算與局部學習的整合。
學習成果：
- 透過偏差-變異權衡、提早停止與交叉驗證技術，識別並減輕過度擬合。
- 辨別袋裝法（Bagging）、提升法（Boosting）與堆疊法（Stacking）三種集成方法。
- 對比演化學習範式中拉馬克式與巴爾德溫式的遺傳機制。
- 設計神經網絡連接矩陣與架構的結構優化框架。
🔹 第 11 課：多目標機器學習與資料驅動優化
概述： 本課探討將多目標演化演算法融入機器學習與資料驅動優化。詳述如何利用帕累托基礎方法優化神經網絡結構與聚類，並引入代理輔助模型管理策略以應對耗時評估。
學習成果：
- 利用帕累托基礎正則化分析模型準確性與複雜度之間的權衡。
- 評估用於聚類與特徵提取的多目標框架。
- 判定適用於代理輔助優化的模型管理策略（個體、族群或世代級別）。
🔹 第 12 課：基本模型管理與貝葉斯優化
概述： 本課探討將元模型（代理模型）整合至資料驅動的演化優化中，以處理計算成本高昂的評估。詳述模型管理策略，並深入探討使用高斯過程的貝葉斯優化（BO）。
學習成果：
- 定義模型管理並解釋其在防止優化過程中出現假最優值的必要性。
- 比較基於個體、基於世代與基於族群的模型管理策略。
- 執行貝葉斯優化流程，從選擇先驗到運用採購函數。
- 分析高斯過程的數學架構與核函數要求。
- 識別貝葉斯優化中的計算挑戰，並提出降維等緩解策略。
🔹 第 13 課：代理輔助多目標優化與知識轉移
概述： 本課探討代理輔助多目標優化（SA-MOO）的進階策略，專注於 RVEA 及其基於克里金法的變體。詳述處理異質高成本多目標問題（HE-MOPs）的方法，並介紹三種主要知識轉移框架。
學習成果：
- 分析參考向量引導演化演算法的機制與角度懲罰距離的使用。
- 評估代理模型管理策略，包括使用集成與克里金模型。
- 辨別基於參數、基於實例與混合型域適應方法的知識轉移。
- 將多目標優化原理應用於真實世界的工程案例。
🔹 第 14 課：演化機器學習與神經架構搜尋
概述： 本課探討演化計算與機器學習的交集，專注於自動機器學習（AutoML）與神經架構搜尋（NAS）。涵蓋超參數的自動優化，以及生物啟發式機器人中控制系統與形態的共同演化。
學習成果：
- 定義演化神經架構搜尋（E-NAS）的五個主要步驟。
- 辨別巨觀與微觀搜尋空間，並說明超網路（Supernet）如何降低計算成本。
- 識別提升 NAS 計算效率的策略，包括節點繼承與代理模型。
- 解釋大腦-身體共同演化的原則，以及基因調控網絡在發展中的角色。
🔹 第 15 課：隱私保護機器學習與聯邦學習
概述： 本課探討從集中式雲端學習轉向分散式、隱私保護型架構。詳述聯邦學習的運作機制，並檢視通訊效率與隱私的技術解決方案，如差分隱私與同態加密。
學習成果：
- 辨別集中式雲端學習與分散式裝置端學習的差異。
- 解釋隱私保護計算技術的核心機制，包括差分隱私與同態加密。
- 分析水平與垂直聯邦學習的操作流程，以及非獨立同分布（Non-IID）資料的挑戰。
- 評估提升通訊效率的策略，如逐層非同步更新。
- 描述安全聯邦貝葉斯演化算法的實現。