數值分析

📚 內容概要

一本關於數值近似技術理論與應用的全面教材。內容涵蓋數學基礎、誤差分析、方程求解、插值，以及常微分方程的數值解。

掌握現代數值近似技術的藝術與科學。

作者： Richard L. Burden, J. Douglas Faires

致謝： 受楊斯頓州立大學支持，並感謝包括都柏林城市大學的 John Carroll 及多位學生助理（如 Mario Sracic）的貢獻。

🎯 學習目標

1. 應用中間值定理與羅爾定理，證明解的存在性與唯一性。
2. 建構泰勒多項式，並利用其餘項建立數值近似的嚴謹誤差界。
3. 区分捨入與截斷算術，計算浮點系統中的絕對誤差與相對誤差。
4. 應用二分法、不動點法、牛頓法、割線法及偽位置法來逼近根。
5. 分析各種迭代方法的收斂階次與誤差界。
6. 使用艾特肯的 \Delta^2 與史蒂芬森方法，加速線性序列的收斂速度。
7. 陳述並解釋 魏爾斯特拉斯逼近定理 及其對函數逼近的意義。
8. 為給定資料集建構 拉格朗日、牛頓差商 與 赫米特插值多項式。
9. 應用 尼維爾方法 迴圈生成多項式近似。
10. 推導與應用數值微分公式（三點法）及其誤差估計。

🔹 第一課：數學基礎與誤差分析

概述： 本課建立理論微積分與實際數值計算之間的基礎橋樑。回顧用於誤差估計的重要微積分定理（如泰勒定理與均值定理），再過渡到電腦算術的限制。學生將學習量化誤差、識別精度損失的原因（如有效數字抵消），並使用大 O 符號評估算法效率。

學習成果：

• 應用中間值定理與羅爾定理，證明解的存在性與唯一性。
• 建構泰勒多項式，並利用其餘項建立數值近似的嚴謹誤差界。
• 區分捨入與截斷算術，計算浮點系統中的絕對與相對誤差。

🔹 第二課：單變數方程的求解

概述： 本課探討尋找函數 f(x) = 0 零點的數值技術，這是科學計算中的基本問題。內容涵蓋從穩健但緩慢的二分法，到快速收斂的牛頓法及其變體（割線法、偽位置法）。此外，課程還討論進階主題，如迭代收斂的誤差分析、多重根處理技術，以及針對多項式的特殊演算法（如穆勒法與霍納法）。

學習成果：

• 應用二分法、不動點法、牛頓法、割線法與偽位置法來逼近根。
• 分析各種迭代方法的收斂階次與誤差界。
• 使用艾特肯的 \Delta^2 與史蒂芬森方法，加速線性序列的收斂速度。

🔹 第三課：插值與多項式逼近

概述： 本課探討使用代數多項式逼近連續函數的方法。從魏爾斯特拉斯逼近定理的理論基礎出發，逐步介紹拉格朗日與牛頓形式的插值、尼維爾的遞迴方法，以及赫米特多項式。課程最後以三次樣條插值與參數曲線作結，展示分段多項式如何避免高次全域多項式在實際應用（如曲線擬合）中產生的振盪問題。

學習成果：

• 陳述並解釋 魏爾斯特拉斯逼近定理 及其對函數逼近的意義。
• 為給定資料集建構 拉格朗日、牛頓差商 與 赫米特插值多項式。
• 應用 尼維爾方法 迴圈生成多項式近似。

🔹 第四課：數值微分與積分

概述： 本課涵蓋導數與積分的數值近似，這對於解析解難以取得或無法獲得的數學問題至關重要。學生將探索三點公式與理查德遜外推法實現高精度微分，經由牛頓-寇特斯積分技術（梯形規則與辛普森規則），並掌握羅姆伯格、自適應與高斯積分等先進的數值積分方法。課程最後延伸至雙重積分與瑕積分的數值處理。

學習成果：

• 推導與應用數值微分公式（三點法）及其誤差估計。
• 實現理查德遜外推法，提升數值近似的精確度階次。
• 應用複合數值積分規則與自適應積分，處理複雜的函數變化。

🔹 第五課：常微分方程的初值問題

概述： 本課探討初值問題（IVP）的數值近似解。從良好設定性與利普希茨條件的理論基礎出發，逐步介紹歐拉法等基本方法，進而深入至龍格-庫塔、多步法、外推法與穩定性分析等進階技術。最後探討包含微分方程組的特殊情境，以及剛性方程帶來的獨特挑戰。

學習成果：

• 利用利普希茨條件與存在唯一性定理，判斷初值問題是否良好設定。
• 實施並分析單步法（歐拉、泰勒、龍格-庫塔）與多步法（亞當斯-巴什福斯、亞當斯-莫爾頓）的誤差。
• 應用自適應技術（龍格-庫塔-費爾伯格、變步長）與外推法，在指定誤差容許範圍內求解常微分方程。

🔹 第六課：求解線性系統的直接方法

概述： 本課介紹求解線性方程組的系統化演算法，從基本的高斯消去法過渡到先進的矩陣分解技術。學生將探討透過選主元策略維持數值穩定性的方法，分析矩陣的代數性質（逆矩陣、行列式），並在工程與科學情境中實作專用分解法（LU、LDL^t、喬列斯基與克魯特分解）以提高運算效率。

學習成果：

• 進行高斯消去法搭配反向代入，並評估其運算複雜度。
• 實作部分與縮放部分選主元策略，以最小化捨入誤差。
• 使用列運算與餘因子法計算矩陣的逆矩陣與行列式。

🔹 第七課：矩陣代數中的迭代技術

概述： 本課探討從直接法轉向大型線性方程組的迭代法。重點在於透過範數衡量向量與矩陣的大小，利用譜半徑判定收斂條件，並實作基本的迭代算法，包括雅可比法、高斯-賽德爾法與逐次超鬆弛法（SOR）。此外，課程亦探討透過迭代修訂、誤差界與高效能的共軛梯度法（結合預處理）來提升數值穩定性。

學習成果：

• 計算向量與矩陣的範數（l_2 與 l_\infty），並確定矩陣的譜半徑以評估收斂性。
• 實作並比較雅可比法、高斯-賽德爾法與 SOR 用於求解 A\mathbf{x} = \mathbf{b}。
• 使用條件數估算誤差界，並應用迭代修訂提升近似解的準確度。

🔹 第八課：逼近理論

概述： 本課探討當精確表示不可得或計算上不切實際時，如何逼近函數與資料集。我們聚焦於透過 離散最小平方法 最小化誤差，利用 正交與切比雪夫多項式 的高效性，並將這些技術擴展至 有理與三角逼近，最終介紹高性能的 快速傅里葉變換（FFT） 算法。

學習成果：

• 建構並求解離散線性與多項式最小平方法的法方程式。
• 使用格拉姆-施密特過程產生正交多項式基底，避免病態系統。
• 應用切比雪夫多項式最小化最大插值誤差，並執行多項式經濟化。

🔹 第九課：特徵值的逼近

概述： 本課專注於數值技術以逼近特徵值，超越符號求解特徵多項式的根——後者對大型矩陣而言通常計算成本高昂甚至不可能。學生將學習利用 蓋爾斯戈林圓定理 局域化特徵值，應用功率法與反功率法尋找主特徵值與特定特徵值，並運用結構轉換（豪斯荷爾德法與 QR 算法）及奇異值分解（SVD）進行完整的矩陣分析。

學習成果：

• 利用蓋爾斯戈林圓定理，將特徵值定位於複數平面內。
• 實作功率法與反功率法，搭配艾特肯加速，尋找主特徵值與移位特徵值。
• 使用豪斯荷爾德法將對稱矩陣化為三對角形式，並透過 QR 算法求出所有特徵值。

🔹 第十課：非線性方程組的數值解

概述： 本課從單變數根尋找過渡到求解非線性方程組，主要目標是找到向量 \mathbf{x} 使得 \mathbf{F}(\mathbf{x}) = \mathbf{0}。我們探討多變數的不動點迭代、基於雅可比矩陣的牛頓法、計算高效的擬牛頓法（特別是布羅伊登法），以及強健的最陡下降法與同倫/連續法，以尋找初始近似值或處理標準方法失效的系統。

學習成果：

• 定義並應用多變數的不動點迭代，並依據定理 10.6 確定收斂條件。
• 建構非線性系統的雅可比矩陣，並實施牛頓法以達成二次收斂。
• 使用舒曼-莫里遜公式執行布羅伊登法，有效更新雅可比矩陣的逆。

🔹 第十一課：常微分方程的邊界值問題

概述： 本課探討二階邊界值問題（BVP）的數值解，其中條件被施加於不同點，與初值問題不同。學生將學習使用線性與非線性射擊法將 BVP 轉化為可解系統，透過有限差分法進行離散近似，以及利用瑞雷-里茨法進行變分技術。這些方法對於解決結構工程（梁的撓曲）與物理學（電勢）等現實世界問題至關重要。

學習成果：

• 應用定理 11.1 判斷邊界值問題解的存在性與唯一性。
• 使用線性射擊法將二階 BVP 轉化為一對初值問題（IVP）。
• 應用牛頓法迭代求解非線性射擊問題。

🔹 第十二課：偏微分方程的數值解

概述： 本課探討三種主要類型偏微分方程（PDE）——橢圓型、拋物型與雙曲型——的數值近似解。利用有限差分法，學生將學習如何將連續區域離散化為網格，並將微分算子轉換為代數方程組。重點包括時間相關方法的穩定性（前向差分與克拉克-尼科爾森法），以及穩態系統（泊松與拉普拉斯方程）的迭代求解。

學習成果：

• 使用有限差分網格對各類 PDE 進行空間與時間領域的離散化。
• 應用前向差分、後向差分與克拉克-尼科爾森法求解拋物型熱方程，並評估穩定性約束。
• 建構並求解由橢圓型方程（泊松/拉普拉斯）與雙曲型波方程所衍生的線性系統。