数值分析
一本全面的教材，涵盖数值近似技术的理论与应用。内容包括数学预备知识、误差分析、方程求解、插值以及常微分方程的数值解法。
课程概述
📚 内容概要
一本关于数值近似技术理论与应用的综合性教材。内容涵盖数学预备知识、误差分析、方程求解、插值以及常微分方程的数值解法。
掌握现代数值近似技术的艺术与科学。
作者： Richard L. Burden, J. Douglas Faires
致谢： 由扬斯顿州立大学支持，并感谢包括都柏林城市大学的 John Carroll 及多位学生助理（如 Mario Sracic）的贡献。
🎯 学习目标
- 应用介值定理和罗尔定理证明解的存在性与唯一性。
- 构造泰勒多项式，并利用其余项建立数值近似中严格的误差界。
- 区分舍入与截断算术，计算浮点系统中的绝对误差与相对误差。
- 应用二分法、定点法、牛顿法、割线法和伪位法来逼近根。
- 分析各种迭代方法的收敛阶与误差界。
- 使用艾特肯的 \Delta^2 方法和斯蒂芬森方法加速线性序列的收敛。
- 叙述并解释 魏尔斯特拉斯逼近定理 及其对函数逼近的意义。
- 为给定数据集构造 拉格朗日、牛顿差商 和 埃尔米特插值多项式。
- 应用 内维尔法 迭代生成多项式近似。
- 推导并应用数值微分公式（三点法）及误差估计。
🔹 第一课：数学预备知识与误差分析
概述： 本课建立理论微积分与实际数值计算之间的基础桥梁。回顾用于误差估计的关键微积分定理（如泰勒定理、中值定理），随后转入计算机算术的限制讨论。学生将学会量化误差，识别精度损失的原因（如有效数字相消），并使用大 O 符号评估算法效率。
学习成果：
- 应用介值定理和罗尔定理证明解的存在性与唯一性。
- 构造泰勒多项式，并利用其余项建立数值近似中严格的误差界。
- 区分舍入与截断算术，并计算浮点系统中的绝对误差与相对误差。
🔹 第二课：单变量方程的求解
概述： 本课探讨求解函数 f(x) = 0 零点的数值方法，这是科学计算中的基本问题。内容涵盖从稳健但缓慢的二分法到快速收敛的牛顿法及其变体（割线法、伪位法）的逐步演进。此外，还涉及迭代收敛的误差分析、多重根处理技巧，以及针对多项式的特殊算法，如穆勒法和霍纳法。
学习成果：
- 应用二分法、定点法、牛顿法、割线法和伪位法来逼近根。
- 分析各种迭代方法的收敛阶与误差界。
- 使用艾特肯的 \Delta^2 方法和斯蒂芬森方法加速线性序列的收敛。
🔹 第三课：插值与多项式逼近
概述： 本课探讨使用代数多项式逼近连续函数的方法。从魏尔斯特拉斯逼近定理的理论基础出发，逐步深入拉格朗日与牛顿插值形式、内维尔的迭代方法，以及埃尔米特多项式。课程最后介绍三次样条插值与参数曲线，展示分段多项式如何避免高次全局多项式在实际应用（如曲线拟合）中出现的振荡问题。
学习成果：
- 叙述并解释 魏尔斯特拉斯逼近定理 及其对函数逼近的意义。
- 为给定数据集构造 拉格朗日、牛顿差商 和 埃尔米特插值多项式。
- 应用 内维尔法 迭代生成多项式近似。
🔹 第四课：数值微分与积分
概述： 本课涵盖导数与积分的数值逼近，这对于解析解难以或无法获得的数学问题至关重要。学生将探索通过三点公式与里查森外推法实现高精度微分，逐步学习牛顿-科特斯积分技术（梯形法则与辛普森法则），并掌握高级求积方法，包括龙贝格、自适应与高斯求积。课程结尾涉及双重积分与广义积分的数值处理。
学习成果：
- 推导并应用数值微分公式（三点法）及误差估计。
- 实现里查森外推法以提高数值近似的精度阶。
- 应用复合数值积分规则与自适应求积处理复杂函数变化。
🔹 第五课：常微分方程初值问题的数值解
概述： 本课涵盖初值问题（IVP）解的数值逼近。从适定性与利普希茨条件的理论基础开始，逐步过渡到欧拉法等基本方法，再到龙格-库塔、多步法、外推法与稳定性分析等高级技术。最后，探讨涉及微分方程组的特殊情况，以及刚性方程带来的独特挑战。
学习成果：
- 利用利普希茨条件与存在唯一性定理判断一个初值问题是否适定。
- 实现并分析单步法（欧拉法、泰勒法、龙格-库塔法）与多步法（阿达姆斯-巴什福斯、阿达姆斯-莫尔顿）的误差。
- 应用自适应技术（龙格-库塔-费尔伯格法、变步长）与外推法，在特定误差容限内求解常微分方程。
🔹 第六课：求解线性方程组的直接方法
概述： 本课涵盖求解线性方程组的系统化算法方法，从基础的高斯消元法过渡到先进的矩阵分解技术。学生将探索通过选主元保持数值稳定性的策略，分析矩阵的代数性质（逆矩阵、行列式），并在工程与科学情境中实现专用分解（LU、LDL^t、乔列斯基、克劳特）以实现高效计算。
学习成果：
- 执行带回代的高斯消元法，并评估其运算复杂度。
- 实现部分主元法与缩放部分主元法策略以最小化舍入误差。
- 使用行变换与余子式计算矩阵的逆与行列式。
🔹 第七课：矩阵代数中的迭代方法
概述： 本课探讨从直接方法向求解大型线性方程组的迭代方法的转变。重点在于通过范数衡量向量与矩阵的大小，通过谱半径确定收敛判据，并实现雅可比、高斯-赛德尔与逐次超松弛（SOR）等基本迭代算法。此外，还通过迭代修正、误差界分析，以及经预处理增强的高效共轭梯度法来提升数值稳定性。
学习成果：
- 计算向量与矩阵范数（l_2 与 l_\infty），并确定矩阵的谱半径以评估收敛性。
- 实现并比较雅可比法、高斯-赛德尔法与 SOR 法求解 A\mathbf{x} = \mathbf{b}。
- 使用条件数估计误差界，并应用迭代修正改进近似解的精度。
🔹 第八课：逼近理论
概述： 本课探讨当精确表示不可得或计算上不切实际时，对函数与数据集进行逼近的方法。我们聚焦于通过 离散最小二乘法 最小化误差，利用 正交多项式与切比雪夫多项式 的高效性，并将这些技术扩展至 有理逼近与三角逼近，最终引出高性能的 快速傅里叶变换（FFT） 算法。
学习成果：
- 构建并求解离散线性与多项式最小二乘逼近的正规方程。
- 使用格拉姆-施密特过程生成正交多项式基，避免病态系统。
- 应用切比雪夫多项式最小化最大插值误差，并实现多项式经济化。
🔹 第九课：特征值的数值逼近
概述： 本课聚焦于数值方法求解特征值，超越符号求解特征多项式的根（对大型矩阵通常计算成本过高或不可能）。学生将学习使用盖尔圆定理定位特征值，应用幂法与反幂法等迭代技术求主导特征值与特定特征值，并利用结构变换（豪斯霍尔德法与 QR 算法）及奇异值分解（SVD）实现全面矩阵分析。
学习成果：
- 使用盖尔圆定理在复平面上定位特征值。
- 实现幂法与反幂法，并结合艾特肯加速求解主导特征值与移位特征值。
- 使用豪斯霍尔德法将对称矩阵化为三对角形式，并通过 QR 算法求解所有特征值。
🔹 第十课：非线性方程组的数值解
概述： 本课探讨从单变量根求解过渡到求解非线性方程组，其核心目标是寻找向量 \mathbf{x} 使得 \mathbf{F}(\mathbf{x}) = \mathbf{0}。我们研究多变量的定点迭代、基于雅可比矩阵的牛顿法、计算高效的拟牛顿法（特别是布罗伊登法），以及鲁棒的最速下降法与同伦/连续法，用于获取初始近似或处理标准方法失效的系统。
学习成果：
- 定义并应用多变量函数的定点迭代，并根据定理 10.6 确定收敛条件。
- 构造非线性系统的雅可比矩阵，并实现牛顿法以达到二次收敛。
- 使用谢尔曼-莫里森公式执行布罗伊登法，高效更新雅可比逆矩阵。
🔹 第十一课：常微分方程边值问题的数值解
概述： 本课涵盖二阶边值问题（BVPs）的数值解法，其中边界条件在不同点施加，不同于初值问题。学生将学习通过线性与非线性射影法将 BVP 转换为可解系统，使用有限差分法进行离散逼近，以及通过瑞利-里茨法运用变分技术。这些方法对于解决结构工程（梁的挠度）与物理（静电势）中的实际问题至关重要。
学习成果：
- 应用定理 11.1 判断边值问题解的存在性与唯一性。
- 使用线性射影法将二阶边值问题转化为一对初值问题（IVPs）。
- 使用牛顿法迭代求解非线性射影问题。
🔹 第十二课：偏微分方程的数值解
概述： 本课涵盖对三类主要偏微分方程（PDEs）——椭圆型、抛物型与双曲型——的数值逼近。通过有限差分法，学生将学习如何将连续域离散化为网格，并将微分算子转换为代数方程组。重点包括时间依赖方法的稳定性（前向差分与克拉克-尼科尔森对比）以及稳态系统的迭代求解（泊松方程与拉普拉斯方程）。
学习成果：
- 使用有限差分网格对各类 PDE 的空间与时间域进行离散化。
- 应用前向差分、后向差分与克拉克-尼科尔森方法求解抛物型热方程，并评估稳定性约束。
- 构建并求解由椭圆型方程（泊松/拉普拉斯）与双曲型波动方程导出的线性系统。