概率与统计：不确定性科学

📚 内容概要

一门全面的大学本科水平课程，系统介绍概率与统计的数学基础。课程要求具备一年微积分知识，涵盖概率模型、随机变量、期望、抽样分布、似然与贝叶斯推断，以及变量之间的关系。

通过基于微积分的概率与统计推断，掌握不确定性这一严谨的数学科学。

作者： Michael J. Evans 与 Jeffrey S. Rosenthal

致谢： 作者感谢多所院校（包括多伦多大学、麦克马斯特大学和普渡大学）的评审人及同事们的贡献。同时，也特别提及多伦多大学提供的资金与基础设施支持。

🎯 学习目标

1. 使用样本空间、事件和概率测度，定义一个正式的概率模型。
2. 应用组合原理（排列、子集、二项系数）解决均匀概率问题。
3. 利用全概率公式和贝叶斯定理分析多阶段系统，并根据新信息更新信念。
4. 定义并区分离散型与绝对连续型随机变量，及其各自的概率/密度函数。
5. 识别并应用关键概率分布（如伯努利、二项、泊松、正态等）来建模现实世界现象。
6. 计算多元分布的边缘密度、条件分布，并评估独立性。
7. 计算离散、连续及混合型随机变量的期望值、方差和协方差。
8. 应用“无意识统计学家定律”（LOTUS）和线性性质，计算变换后变量的期望。
9. 利用概率生成函数（PGF）和矩生成函数（MGF）推导各阶矩。
10. 定义并推导独立同分布序列函数的抽样分布。

🔹 第1课：概率模型基础

概述： 本课建立概率的严格数学框架，从直观的“不确定性度量”过渡到形式化的公理化模型。内容涵盖概率测度的基本性质、有限空间中的组合计数技术，以及条件概率的基础机制，包括贝叶斯定理和概率测度的连续性。

学习成果：

• 使用样本空间、事件和概率测度，定义一个正式的概率模型。
• 应用组合原理（排列、子集、二项系数）解决均匀概率问题。
• 利用全概率公式和贝叶斯定理分析多阶段系统，并根据新信息更新信念。

🔹 第2课：随机变量与概率分布

概述： 本课探讨通过随机变量（RV）量化不确定性的数学框架。学生将从定义随机变量及其分布（离散与连续）出发，逐步理解联合分布、变换方法，以及数值模拟这些变量的手段。内容连接了基于微积分的理论概率与建模和统计模拟的实际应用。

学习成果：

• 定义并区分离散型与绝对连续型随机变量，及其各自的概率/密度函数。
• 识别并应用关键概率分布（如伯努利、二项、泊松、正态等）来建模现实世界现象。
• 计算多元分布的边缘密度、条件分布，并评估独立性。

🔹 第3课：数学期望与矩

概述： 本课探讨数学期望这一基本概念——即随机变量的“长期平均值”，从简单的离散与连续情形推广至一般任意变量。我们将通过方差与协方差分析数据的变异性，利用生成函数（PGF、MGF 和特征函数）简化矩的计算，并应用强大的概率不等式对未知分布进行界限估计。最后，课程涵盖条件期望与全期望定律，这对分析复杂多阶段随机过程至关重要。

学习成果：

• 计算离散、连续及混合型随机变量的期望值、方差与协方差。
• 应用“无意识统计学家定律”（LOTUS）和线性性质，计算变换后变量的期望。
• 利用概率生成函数（PGF）和矩生成函数（MGF）推导矩。

🔹 第4课：抽样分布与极限定理

概述： 本课研究随机变量作为样本函数时的行为（抽样分布），以及样本量增大时这些分布的变化趋势（极限定理）。学生将掌握从有限样本分布向渐近近似（如中心极限定理）的过渡，并探究蒙特卡洛近似与重要性采样等计算方法。

学习成果：

• 定义并推导独立同分布序列函数的抽样分布。
• 区分并应用依概率收敛与依分布收敛。
• 利用中心极限定理与二项分布的正态近似估算概率。

🔹 第5课：统计推断基础

概述： 本课探讨从纯概率向统计推断的转变，回答如何利用观测数据对系统的真正概率模型做出判断。学生将学习构建正式统计模型（如伯努利与正态模型），理解严格的抽样方法（如简单随机抽样与分层抽样），并通过描述性统计、直方图和经验分布函数总结研究发现。

学习成果：

• 定义统计推断在应对由变异性和数据有限性引起的不确定性中的作用。
• 构建并解释统计模型，识别参数与参数空间。
• 区分总体特征与样本估计，使用简单随机抽样与分层抽样技术。

🔹 第6课：基于似然的推断

概述： 本课深入探讨基于似然的统计推断的理论基础与实际应用。内容从似然原理、充分性等基本概念出发，过渡到通过最大似然估计（MLE）进行参数估计，并通过偏差、一致性与标准误评估估计量。此外，课程涵盖参数方法（z区间、t区间与假设检验）与非参数方法（矩法、自助法与符号统计），最终进入渐近正态性与费希尔信息的高级研究。

学习成果：

• 定义并应用似然函数与因子分解定理，识别充分统计量与最小充分统计量。
• 计算最大似然估计量（MLE），并使用均方误差（MSE）、偏差与一致性评估其质量。
• 使用参数与非参数技术构建并解释各种统计模型的置信区间与P值。

🔹 第7课：贝叶斯统计推断

概述： 本课探索贝叶斯框架下的统计推断，其中参数被视为具有概率分布的随机变量。学生将学习如何结合先验信念（先验分布）与观测数据（似然）以形成更新后的信念（后验分布）。课程涵盖理论基础、实用估计技术（贝叶斯因子、预测）、计算方法（吉布斯采样、渐近正态性），以及先验选择的战略考量。

学习成果：

• 对多种模型（包括共轭族）使用贝叶斯定理计算后验分布。
• 进行贝叶斯估计（均值、众数）与使用贝叶斯因子的假设检验。
• 为未来观测构建后验预测分布。

🔹 第8课：最优推断与决策理论

概述： 本课探讨寻找“最佳”统计程序的数学基础。我们从基本估计过渡到最优无偏估计（UMVU），通过奈曼-皮尔逊定理发展一致最优势检验（UMP）理论，并融合贝叶斯视角与决策理论，利用损失函数与风险函数评估估计量与检验。

学习成果：

• 应用拉奥-布莱克韦尔定理与莱曼-谢夫定理，推导一致最小方差无偏（UMVU）估计量。
• 利用克拉默-罗信息不等式，确定无偏估计量方差的理论下限。
• 使用奈曼-皮尔逊引理构造一致最优势（UMP）检验，并通过功效函数与错误类型进行评估。

🔹 第9课：模型检验与诊断

概述： 本课探讨在统计建模中验证假设的关键过程。学生将学习使用差异统计量与辅助统计量检查抽样模型，利用残差图与概率图等可视化工具，执行卡方检验与费希尔精确检验等正式检验。此外，课程还涵盖贝叶斯模型检验中的先验-数据冲突分析，并警示同时进行多重检验的统计陷阱。

学习成果：

• 定义并识别用于衡量模型偏差的辅助统计量与差异统计量。
• 构建并解读标准化残差与正态概率图，评估正态性与模型拟合度。
• 对分类与分组数据应用卡方拟合优度检验与费希尔精确检验。

🔹 第10课：变量间关系与回归分析

概述： 本课探讨统计模型如何描述不同变量之间的依赖关系。内容从基于条件分布变化的关系定义出发，逐步推进至复杂的建模技术，包括简单与多元线性回归、适用于分类预测变量的方差分析（ANOVA），以及适用于二元响应的逻辑回归。学生将学习使用最小二乘法估计参数，通过决定系数（R²）与方差分解评估模型拟合度，并通过残差分析验证假设。

学习成果：

• 基于条件分布定义并识别变量间的相互关系。
• 应用最小二乘法估计简单与多元线性回归模型的参数。
• 利用方差分解与F统计量测试预测变量的重要性并识别交互作用。

🔹 第11课：随机过程导论

概述： 本课为随机过程提供全面基础——即随时间随机演化的系统。学生将从离散时间模型（如简单随机游走与马尔可夫链）出发，逐步掌握马尔可夫链蒙特卡洛（MCMC）等先进计算技术，最终拓展至连续时间过程，包括鞅、布朗运动与泊松过程。

学习成果：

• 计算随机游走的概率，并确定赌博模型中“破产”的可能性。
• 分析马尔可夫链的不可约性、周期性与平稳分布。
• 设计并解释针对复杂分布的梅特罗波利斯-黑斯廷斯算法与吉布斯采样算法。