概率论导论

📚 内容概要

面向数学、统计学、工程及科学领域学生的概率论基础入门。内容涵盖组合分析的基本原理、概率公理、条件概率、随机变量以及极限定理。

一本经典且全面的概率数学理论及其应用的基础读物。

作者： 肖尔登·罗斯

致谢： 感谢霍西恩·哈马达尼、乔·布利茨斯坦、彼得·诺伊施、伊万·阿德斯蒂尼，以及多位大学评审员/贡献者在准确性与反馈方面的支持。

🎯 学习目标

1. 将计数的基本原理和广义原理应用于多阶段实验。
2. 区分并计算不同对象（可区分与不可区分）的排列与组合。
3. 使用代数归纳法和逻辑组合论证证明组合恒等式。
4. 为各种实验定义样本空间与事件，并运用德摩根律处理集合运算。
5. 利用概率的三个基本公理及简单命题（补集、并集、子集）计算概率。
6. 解决涉及等可能结果的复杂组合问题，如扑克牌手型、匹配问题和生日问题。
7. 使用公式 P(E|F) = \frac{P(EF)}{P(F)} 定义并计算条件概率。
8. 应用贝叶斯公式解决涉及多个假设和诊断测试的复杂问题。
9. 在遗传学和工程等实际场景中，区分独立事件与条件独立事件。
10. 定义离散随机变量，并计算其概率质量函数（PMF）和累积分布函数（CDF）。

🔹 第1课：组合分析

概述： 本课介绍计数的基本数学理论，即组合分析。内容从独立实验的乘法原则出发，逐步深入到排列与组合的正式研究。学生将掌握二项式定理与多项式定理，探索多种证明技巧，并利用整数方程求解复杂的分布问题。

学习成果：

• 将计数的基本原理和广义原理应用于多阶段实验。
• 区分并计算可区分与不可区分对象的排列与组合。
• 使用代数归纳法和逻辑组合论证证明组合恒等式。

🔹 第2课：概率公理

概述： 本课建立概率论的严格数学基础，从样本空间与事件的定义开始。引入柯尔莫哥洛夫的三条概率公理及其推论，例如包含-排斥原理。内容还延伸至组合应用，包括生日问题与匹配问题。

学习成果：

• 为多样化实验定义样本空间与事件，并运用德摩根律处理集合运算。
• 利用概率的三个基本公理及简单命题计算概率。
• 解决涉及等可能结果的复杂组合问题，如扑克牌手型、匹配问题和生日问题。

🔹 第3课：条件概率与独立性

概述： 本课探讨在获得新信息后如何更新事件的概率。从无条件概率过渡到条件框架，通过贝叶斯公式与拉普拉斯成功规则形式化依赖事件与独立事件之间的关系。学生将学习如何利用实证证据更新先验概率，得出后验结论。

学习成果：

• 使用公式 P(E|F) = \frac{P(EF)}{P(F)} 定义并计算条件概率。
• 应用贝叶斯公式解决涉及多个假设和诊断测试的复杂问题。
• 在遗传学和工程等实际场景中，区分独立事件与条件独立事件。

🔹 第4课：离散随机变量

概述： 本课探讨离散随机变量的基本理论与应用，即其可能取值集合为有限或可数无限的变量。我们将定义其概率质量函数（PMF）和累积分布函数（CDF），并建立中心趋势与离散度的核心度量。最后，课程还将考察用于建模现实现象的具体分布族。

学习成果：

• 定义离散随机变量，并计算其概率质量函数（PMF）与累积分布函数（CDF）。
• 计算随机变量及其函数的期望值与方差。
• 识别并应用适当的离散概率分布，以解决复杂的文字问题。

🔹 第5课：连续随机变量

概述： 本课探讨连续随机变量的性质与应用，重点关注其期望、方差及特定概率分布。学生将学习使用均匀分布、正态分布、指数分布、伽玛分布、威布尔分布、柯西分布和贝塔分布来建模现实世界现象。课程还包括对离散分布的近似方法以及随机变量的变换技术。

学习成果：

• 计算连续随机变量及其函数的期望值与方差。
• 应用正态分布及其对二项分布的近似（使用连续性校正）。
• 利用指数分布、无记忆性及风险率函数分析可靠性和寿命问题。

🔹 第6课：联合分布的随机变量

概述： 本课探讨同时处理多个随机变量的数学框架。内容涵盖从单一分布到联合概率密度/质量函数的过渡，严谨定义独立性，并研究独立变量之和的行为。此外，课程还拓展至高级主题，包括顺序统计量和利用雅可比行列式对随机向量进行变换。

学习成果：

• 计算连续与离散联合随机变量的边际分布与条件密度。
• 应用因子分解准则判断随机变量是否独立，并建模复杂过程。
• 使用雅可比行列式法求函数的联合分布，并计算顺序统计量的分布。

🔹 第7课：期望的性质

概述： 本课深入探讨数学期望的高级性质，超越简单的平均概念，涵盖和的线性性、协方差以及条件作用的强大功能。学生将学习如何将这些工具应用于算法分析、概率界估计和预测建模。

学习成果：

• 将期望的线性性应用于复杂求和，包括指示变量和无穷级数。
• 计算并解释协方差、相关系数以及依赖与独立变量之和的方差。
• 利用条件期望与条件方差简化复合随机变量的分析，并解决优化问题。

🔹 第8课：极限定理

概述： 本课介绍概率论的基本渐近结果，特别是当观测次数趋于无穷时，随机变量之和与平均值的行为特征。我们探讨弱大数定律与强大数定律，以及中心极限定理。同时也会讨论单侧切比雪夫不等式等具体概率界。

学习成果：

• 根据收敛标准区分弱大数定律与强大数定律。
• 应用中心极限定理（CLT）利用正态分布近似随机变量之和的概率。
• 利用单侧切比雪夫不等式为尾部概率提供上界。

🔹 第9课：随机过程与熵

概述： 本课探讨用于建模随时间变化的随机事件的数学框架，以及信息量的量化方法。内容涵盖泊松过程及其到达间隔时间、马尔可夫链的结构与长期行为，以及信息论的基本原理。特别关注熵及其在最优编码中的应用。

学习成果：

• 定义并计算泊松过程的概率，并确定到达间隔时间的分布。
• 构造马尔可夫链的转移矩阵，并利用查普曼-科尔莫戈罗夫方程求n步概率。
• 计算遍历性马尔可夫链的极限概率，并求解随机游走问题。

🔹 第10课：模拟技术

概述： 本课探讨模拟的基本原理与应用，用于通过经验手段确定概率与期望值。内容包括随机排列的生成、连续与离散随机变量的模拟技术，以及降低方差的高级方法。这些技术可提高模拟估计的效率与准确性。

学习成果：

• 理解伪随机数生成器与种子在模拟中的作用。
• 实现算法以生成随机排列，并模拟来自离散与连续分布的变量。
• 应用极坐标法生成标准正态变量，并模拟卡方分布变量。