確率入門

📚 コンテンツ概要

数学、統計学、工学および科学の分野の学生向けに、確率論の基礎を初歩から解説するテキスト。組合せ論の基本原理、確率の公理、条件付き確率、確率変数、極限定理について網羅的に扱う。

確率の数学的理論と応用における古典的で包括的な基盤。

著者: シェルドン・ロス

謝辞: 正確性とフィードバックに貢献したホーシェイン・ハマダニ、ジョー・ブリッツスタイン、ピーター・ヌース、イヴァン・アルデスタニ、および複数の大学のレビュアー／寄稿者に感謝する。

🎯 学習目標

1. 複数段階の実験に対して、数え上げの基本的および拡張された原理を適用する。
2. 異なる種類の対象（区別可能および区別不能）に対する順列と組合せの違いを識別し、計算する。
3. 代数的帰納法と論理的な組合せ的議論を用いて組合せ恒等式を証明する。
4. 多様な実験に対応する標本空間と事象を定義し、集合演算にドモルガンの法則を適用する。
5. 確率の三つの基本公理および簡単な命題（余事象、和事象、部分集合）を用いて確率を計算する。
6. 同じ確率を持つ結果を伴う複雑な組合せ問題（ポーカーの手札、一致問題、誕生日問題など）を解く。
7. 条件付き確率の定義と公式 P(E|F) = \frac{P(EF)}{P(F)} を用いて計算する。
8. ベイズの公式を用いて、複数の仮説と診断テストを含む複雑な問題を解決する。
9. 遺伝学や工学などの実践的状況において、独立事象と条件付き独立事象の違いを識別する。
10. 離散確率変数を定義し、その確率質量関数（PMF）および累積分布関数（CDF）を計算する。

🔹 レッスン1：組合せ論

概要: このレッスンでは、数えることに関する基礎的な数学理論である組合せ論（combinatorial analysis）を扱う。独立な実験に対する乗法の原則から始まり、順列と組合せの正式な研究へと展開する。学生は二項定理および多項定理を習得し、さまざまな証明手法を学び、整数値方程式を用いた複雑な分布問題を解決する力を身につける。

学習成果:

• 複数段階の実験に対して、数え上げの基本的および拡張された原理を適用する。
• 区別可能な対象と区別不能な対象の両方に対して、順列と組合せの違いを識別し、計算する。
• 代数的帰納法と論理的な組合せ的議論を用いて組合せ恒等式を証明する。

🔹 レッスン2：確率の公理

概要: このレッスンでは、確率論の形式的な数学的基盤を構築する。標本空間と事象の定義から始まり、コルモゴロフの確率の三公理と、包含・排除の原理などの導出された命題を導入する。さらに、誕生日問題や一致問題といった組合せ的応用にも及ぶ。

学習成果:

• 多様な実験に対応する標本空間と事象を定義し、集合演算にドモルガンの法則を適用する。
• 確率の三つの基本公理および簡単な命題を用いて確率を計算する。
• 同じ確率を持つ結果を伴う複雑な組合せ問題（ポーカーの手札、一致問題、誕生日問題など）を解く。

🔹 レッスン3：条件付き確率と独立性

概要: このレッスンでは、新しい情報に基づいて事象の確率がどのように更新されるかを考察する。無条件確率から条件付き枠組みへと移行し、ベイズの公式とラプラスの成功則を通じて、依存事象と独立事象の関係を形式化する。学生は経験的事実をもとに事前確率を更新し、事後的結論を得る方法を学ぶ。

学習成果:

• 公式 P(E|F) = \frac{P(EF)}{P(F)} を用いて条件付き確率を定義し、計算する。
• ベイズの公式を用いて、複数の仮説と診断テストを含む複雑な問題を解決する。
• 遺伝学や工学などの実践的状況において、独立事象と条件付き独立事象の違いを識別する。

🔹 レッスン4：離散確率変数

概要: このレッスンでは、可能な値の集合が有限または可算無限である離散確率変数の理論と応用を扱う。確率質量関数（PMF）と累積分布関数（CDF）を定義し、中心傾向と分散の基本的指標を確立する。最後に、現実世界の現象をモデル化するために使われる特定の分布族を検討する。

学習成果:

• 離散確率変数を定義し、その確率質量関数（PMF）および累積分布関数（CDF）を計算する。
• 確率変数およびその関数の期待値と分散を計算する。
• 複雑な文章問題を解くために、適切な離散確率分布を識別し、適用する。

🔹 レッスン5：連続確率変数

概要: このレッスンでは、連続確率変数の性質と応用に焦点を当てる。期待値、分散、および特定の確率分布について学ぶ。学生は一様分布、正規分布、指数分布、ガンマ分布、ワイブル分布、コーシー分布、ベータ分布などを用いて現実世界の現象をモデル化する方法を学ぶ。また、離散分布の近似技術や確率変数の変換についても扱う。

学習成果:

• 連続確率変数およびその関数の期待値と分散を計算する。
• 連続補正を用いて正規分布を二項分布に近似する。
• 指数分布、記憶なしの性質、ハザード関数を用いて信頼性や寿命を分析する。

🔹 レッスン6：同時分布する確率変数

概要: このレッスンでは、複数の確率変数を同時に扱うための数学的枠組みを扱う。個々の分布から共通確率密度関数／確率質量関数への移行、独立性の厳密な定義、独立変数の和の振る舞いについて学ぶ。さらに、順序統計量やヤコビアンを用いた確率ベクトルの変換といった高度なトピックにも進む。

学習成果:

• 連続および離散の同時確率変数に対して、周辺分布および条件付き密度を計算する。
• 因子分解基準を適用して確率変数の独立性を判定し、複雑なプロセスをモデル化する。
• ヤコビアン行列式法を用いて確率変数の関数の同時分布を求め、順序統計量の分布を計算する。

🔹 レッスン7：期待値の性質

概要: このレッスンでは、数学的期待値の高度な性質に焦点を当てる。単なる平均を超えて、和の線形性、共分散、そして条件付き期待値の強力な使い方を学ぶ。学生はこれらのツールをアルゴリズム解析、確率的不等式、予測モデリングに応用する方法を習得する。

学習成果:

• 指示変数や無限級数を含む複雑な和に対して、期待値の線形性を適用する。
• 共分散、相関係数、および従属・独立変数の和の分散を計算し、解釈する。
• 条件付き期待値と分散を活用して、複合確率変数の分析を簡略化し、最適化問題を解く。

🔹 レッスン8：極限定理

概要: このレッスンでは、確率論の基本的な漸近結果を扱う。観測回数が無限大に近づくとき、確率変数の和および平均がどのように振る舞うかを考察する。弱大数法則と強大数法則、中央極限定理について学ぶ。また、片側チェビシェフ不等式のような特定の確率的境界も取り上げる。

学習成果:

• 収束基準の観点から、弱大数法則と強大数法則の違いを区別する。
• 中央極限定理（CLT）を用いて、正規分布を使って確率変数の和の確率を近似する。
• 片側チェビシェフ不等式を用いて、尾部確率に対する上界を求める。

🔹 レッスン9：確率過程とエントロピー

概要: このレッスンでは、時間とともに変化するランダム事象をモデル化するための数学的枠組みと、情報量を測定する方法について学ぶ。ポアソン過程とその到着間隔、マルコフ連鎖の構造と長期的挙動、情報理論の基本原則について扱う。特に、エントロピーと最適符号化への応用を詳述する。

学習成果:

• ポアソン過程の確率を定義・計算し、到着間隔の分布を決定する。
• マルコフ連鎖の遷移行列を構成し、チャップマン-コルモゴロフ方程式を用いてnステップ確率を求める。
• エルゴディックなマルコフ連鎖の極限確率を計算し、ランダムウォークの問題を解く。

🔹 レッスン10：シミュレーション技法

概要: このレッスンでは、確率や期待値を実証的に決定するためのシミュレーションの原則と応用を学ぶ。乱数順列の生成、連続および離散確率変数のシミュレーション手法、分散低減の高度な方法について扱う。これらの技法により、シミュレーション推定の効率性と精度が向上する。

学習成果:

• 擬似乱数生成器とシードの役割を理解する。
• 乱数順列の生成および離散・連続分布からの変数のシミュレーションに必要なアルゴリズムを実装する。
• ポーラ法を用いて単位正規変数を生成し、カイ二乗分布の変数をシミュレートする。