確率と統計：不確実性の科学

📚 コンテンツ概要

確率と統計の数学的基礎を網羅的に扱う、大学レベルの入門講座。微積分の1年間の知識を前提としており、確率モデル、確率変数、期待値、標本分布、尤度とベイズ推定、および変数間の関係性について学びます。

微積分に基づく確率論と統計的推論を通じて、不確実性の厳密な数学的科学を習得する。

著者: マイケル・J・エヴァンス、ジェフリー・S・ローゼンタール

謝辞: 著者は、トロント大学、マクマスター大学、パデュー大学などでのレビュー担当者および同僚からの貢献に感謝しています。また、トロント大学からの資金提供およびインフラ支援についても記載されています。

🎯 学習目標

1. 样本空間、事象、確率測度を用いた形式的な確率モデルを定義する。
2. 組合せ原理（順列、部分集合、二項係数）を用いて一様確率問題を解く。
3. 全確率の法則とベイズの定理を活用し、多段階システムを分析し、新しい情報を基に信念を更新する。
4. 離散型と絶対連続型の確率変数の定義と区別を行い、それぞれの確率関数・密度関数を理解する。
5. 実世界の現象をモデル化するために、代表的な確率分布（ベルヌーイ、二項、ポアソン、正規分布など）を識別し適用する。
6. 多変量分布における周辺密度、条件付き分布の計算を行い、独立性を評価する。
7. 離散型、連続型、混合型の確率変数について、期待値、分散、共分散を計算する。
8. 無意識の統計学者の法則（LOTUS）および線形性の性質を用いて、変換された変数の期待値を計算する。
9. 確率生成関数（PGF）およびモーメント生成関数（MGF）を用いてモーメントを導出する。
10. 独立同一分布（i.i.d.）の関数に関する標本分布を定義し導出する。

🔹 レッスン1：確率モデルの基礎

概要: このレッスンでは、直感的な「不確実性の尺度」から形式的な公理的モデルへと移行する、確率の厳密な数学的枠組みを構築します。確率測度の基本的性質、有限空間における組合せ的数え上げ技法、そして条件付き確率の基本メカニズム（ベイズの定理、確率測度の連続性など）を扱います。

学習成果:

• 样本空間、事象、確率測度を用いた形式的な確率モデルを定義する。
• 順列、部分集合、二項係数などの組合せ原理を用いて一様確率問題を解く。
• 全確率の法則とベイズの定理を活用し、多段階システムを分析し、新たな情報に基づいて信念を更新する。

🔹 レッスン2：確率変数と確率分布

概要: このレッスンでは、確率変数（RV）を通じた不確実性の定量的枠組みを学びます。学生は確率変数とその分布（離散型と連続型）の定義から始め、同時分布、変換、数値シミュレーションの方法まで進んでいきます。理論的な微積分に基づく確率論と、モデリングや統計シミュレーションにおける実践応用との橋渡しを行います。

学習成果:

• 離散型と絶対連続型の確率変数の定義と区別を行い、それぞれの確率関数・密度関数を理解する。
• 実世界の現象をモデル化するために、代表的な確率分布（ベルヌーイ、二項、ポアソン、正規分布など）を識別し適用する。
• 多変量分布における周辺密度、条件付き分布の計算を行い、独立性を評価する。

🔹 レッスン3：数学的期待値とモーメント

概要: このレッスンでは、確率変数の「長期平均」としての数学的期待値という基本的概念に焦点を当てます。単純な離散型・連続型の場合から一般の任意の変数への拡張までを検討します。データのばらつきを分散と共分散で分析し、生成関数（PGF、MGF、特性関数）を用いてモーメント計算を簡略化し、強力な確率不等式を用いて未知の分布を制限します。最後に、条件付き期待値と全期待値の法則について学び、複雑な多段階確率過程を分析するための基盤を構築します。

学習成果:

• 離散型、連続型、混合型の確率変数について、期待値、分散、共分散を計算する。
• 無意識の統計学者の法則（LOTUS）および線形性の性質を用いて、変換された変数の期待値を計算する。
• 確率生成関数（PGF）およびモーメント生成関数（MGF）を用いてモーメントを導出する。

🔹 レッスン4：標本分布と極限定理

概要: このレッスンでは、標本の関数としての確率変数の振る舞い（標本分布）と、標本サイズが大きくなるにつれての挙動（極限定理）について探求します。学生は有限標本分布から漸近的近似（中心極限定理など）への移行を習得し、モンテカルロ近似や重要度サンプリングなどの計算手法を調査します。

学習成果:

• 独立同一分布（i.i.d.）の関数に関する標本分布を定義し導出する。
• 確率収束と分布収束の違いを識別し、それぞれを適用する。
• 中心極限定理および二項分布の正規近似を用いて確率を推定する。

🔹 レッスン5：統計的推論の基礎

概要: このレッスンでは、純粋な確率論から統計的推論への移行を探ります。観測データを用いて、システムの真の確率測度についての主張を行う方法を扱います。学生はベルヌーイ分布や正規分布といった形式的な統計モデルを構築し、有限母集団からの簡単無作為抽出や層化抽出といった厳密なデータ収集方法を理解し、記述統計、ヒストグラム、経験的分布関数などを通じて結果を要約します。

学習成果:

• 不確実性が変動と限られたデータによって引き起こされる状況において、統計的推論の役割を定義する。
• 統計モデルを構築・解釈し、パラメータとパラメータ空間を特定する。
• 簡単無作為抽出および層化抽出の技術を用いて、母集団の特徴と標本推定値の違いを区別する。

🔹 レッスン6：尤度に基づく推論

概要: このレッスンでは、尤度に基づく統計的推論の理論的基盤と実践的応用を学びます。尤度の原則や十分統計量といった基本概念から始まり、最尤推定（MLE）によるパラメータ推定、バイアス、一致性、標準誤差を用いた推定器の評価まで展開します。さらに、パラメトリック手法（z区間、t区間、仮説検定）と分布自由手法（モーメント法、ブートストラップ、符号統計）を扱い、最終的に漸近正規性とフィッシャー情報量の高度な研究に至ります。

学習成果:

• 尤度関数と因子分解定理を定義・適用し、十分統計量および最小十分統計量を識別する。
• 最尤推定値（MLE）を計算し、平均二乗誤差（MSE）、バイアス、一致性を用いてその品質を評価する。
• パラメトリックおよび非パラメトリック手法を用いて、さまざまな統計モデルに対して信頼区間とp値を構築・解釈する。

🔹 レッスン7：ベイズ統計的推論

概要: このレッスンでは、パラメータを確率分布を持つ確率変数として扱うベイズ的枠組みを学びます。学生は事前信念（事前分布）と観測データ（尤度）を組み合わせることで、更新された信念（事後分布）を生み出す方法を習得します。理論的基盤、実践的な推定手法（ベイズ因子、予測）、計算手法（ギブスサンプリング、漸近正規性）、事前の選択戦略についてもカバーします。

学習成果:

• ベイズの定理を用いて、特に共役族を含むさまざまなモデルの事後分布を計算する。
• ベイズ推定（平均、最頻値）およびベイズ因子を用いた仮説検定を行う。
• 未来の観測値に対する事後予測分布を構築する。

🔹 レッスン8：最適推論と意思決定理論

概要: このレッスンでは、「最良」とされる統計的手法を見つけるための数学的基盤を学びます。基本的な推定から、一様最小分散不偏推定量（UMVU）への最適不偏推定の理論へと発展し、ネイマン-ピアソン定理を用いて一様最強力検定（UMP）の理論を構築します。さらに、ベイズ的視点と意思決定理論を統合し、損失関数とリスク関数を用いて推定量や検定の評価を行います。

学習成果:

• レイ・ブラックウェルの定理とレーマン＝シェッフェの定理を用いて、一様最小分散不偏（UMVU）推定量を導出する。
• クラメール・ラオ情報不等式を用いて、不偏推定量の分散に対する根本的な下限を決定する。
• ネイマン＝ピアソン補題を用いて一様最強力（UMP）検定を構築し、パワー関数および誤りの種類を用いて評価する。

🔹 レッスン9：モデルチェックと診断

概要: このレッスンでは、統計モデルの構築時に仮定した条件の妥当性を検証する重要なプロセスについて学びます。乖離統計量や補助統計量を用いてサンプリングモデルの検証を行い、残差図や確率プロットなどの視覚的ツールを活用し、カイ二乗検定やフィッシャー正確確率検定などの正式な検定を実施します。また、事前データの不一致分析を用いたベイズ的モデルチェックについても扱い、複数の同時チェックを行うことによる統計的落とし穴に注意を喚起します。

学習成果:

• 模型のずれを測定するために用いる補助統計量と乖離統計量を定義し識別する。
• 標準化残差と正規確率プロットを構築・解釈し、正規性とモデル適合度を評価する。
• カイ二乗適合度検定およびフィッシャー正確確率検定を用いて、カテゴリカルおよびグループ化データに対して検定を行う。

🔹 レッスン10：変数間の関係性と回帰

概要: このレッスンでは、統計モデルが異なる変数間の依存関係をどのように記述するかを探ります。条件付き分布の変化に基づく関係の基本的定義から始まり、単回帰・重回帰、カテゴリカル予測子に対する分散分析（ANOVA）、二値応答に対するロジスティック回帰といった高度なモデリング手法までを扱います。学生は最小二乗法を用いてパラメータを推定し、決定係数やANOVA分解を用いてモデルの適合度を評価し、残差分析により仮定の妥当性を検証します。

学習成果:

• 条件付き分布に基づいて変数間の関係を定義し識別する。
• 最小二乗法を用いて単回帰および重回帰モデルのパラメータを推定する。
• ANOVA分解とF統計量を用いて予測子の有意性を検定し、交互作用を特定する。

🔹 レッスン11：確率過程の導入

概要: このレッスンでは、時間とともにランダムに変化するシステムである確率過程の包括的な基礎を学びます。学生は離散時刻モデル（単純ランダムウォーク、マルコフ連鎖）から始まり、マーキョフ連鎖モンテカルロ（MCMC）などの高度な計算技法まで学び、最終的にマルチンゲール、ブラウン運動、ポアソン過程といった連続時刻過程に到達します。

学習成果:

• ランダムウォークの確率を計算し、ギャンブルモデルにおける「破産」の可能性を評価する。
• マルコフ連鎖の既約性、周期性、定常分布を分析する。
• 複雑な分布に対するメトロポリス・ハスティングス法およびギブスサンプリングアルゴリズムを設計・説明する。