概率與統計：不確定性的科學

📚 內容概要

一門全面性的大學程度入門課程，涵蓋機率與統計的數學基礎。本課程需具備一年微積分知識，內容包括機率模型、隨機變數、期望值、抽樣分配、似然與貝氏推論，以及變數之間的關係。

透過基於微積分的機率與統計推論，掌握不確定性這門嚴謹的數學科學。

作者： Michael J. Evans 與 Jeffrey S. Rosenthal

致謝： 作者感謝多所機構（如多倫多大學、麥馬斯特大學、普渡大學）的審稿人與同事們的貢獻。同時也提及多倫多大學提供的資金與基建支援。

🎯 學習目標

1. 利用樣本空間、事件與機率度量，定義正式的機率模型。
2. 運用組合原理（排列、子集、二項係數）解決均勻機率問題。
3. 使用全機率法則與貝氏定理分析多階段系統，並根據新資訊更新信念。
4. 定義並區分離散型與絕對連續型隨機變數，及其對應的機率／密度函數。
5. 認識並應用關鍵機率分配（伯努利、二項、泊松、常態等），以建模現實現象。
6. 計算聯合分配的邊際密度、條件分配，並評估獨立性。
7. 計算離散、連續與混合型隨機變數的期望值、變異數與共變異數。
8. 應用無知統計師定律（LOTUS）與線性性質，計算變換後變數的期望值。
9. 利用機率生成函數（PGF）與動差生成函數（MGF）推導各階動差。
10. 定義並推導獨立同分布序列函數的抽樣分配。

🔹 第一課：機率模型的基礎

概述： 本課建立機率的嚴謹數學框架，從直觀的「不確定性衡量」過渡到形式化的公設模型。內容涵蓋機率度量的基本性質、有限空間中的組合計數技巧，以及條件機率的基礎機制，包括貝氏定理與機率度量的連續性。

學習成果：

• 利用樣本空間、事件與機率度量，定義正式的機率模型。
• 運用組合原理（排列、子集、二項係數）解決均勻機率問題。
• 使用全機率法則與貝氏定理分析多階段系統，並根據新資訊更新信念。

🔹 第二課：隨機變數與機率分配

概述： 本課探討以隨機變數（RV）量化不確定性的數學架構。學生將從定義隨機變數及其分配（離散與連續）出發，進而理解聯合分配、變換方法，以及數值模擬這些變數的技術。內容連結理論上的微積分機率與實際應用中的建模與統計模擬。

學習成果：

• 定義並區分離散型與絕對連續型隨機變數，及其對應的機率／密度函數。
• 認識並應用關鍵機率分配（伯努利、二項、泊松、常態等），以建模現實現象。
• 計算多變數分配的邊際密度、條件分配，並評估獨立性。

🔹 第三課：數學期望與動差

概述： 本課探討數學期望這一基本概念——作為隨機變數的「長期平均」，從簡單的離散與連續案例延伸至任意變數的一般情況。我們將透過變異數與共變異數分析資料的變異性，利用生成函數（PGF、MGF 與特徵函數）簡化動差計算，並運用強大的機率不等式來界定未知分配的範圍。最後，課程介紹條件期望與全期望法則，這是分析複雜多階段隨機過程的重要工具。

學習成果：

• 計算離散、連續與混合型隨機變數的期望值、變異數與共變異數。
• 應用無知統計師定律（LOTUS）與線性性質，計算變換後變數的期望值。
• 利用機率生成函數（PGF）與動差生成函數（MGF）推導動差。

🔹 第四課：抽樣分配與極限定理

概述： 本課探討當隨機變數為樣本函數時的行為（抽樣分配），以及隨著樣本大小增加時這些分配的表現（極限定理）。學生將掌握從有限樣本分配轉向漸近近似（如中央極限定理）的技巧，並研究蒙地卡羅近似與重要性抽樣等計算方法。

學習成果：

• 定義並推導獨立同分布序列函數的抽樣分配。
• 区分並應用機率收斂與分配收斂。
• 利用中央極限定理與二項分配的常態近似來估算機率。

🔹 第五課：統計推論基礎

概述： 本課探討從純機率邁向統計推論的轉變，討論如何利用觀察資料對系統的真實機率度量做出陳述。學生將學習建立正式統計模型（伯努利與常態模型），理解嚴謹的資料收集方法（如簡單隨機抽樣與分層抽樣），並透過描述性統計、直方圖與經驗分配函數總結研究成果。

學習成果：

• 定義統計推論在因變異與資料有限所造成不確定性中的角色。
• 建立並解讀統計模型，辨識參數與參數空間。
• 使用簡單隨機與分層抽樣技術，區分母體特徵與樣本估計。

🔹 第六課：基於似然的推論

概述： 本課探討基於似然的統計推論的理論基礎與實際應用。內容從基本概念如似然原則與充分性，過渡到最大概似估計（MLE）的參數估計，並透過偏誤、一致性與標準誤評估估計器的品質。此外，課程涵蓋參數方法（z 信賴區間、t 信賴區間與假設檢定）與非參數方法（矩法、拔靴法與符號統計），最終深入探討漸近常態性與費雪資訊。

學習成果：

• 定義並應用似然函數與因子分解定理，識別充分統計量與最小充分統計量。
• 計算最大概似估計量（MLE），並使用均方誤差（MSE）、偏誤與一致性評估其品質。
• 使用參數與非參數技術，為各種統計模型建立並解釋信賴區間與p值。

🔹 第七課：貝氏統計推論

概述： 本課探討貝氏統計推論框架，其中參數被視為具有機率分配的隨機變數。學生將學習如何結合先驗信念（先驗分配）與觀察資料（似然），產生更新的信念（後驗分配）。課程涵蓋理論基礎、實務估計技術（貝氏因子、預測）、計算方法（吉布斯抽樣、漸近常態性），以及先驗選擇的策略。

學習成果：

• 利用貝氏定理計算各種模型（包括共轭族）的後驗分配。
• 進行貝氏估計（均值、眾數）與使用貝氏因子進行假設檢定。
• 為未來觀測值建立後驗預測分配。

🔹 第八課：最佳推論與決策理論

概述： 本課探討尋找「最佳」統計程序的數學基礎。我們從基本估計過渡到最佳無偏估計（UMVU），透過奈曼-皮爾遜定理發展一致最強力（UMP）檢定理論，並整合貝氏觀點與決策理論，利用損失與風險函數評估估計器與檢定。

學習成果：

• 應用羅-布萊克威爾定理與萊曼-謝夫定理，推導一致最小變異數無偏（UMVU）估計量。
• 利用克雷默-羅資訊不等式，確定無偏估計量變異數的基礎下界。
• 使用奈曼-皮爾遜引理建立一致最強力（UMP）檢定，並透過功效函數與錯誤類型進行評估。

🔹 第九課：模型檢核與診斷

概述： 本課探討統計建模過程中驗證假設的關鍵流程。學生將學習使用偏差與輔助統計量檢查抽樣模型，運用視覺工具如殘差圖與機率圖，並執行正式檢定如卡方適合度檢定與費雪精確檢定。此外，課程還涵蓋貝氏模型檢核中的先驗-資料衝突分析，並警告多重同時檢核的統計陷阱。

學習成果：

• 定義並辨識用於衡量模型偏差的輔助統計量與偏差統計量。
• 建立並解讀標準化殘差與常態機率圖，以評估常態性與模型適配度。
• 對分類與群組資料應用卡方適合度檢定與費雪精確檢定。

🔹 第十課：變數間關係與迴歸

概述： 本課探討統計模型如何描述不同變數間的依存關係。內容從基於條件分配變化的基本關係定義，進展至高階建模技術，包括簡單與多重線性迴歸、適用於分類預測變數的變異分析（ANOVA），以及適用於二元回應的邏輯迴歸。學生將學習使用最小平方法估計參數，透過調整決定係數（R-squared）與變異分析分解評估模型適配度，並透過殘差分析驗證假設。

學習成果：

• 根據條件分配定義並辨識變數間的關係。
• 使用最小平方法估計簡單與多重線性迴歸模型中的參數。
• 利用變異分析分解與F統計量檢驗預測變數的顯著性，並識別交互作用。

🔹 第十一課：隨機過程導論

概述： 本課提供隨機過程的全面基礎，即隨時間隨機演變的系統。學生將從離散時間模型（如簡單隨機漫步與馬可夫鏈）出發，進展至進階計算技術如馬可夫鏈蒙地卡羅（MCMC），最後進入連續時間過程，包括鞅、布朗運動與泊松過程。

學習成果：

• 計算隨機漫步的機率，並判斷賭博模型中「破產」的可能性。
• 分析馬可夫鏈的不可約性、週期性與穩定分配。
• 設計並說明針對複雜分配的梅特羅波里斯-哈斯汀斯與吉布斯抽樣算法。