概率論導論
為數學、統計、工程及科學領域的學生提供概率理論的基礎介紹。內容涵蓋組合分析的基本原理、概率公理、條件概率、隨機變數以及極限定理。
課程總覽
📚 內容概要
針對數學、統計、工程及科學領域的學生，提供概率理論的基礎入門介紹。內容涵蓋組合分析的基本原理、概率公理、條件概率、隨機變數以及極限定理。
一本經典且全面的概率數學理論與應用基礎著作。
作者： Shelly Ross
致謝： 感謝 Hossein Hamedani、Joe Blitzstein、Peter Nuesch、Ivan Ardestani 以及多位大學審稿人/貢獻者對內容準確性與反饋的協助。
🎯 學習目標
- 將基本與廣義計數原理應用於多階段實驗。
- 区分並計算不同物件（可區分與不可區分）的排列與組合。
- 使用代數歸納法與邏輯組合論證來證明組合恆等式。
- 定義各種實驗的樣本空間與事件，並應用德摩根定律於集合運算。
- 利用概率三條基本公理與簡單命題（補集、聯集、子集）計算機率。
- 解決涉及等可能結果的複雜組合問題，例如撲克牌手型、配對問題與生日問題。
- 定義並使用公式 P(E|F) = \frac{P(EF)}{P(F)} 計算條件機率。
- 運用貝氏公式解決包含多個假設與診斷測試的複雜問題。
- 在遺傳學與工程等實際情境中，區分獨立事件與條件獨立事件。
- 定義離散隨機變數，並計算其機率質量函數（PMF）與累積分配函數（CDF）。
🔹 第一課：組合分析
概述： 本課講授計數的基本數學理論，稱為組合分析。課程從獨立實驗的乘法原則出發，逐步深入到排列與組合的正式研究。學生將掌握二項式與多項式定理，探索各種證明技巧，並利用整數方程解決複雜的分配問題。
學習成果：
- 將基本與廣義計數原理應用於多階段實驗。
- 區分並計算可區分與不可區分物件的排列與組合。
- 使用代數歸納法與邏輯組合論證證明組合恆等式。
🔹 第二課：概率公理
概述： 本課建立概率理論的正式數學基礎，從樣本空間與事件的定義開始。介紹柯爾莫哥洛夫的三大概率公理及其推導命題，如「包含-排除原理」。內容延伸至組合應用，包括生日問題與配對問題。
學習成果：
- 為多種實驗定義樣本空間與事件，並應用德摩根定律於集合運算。
- 利用概率三條基本公理與簡單命題計算機率。
- 解決涉及等可能結果的複雜組合問題，例如撲克牌手型、配對問題與生日問題。
🔹 第三課：條件機率與獨立性
概述： 本課探討在獲得新資訊後，如何修正事件的機率。課程由無條件機率過渡至條件框架，透過貝氏公式與拉普拉斯成功法則，形式化依賴與獨立事件之間的關係。學生將學習如何根據經驗證據更新先驗機率，得出後驗結論。
學習成果：
- 使用公式 P(E|F) = \frac{P(EF)}{P(F)} 定義並計算條件機率。
- 運用貝氏公式解決涉及多個假設與診斷測試的複雜問題。
- 在遺傳學與工程等實際情境中，區分獨立事件與條件獨立事件。
🔹 第四課：離散隨機變數
概述： 本課探討離散隨機變數的基本理論與應用，即其可能取值為有限或可數無限的變數。我們將定義其機率質量函數（PMF）與累積分配函數（CDF），並建立中央趨勢與分散度的核心衡量指標。最後，課程探討用以模擬現實現象的特定分布族。
學習成果：
- 定義離散隨機變數，並計算其機率質量函數（PMF）與累積分配函數（CDF）。
- 計算隨機變數及其函數的期望值與變異數。
- 認識並應用適當的離散機率分布，以解決複雜的文字問題。
🔹 第五課：連續隨機變數
概述： 本課探討連續隨機變數的性質與應用，專注於其期望值、變異數與特定機率分布。學生將學習使用均勻、常態、指數、伽瑪、威布爾、柯西與貝塔分布來模擬現實現象。課程亦涵蓋離散分布的近似技術與隨機變數的變換方法。
學習成果：
- 計算連續隨機變數及其函數的期望值與變異數。
- 應用常態分布及其對二項分布的近似（使用連續性校正）。
- 利用指數分布、無記憶性與風險率函數分析可靠度與壽命。
🔹 第六課：聯合分配的隨機變數
概述： 本課探討同時處理多個隨機變數的數學架構。內容涵蓋由個別分配過渡至聯合機率密度/質量函數，嚴謹定義獨立性的概念，以及獨立變數之和的行為。此外，課程延伸至進階主題，包括順序統計量與使用雅可比行列式進行隨機向量變換。
學習成果：
- 計算連續與離散聯合隨機變數的邊際分配與條件密度。
- 應用因子分解標準判斷隨機變數是否獨立，並建模複雜過程。
- 使用雅可比行列式法求取函數的聯合分配，並計算順序統計量的分配。
🔹 第七課：期望值的性質
概述： 本課探討數學期望的高階性質，超越簡單平均，深入線性性、共變異數與條件化的力量。學生將學習運用這些工具於演算法分析、機率界與預測模型。
學習成果：
- 將期望的線性性應用於複雜求和，包括指示變數與無窮級數。
- 計算並解釋共變異數、相關係數，以及相依與獨立變數之和的變異數。
- 利用條件期望與變異數簡化複合隨機變數的分析，並解決最佳化問題。
🔹 第八課：極限定理
概述： 本課探討概率理論的基本漸近結果，特別是當觀察次數趨近無限時，隨機變數之和與平均值的行為。我們將探討弱大數法則與強大數法則，以及中心極限定理。同時也討論特定機率界，如單側切比雪夫不等式。
學習成果：
- 根據收斂標準區分弱大數法則與強大數法則。
- 運用中心極限定理（CLT）以常態分布近似隨機變數之和的機率。
- 利用單側切比雪夫不等式為尾部機率提供上界。
🔹 第九課：隨機過程與訊息熵
概述： 本課探討用以模擬時間上隨機事件的數學架構，以及量化資訊的方法。內容包括泊松過程及其間隔時間、馬可夫鏈的結構與長期行為，以及資訊理論的基本原則。特別著重於訊息熵及其在最佳編碼中的應用。
學習成果：
- 定義並計算泊松過程的機率，並確定間隔時間的分配。
- 建構馬可夫鏈的轉移矩陣，並利用查普曼-柯爾莫哥洛夫方程求 n 步機率。
- 計算遍歷馬可夫鏈的極限機率，並解決隨機漫步問題。
🔹 第十課：模擬技術
概述： 本課探討模擬的基本原理與應用，用以經驗性地確定機率與期望值。內容涵蓋隨機排列的產生、連續與離散隨機變數的模擬技術，以及進階的變異數降低方法。這些技術能提升模擬估計的效率與準確性。
學習成果：
- 理解偽隨機數生成器與種子在模擬中的角色。
- 實作算法以產生隨機排列，並模擬來自離散與連續分配的變數。
- 應用極座標法產生單位常態變數，並模擬卡方變數。