ความน่าจะเป็นและสถิติ: วิทยาศาสตร์แห่งความไม่แน่นอน

📚 สรุปเนื้อหา

หลักสูตรระดับมหาวิทยาลัยที่ครอบคลุมเกี่ยวกับพื้นฐานคณิตศาสตร์ของความน่าจะเป็นและการสถิติ โดยต้องมีพื้นฐานการคำนวณเชิงอนุกรม (หนึ่งปี) หลักสูตรนี้ครอบคลุมโมเดลความน่าจะเป็น ตัวแปรสุ่ม ค่าคาดหมาย การแจกแจงตัวอย่าง ความน่าจะเป็นและข้อสรุปแบบเบย์ส และความสัมพันธ์ระหว่างตัวแปร

จัดการกับวิทยาศาสตร์เชิงคณิตศาสตร์ที่เข้มงวดในเรื่องความไม่แน่นอนผ่านความน่าจะเป็นที่อิงจากแคลคูลัสและการสรุปทางสถิติ

ผู้แต่ง: มิเชล จี. อีวานส์ และ เจฟฟรีย์ เอส. โรเซนธาล

คำขอบคุณ: ผู้แต่งขอแสดงความขอบคุณต่อผู้ตรวจสอบและเพื่อนร่วมงานจากสถาบันต่างๆ เช่น มหาวิทยาลัยโตรอนโต มหาวิทยาลัยแมคมาสเตอร์ และมหาวิทยาลัยพูร์ดู รวมถึงการสนับสนุนด้านเงินทุนและโครงสร้างพื้นฐานจากมหาวิทยาลัยโตรอนโต

🎯 เป้าหมายการเรียนรู้

1. กำหนดโมเดลความน่าจะเป็นเชิงรูปแบบโดยใช้พื้นที่ตัวอย่าง เหตุการณ์ และมาตรการความน่าจะเป็น
2. ประยุกต์หลักการเชิงการนับ (การจัดเรียง การเลือกชุดย่อย ค่าไบนอมิอัล) เพื่อแก้ปัญหาความน่าจะเป็นแบบสม่ำเสมอ
3. ใช้กฎของการรวมความน่าจะเป็น (Law of Total Probability) และทฤษฎีบทเบย์ส (Bayes' Theorem) เพื่อวิเคราะห์ระบบหลายขั้นตอน และอัปเดตความเชื่อเมื่อมีข้อมูลใหม่
4. กำหนดและแยกแยะตัวแปรสุ่มที่เป็นแบบไม่ต่อเนื่องกับแบบต่อเนื่องที่มีความหนาแน่น (absolutely continuous) พร้อมฟังก์ชันความน่าจะเป็น/ความหนาแน่นที่เกี่ยวข้อง
5. ระบุและประยุกต์ใช้การแจกแจงความน่าจะเป็นที่สำคัญ (เบอร์นูลลี ไบนอมิอัล โพอยซอน ปกติ ฯลฯ) เพื่อจำลองปรากฏการณ์ในโลกจริง
6. คำนวณความหนาแน่นแบบมาร์จิแนล ความน่าจะเป็นแบบมีเงื่อนไข และประเมินความเป็นอิสระสำหรับการแจกแจงแบบหลายตัวแปร
7. คำนวณค่าคาดหมาย ความแปรปรวน และความสัมพันธ์ร่วม (covariance) สำหรับตัวแปรสุ่มแบบไม่ต่อเนื่อง ต่อเนื่อง และผสม
8. ประยุกต์ใช้กฎของนักสถิติที่ไม่รู้ตัว (LOTUS) และคุณสมบัติของความเป็นเส้นตรง เพื่อคำนวณค่าคาดหมายของตัวแปรที่ถูกแปลง
9. สร้างโมเมนต์โดยใช้ฟังก์ชันสร้างความน่าจะเป็น (PGF) และฟังก์ชันสร้างโมเมนต์ (MGF)
10. กำหนดและสร้างการแจกแจงตัวอย่างสำหรับฟังก์ชันลำดับที่เป็นอิสระและมีการแจกแจงเหมือนกัน (i.i.d.)

🔹 บทเรียนที่ 1: พื้นฐานของโมเดลความน่าจะเป็น

ภาพรวม: บทเรียนนี้สร้างกรอบคณิตศาสตร์ที่เข้มงวดสำหรับความน่าจะเป็น ซึ่งเปลี่ยนจากแนวคิดเชิงสุนทรียะ "การวัดความไม่แน่นอน" ไปสู่โมเดลเชิงสัจนิยมที่ชัดเจน ครอบคลุมคุณสมบัติพื้นฐานของมาตรการความน่าจะเป็น เทคนิคการนับเชิงการจัดเรียงสำหรับพื้นที่จำกัด และกลไกพื้นฐานของความน่าจะเป็นแบบมีเงื่อนไข รวมถึงทฤษฎีบทเบย์สและคุณสมบัติความต่อเนื่องของมาตรการความน่าจะเป็น

ผลการเรียนรู้:

• กำหนดโมเดลความน่าจะเป็นเชิงรูปแบบโดยใช้พื้นที่ตัวอย่าง เหตุการณ์ และมาตรการความน่าจะเป็น
• ประยุกต์หลักการเชิงการนับ (การจัดเรียง การเลือกชุดย่อย ค่าไบนอมิอัล) เพื่อแก้ปัญหาความน่าจะเป็นแบบสม่ำเสมอ
• ใช้กฎของการรวมความน่าจะเป็น (Law of Total Probability) และทฤษฎีบทเบย์ส (Bayes' Theorem) เพื่อวิเคราะห์ระบบหลายขั้นตอน และอัปเดตความเชื่อเมื่อมีข้อมูลใหม่

🔹 บทเรียนที่ 2: ตัวแปรสุ่มและการแจกแจงความน่าจะเป็น

ภาพรวม: บทเรียนนี้สำรวจกรอบคณิตศาสตร์ในการวัดความไม่แน่นอนผ่านตัวแปรสุ่ม (RVs) นักเรียนจะพัฒนาจากนิยามตัวแปรสุ่มและฟังก์ชันการแจกแจง (แบบไม่ต่อเนื่องและต่อเนื่อง) ไปสู่การเข้าใจการแจกแจงร่วม การแปลงตัวแปร และวิธีการจำลองตัวแปรเหล่านี้อย่างเป็นระบบ บทเรียนนี้เชื่อมโยงความน่าจะเป็นเชิงแคลคูลัสเข้ากับการประยุกต์ใช้จริงในการจำลองและวิเคราะห์ทางสถิติ

ผลการเรียนรู้:

• กำหนดและแยกแยะตัวแปรสุ่มแบบไม่ต่อเนื่องกับแบบต่อเนื่องที่มีความหนาแน่น (absolutely continuous) พร้อมฟังก์ชันความน่าจะเป็น/ความหนาแน่นที่เกี่ยวข้อง
• ระบุและประยุกต์ใช้การแจกแจงความน่าจะเป็นที่สำคัญ (เบอร์นูลลี ไบนอมิอัล โพอยซอน ปกติ ฯลฯ) เพื่อจำลองปรากฏการณ์ในโลกจริง
• คำนวณความหนาแน่นแบบมาร์จิแนล ความน่าจะเป็นแบบมีเงื่อนไข และประเมินความเป็นอิสระสำหรับการแจกแจงแบบหลายตัวแปร

🔹 บทเรียนที่ 3: ค่าคาดหมายเชิงคณิตศาสตร์และโมเมนต์

ภาพรวม: บทเรียนนี้สำรวจแนวคิดพื้นฐานของค่าคาดหมายเชิงคณิตศาสตร์ในฐานะ "ค่าเฉลี่ยระยะยาว" ของตัวแปรสุ่ม ขยายจากกรณีง่ายๆ ทั้งแบบไม่ต่อเนื่องและต่อเนื่อง ไปสู่ตัวแปรทั่วไป วิเคราะห์ความแปรปรวนของข้อมูลผ่านความแปรปรวนและค่าความสัมพันธ์ร่วม ใช้ฟังก์ชันสร้าง (PGF, MGF และฟังก์ชันลักษณะเฉพาะ) เพื่อให้การคำนวณโมเมนต์ง่ายขึ้น และประยุกต์ใช้ความไม่เท่ากันของความน่าจะเป็นที่ทรงพลังเพื่อกำหนดขอบเขตของแจกแจงที่ไม่ทราบ บทเรียนสุดท้ายครอบคลุมค่าคาดหมายแบบมีเงื่อนไขและกฎของค่าคาดหมายทั้งหมด ซึ่งเป็นสิ่งจำเป็นในการวิเคราะห์กระบวนการสุ่มที่ซับซ้อนหลายขั้นตอน

ผลการเรียนรู้:

• คำนวณค่าคาดหมาย ความแปรปรวน และความสัมพันธ์ร่วมสำหรับตัวแปรสุ่มแบบไม่ต่อเนื่อง ต่อเนื่อง และผสม
• ประยุกต์ใช้กฎของนักสถิติที่ไม่รู้ตัว (LOTUS) และคุณสมบัติของความเป็นเส้นตรง เพื่อคำนวณค่าคาดหมายของตัวแปรที่ถูกแปลง
• สร้างโมเมนต์โดยใช้ฟังก์ชันสร้างความน่าจะเป็น (PGF) และฟังก์ชันสร้างโมเมนต์ (MGF)

🔹 บทเรียนที่ 4: การแจกแจงตัวอย่างและทฤษฎีบทขอบเขต

ภาพรวม: บทเรียนนี้สำรวจพฤติกรรมของตัวแปรสุ่มเมื่อเป็นฟังก์ชันของตัวอย่าง (การแจกแจงตัวอย่าง) และพฤติกรรมของแจกแจงเหล่านี้เมื่อขนาดตัวอย่างเพิ่มขึ้น (ทฤษฎีบทขอบเขต) นักเรียนจะเชี่ยวชาญการเปลี่ยนจากแจกแจงตัวอย่างจำกัดไปสู่การประมาณเชิงขอบเขต เช่น ทฤษฎีบทกลางของกฎหมายจำนวนมาก และศึกษาเทคนิคการคำนวณ เช่น การประมาณแบบมอนติคาร์โล และการสุ่มตัวอย่างตามน้ำหนัก (Importance Sampling)

ผลการเรียนรู้:

• กำหนดและสร้างการแจกแจงตัวอย่างสำหรับฟังก์ชันลำดับที่เป็นอิสระและมีการแจกแจงเหมือนกัน (i.i.d.)
• แยกแยะและประยุกต์ใช้การเปลี่ยนแปลงแบบความน่าจะเป็น (Convergence in Probability) และการเปลี่ยนแปลงแบบการแจกแจง (Convergence in Distribution)
• ใช้ทฤษฎีบทกลางของกฎหมายจำนวนมากและแบบประมาณปกติของไบนอมิอัลเพื่อประมาณความน่าจะเป็น

🔹 บทเรียนที่ 5: พื้นฐานการอนุมานทางสถิติ

ภาพรวม: บทเรียนนี้สำรวจการเปลี่ยนจากความน่าจะเป็นบริสุทธิ์ไปสู่การอนุมานทางสถิติ โดยอภิปรายว่าเราใช้ข้อมูลที่สังเกตได้เพื่อสรุปเกี่ยวกับมาตรการความน่าจะเป็นที่แท้จริงของระบบอย่างไร นักเรียนจะเรียนรู้การสร้างแบบจำลองทางสถิติที่เป็นทางการ (เบอร์นูลลีและปกติ) เข้าใจวิธีการเก็บข้อมูลที่เข้มงวด เช่น การสุ่มตัวอย่างแบบสุ่มธรรมดาและแบบแบ่งชั้นจากประชากรจำกัด และสรุปผลผ่านสถิติเชิงบรรยาย ฮิสโตแกรม และฟังก์ชันการแจกแจงแบบสัมพัทธ์

ผลการเรียนรู้:

• กำหนดบทบาทของการอนุมานทางสถิติในการจัดการกับความไม่แน่นอนที่เกิดจากความแปรปรวนและการข้อมูลจำกัด
• สร้างและตีความแบบจำลองทางสถิติ โดยระบุพารามิเตอร์และชุดพารามิเตอร์
• แยกแยะลักษณะของประชากรกับค่าประมาณจากตัวอย่างโดยใช้เทคนิคการสุ่มตัวอย่างแบบสุ่มธรรมดาและแบบแบ่งชั้น

🔹 บทเรียนที่ 6: การอนุมานโดยอิงจากความน่าจะเป็น (Likelihood-Based Inference)

ภาพรวม: บทเรียนนี้สำรวจพื้นฐานทฤษฎีและแอปพลิเคชันของการอนุมานทางสถิติที่อิงจากความน่าจะเป็น ตั้งแต่แนวคิดพื้นฐานเช่นหลักการความน่าจะเป็น (Likelihood Principle) และความเพียงพอ (Sufficiency) ไปสู่การประมาณพารามิเตอร์ด้วยวิธีการประมาณค่าความน่าจะมากที่สุด (MLE) และการประเมินคุณภาพของตัวประมาณนี้ผ่านเบี่ยงเบน (bias) ความคงตัว (consistency) และความผิดพลาดมาตรฐาน (standard errors) นอกจากนี้ บทเรียนยังครอบคลุมแนวทางพารามิเตอร์ (ช่วงความเชื่อมั่นแบบ z, t, และการทดสอบสมมติฐาน) และวิธีไม่พารามิเตอร์ (วิธีโมเมนต์, บูตสแตรปปิ้ง, และสถิติสัญญาณ) จนถึงการศึกษาขั้นสูงเรื่องความเป็นปกติเชิงขอบเขต (Asymptotic Normality) และข้อมูลฟิเชอร์ (Fisher Information)

ผลการเรียนรู้:

• กำหนดและประยุกต์ใช้ฟังก์ชันความน่าจะเป็น (Likelihood Function) และทฤษฎีการแยกตัวประกอบ (Factorization Theorem) เพื่อระบุสถิติที่เพียงพอ (Sufficient Statistics) และเพียงพออย่างสุด (Minimal Sufficient Statistics)
• คำนวณตัวประมาณค่าความน่าจะมากที่สุด (MLE) และประเมินคุณภาพโดยใช้ค่าเฉลี่ยกำลังสอง (MSE), เบี่ยงเบน (Bias), และความคงตัว (Consistency)
• สร้างและตีความช่วงความเชื่อมั่น (Confidence Intervals) และค่าความน่าจะเป็น (P-values) สำหรับแบบจำลองทางสถิติหลากหลาย โดยใช้ทั้งเทคนิคพารามิเตอร์และไม่พารามิเตอร์

🔹 บทเรียนที่ 7: การอนุมานทางสถิติแบบเบย์ส

ภาพรวม: บทเรียนนี้สำรวจกรอบการอนุมานทางสถิติแบบเบย์ส ซึ่งพารามิเตอร์ถูกมองว่าเป็นตัวแปรสุ่มที่มีการแจกแจงความน่าจะเป็น นักเรียนจะเรียนรู้การรวมความเชื่อเดิม (การแจกแจงก่อน) กับข้อมูลที่สังเกต (ความน่าจะเป็น) เพื่อสร้างความเชื่อที่อัปเดตแล้ว (การแจกแจงหลัง) หลักสูตรครอบคลุมพื้นฐานทฤษฎี วิธีการประมาณค่าที่ปฏิบัติได้ (ตัวเลขเบย์ส ความคาดหวัง) วิธีการคำนวณ (การสุ่มแบบกิบส์ ความเป็นปกติเชิงขอบเขต) และการเลือกแบบก่อนที่มีกลยุทธ์

ผลการเรียนรู้:

• คำนวณการแจกแจงหลังโดยใช้ทฤษฎีบทเบย์สสำหรับแบบจำลองต่างๆ รวมถึงครอบครัวที่เชื่อมโยงกัน (conjugate families)
• ดำเนินการประมาณค่าเบย์ส (ค่าเฉลี่ย ค่ามัธยฐาน) และการทดสอบสมมติฐานโดยใช้ตัวเลขเบย์ส (Bayes Factors)
• สร้างการแจกแจงคาดการณ์หลังเพื่อทำนายข้อมูลในอนาคต

🔹 บทเรียนที่ 8: การอนุมานที่เหมาะสมและทฤษฎีการตัดสินใจ

ภาพรวม: บทเรียนนี้สำรวจพื้นฐานทางคณิตศาสตร์ในการหา "วิธีการทางสถิติที่ดีที่สุด" เราเปลี่ยนจากวิธีการประมาณพื้นฐานไปสู่การประมาณที่ไม่มีเบี่ยงเบน (UMVU) สร้างทฤษฎีการทดสอบที่มีประสิทธิภาพสูงสุด (UMP) ผ่านทฤษฎีเนย์แมน-เพียร์สัน และรวมมุมมองแบบเบย์สและทฤษฎีการตัดสินใจเพื่อประเมินตัวประมาณและทดสอบโดยใช้ฟังก์ชันการสูญเสียและฟังก์ชันความเสี่ยง

ผลการเรียนรู้:

• ประยุกต์ใช้ทฤษฎีราโอ-แบล็กเวลล์ (Rao-Blackwell Theorem) และทฤษฎีเลห์มาน-เชฟเฟ่ (Lehmann-Scheffé Theorem) เพื่อสร้างตัวประมาณค่าที่มีความแปรปรวนต่ำสุดอย่างสม่ำเสมอ (UMVU)
• ใช้ข้อจำกัดของอินฟอร์มอชันครามเมอร์-ราโอ (Cramer-Rao Information Inequality) เพื่อหาค่าต่ำสุดพื้นฐานของความแปรปรวนของตัวประมาณที่ไม่มีเบี่ยงเบน
• สร้างการทดสอบที่มีประสิทธิภาพสูงสุดอย่างสม่ำเสมอ (UMP) โดยใช้บทพิสูจน์เนย์แมน-เพียร์สัน และประเมินผลโดยใช้ฟังก์ชันพลังงานและประเภทของข้อผิดพลาด

🔹 บทเรียนที่ 9: การตรวจสอบแบบจำลองและเครื่องมือวิเคราะห์

ภาพรวม: บทเรียนนี้สำรวจกระบวนการสำคัญในการตรวจสอบสมมติฐานที่ใช้ในแบบจำลองทางสถิติ นักเรียนจะเรียนรู้การใช้สถิติความแตกต่าง (discrepancy) และสถิติเสริม (ancillary statistics) เพื่อตรวจสอบแบบจำลองการสุ่ม ใช้เครื่องมือเชิงภาพเช่นแผนภูมิเศษฐ์ (residual) และแผนภูมิความน่าจะเป็น รวมถึงการทดสอบอย่างเป็นทางการ เช่น ทดสอบไค-สแควร์และทฤษฎีฟิชเชอร์แบบแม่นยำ บทเรียนยังครอบคลุมการตรวจสอบแบบเบย์สผ่านการวิเคราะห์ความขัดแย้งระหว่างก่อน-ข้อมูล และเตือนถึงข้อผิดพลาดทางสถิติจากการตรวจสอบหลายรายการพร้อมกัน

ผลการเรียนรู้:

• กำหนดและระบุสถิติเสริม (Ancillary Statistics) และสถิติความแตกต่าง (Discrepancy Statistics) ที่ใช้วัดความเบี่ยงเบนของแบบจำลอง
• สร้างและตีความเศษส่วนที่มาตรฐานแล้ว (Standardized Residuals) และแผนภูมิความน่าจะเป็นปกติ (Normal Probability Plots) เพื่อประเมินความเป็นปกติและความเหมาะสมของแบบจำลอง
• ประยุกต์ใช้การทดสอบความเหมาะสมของไค-สแควร์ (Chi-Squared Goodness of Fit Test) และการทดสอบฟิชเชอร์แบบแม่นยำ (Fisher’s Exact Test) กับข้อมูลหมวดหมู่และกลุ่ม

🔹 บทเรียนที่ 10: ความสัมพันธ์ระหว่างตัวแปรและการถดถอย

ภาพรวม: บทเรียนนี้สำรวจวิธีที่แบบจำลองทางสถิติอธิบายความสัมพันธ์ระหว่างตัวแปรต่างๆ ตั้งแต่การนิยามพื้นฐานของความสัมพันธ์ — อาศัยการเปลี่ยนแปลงของแจกแจงแบบมีเงื่อนไข — ไปสู่เทคนิคการจำลองขั้นสูง เช่น การถดถอยเชิงเส้นง่ายและหลายตัวแปร การวิเคราะห์ความแปรปรวน (ANOVA) สำหรับตัวแปรอธิบายแบบหมวดหมู่ และการถดถอยโลจิสติก (Logistic Regression) สำหรับผลลัพธ์แบบไบนารี นักเรียนจะเรียนรู้การประมาณพารามิเตอร์โดยใช้วิธีกำลังสองน้อยที่สุด การประเมินความเหมาะสมของแบบจำลองผ่านค่า R-สแควร์และโครงสร้างการวิเคราะห์แบบ ANOVA และตรวจสอบสมมติฐานโดยใช้การวิเคราะห์เศษส่วน (Residual Analysis)

ผลการเรียนรู้:

• นิยามและระบุความสัมพันธ์ระหว่างตัวแปรโดยอิงจากแจกแจงแบบมีเงื่อนไข
• ประยุกต์ใช้วิธีกำลังสองน้อยที่สุด (Method of Least Squares) เพื่อประมาณพารามิเตอร์ในแบบจำลองการถดถอยเชิงเส้นง่ายและหลายตัวแปร
• ใช้โครงสร้างการวิเคราะห์แบบ ANOVA และสถิติ F เพื่อทดสอบความสำคัญของตัวแปรอธิบายและระบุปฏิสัมพันธ์

🔹 บทเรียนที่ 11: บทนำสู่กระบวนการสุ่ม (Stochastic Processes)

ภาพรวม: บทเรียนนี้ให้พื้นฐานที่ครอบคลุมเกี่ยวกับกระบวนการสุ่ม — ระบบที่เปลี่ยนแปลงแบบสุ่มตามเวลา นักเรียนจะเรียนรู้ตั้งแต่โมเดลเวลาแบบไม่ต่อเนื่อง เช่น การเดินแบบสุ่มอย่างง่ายและห่วงโซ่มาร์คอฟ ไปสู่เทคนิคการคำนวณขั้นสูง เช่น การสุ่มแบบมาร์คอฟเชิงมอนติคาร์โล (MCMC) และสุดท้ายถึงกระบวนการเวลาต่อเนื่อง เช่น มาร์ติงเกล บราวเนียนมอชัน และกระบวนการโพอยซอน

ผลการเรียนรู้:

• คำนวณความน่าจะเป็นสำหรับการเดินแบบสุ่ม และหาความน่าจะเป็นที่จะ "ล้มละลาย" ในโมเดลการพนัน
• วิเคราะห์ห่วงโซ่มาร์คอฟในด้านความไม่สามารถแยกออกจากกัน (irreducibility) ความเป็นคาบ (periodicity) และการแจกแจงคงที่ (stationary distributions)
• ออกแบบและอธิบายอัลกอริธึมเมโทรโปลิส-แฮสติงส์ (Metropolis-Hastings) และการสุ่มแบบกิบส์ (Gibbs sampling) สำหรับการแจกแจงที่ซับซ้อน