확률과 통계: 불확실성의 과학

📚 콘텐츠 개요

확률과 통계의 수학적 기초를 다루는 포괄적인 대학 수준의 소개 과정. 미적분학 1년 분량의 지식을 전제로 하며, 확률 모델, 무작위 변수, 기대값, 표본 분포, 우도 및 베이지안 추론, 변수 간 관계 등을 다룹니다.

미적분 기반의 확률과 통계적 추론을 통해 불확실성의 엄밀한 수학적 과학을 숙달하세요.

저자: 마이클 J. 에반스와 제프리 S. 로젠탈

감사의 글: 저자들은 토론토 대학교, 맥마스터 대학교, 펜웨르 대학교 등의 기관에서 활동하는 다양한 검토자들과 동료들의 기여를 인정합니다. 또한 토론토 대학교의 재정 및 인프라 지원에 감사를 표합니다.

🎯 학습 목표

1. 표본 공간, 사건, 확률 측도를 사용하여 공식적인 확률 모델을 정의한다.
2. 순열, 부분집합, 이항 계수 등의 조합 원리를 활용하여 균일 확률 문제를 해결한다.
3. 전체 확률의 법칙과 베이즈 정리를 활용하여 다단계 시스템을 분석하고, 새로운 정보에 따라 믿음을 갱신한다.
4. 이산형 및 절대 연속형 무작위 변수를 정의하고 구별하며, 각각의 확률/밀도 함수를 이해한다.
5. 실제 세계 현상을 모델링하기 위해 주요 확률 분포(베르누이, 이항, 포아송, 정규 등)를 식별하고 적용한다.
6. 다변량 분포에 대해 경계 밀도, 조건부 분포를 계산하고 독립성을 평가한다.
7. 이산형, 연속형, 혼합형 무작위 변수의 기대값, 분산, 공분산을 계산한다.
8. 무의식 통계학자의 법칙(LOTUS)과 선형성 성질을 활용하여 변환된 변수의 기대값을 계산한다.
9. 확률 생성 함수(PGF)와 모멘트 생성 함수(MGF)를 사용하여 모멘트를 유도한다.
10. 서로 독립이고 동일하게 분포된(기울기) 시퀀스의 함수에 대한 표본 분포를 정의하고 도출한다.

🔹 수업 1: 확률 모델의 기초

개요: 본 수업은 확률에 대한 엄밀한 수학적 틀을 설정하며, 직관적인 “불확실성의 척도”에서 공리적 모델로의 전환을 다룹니다. 확률 측도의 기본 성질, 유한 공간에 대한 조합적 카운팅 기법, 조건부 확률의 기초 메커니즘(베이즈 정리 포함), 그리고 확률 측도의 연속성에 대해 다룹니다.

학습 결과:

• 표본 공간, 사건, 확률 측도를 사용하여 공식적인 확률 모델을 정의한다.
• 순열, 부분집합, 이항 계수 등의 조합 원리를 활용하여 균일 확률 문제를 해결한다.
• 전체 확률의 법칙과 베이즈 정리를 활용하여 다단계 시스템을 분석하고, 새로운 정보에 따라 믿음을 갱신한다.

🔹 수업 2: 무작위 변수와 확률 분포

개요: 본 수업은 무작위 변수(RV)를 통해 불확실성을 수량화하는 수학적 틀을 탐구합니다. 학생들은 무작위 변수와 그 분포(이산형 및 연속형)를 정의하는 것부터 시작해, 공동 분포, 변환, 그리고 이러한 변수들을 수치적으로 시뮬레이션하는 방법을 이해하게 됩니다. 이 내용은 이론적인 미적분 기반 확률과 실제 모델링 및 통계 시뮬레이션 응용 사이를 연결합니다.

학습 결과:

• 이산형과 절대 연속형 무작위 변수를 정의하고 구별하며, 각각의 확률/밀도 함수를 이해한다.
• 실제 세계 현상을 모델링하기 위해 주요 확률 분포(베르누이, 이항, 포아송, 정규 등)를 식별하고 적용한다.
• 다변량 분포에 대해 경계 밀도, 조건부 분포를 계산하고 독립성을 평가한다.

🔹 수업 3: 수학적 기대값과 모멘트

개요: 본 수업은 무작위 변수의 “장기 평균”으로서의 수학적 기대값이라는 핵심 개념을 탐구합니다. 단순한 이산형 및 연속형 사례에서부터 일반적인 임의의 변수까지 확장합니다. 우리는 분산과 공분산을 통해 데이터의 변동성을 분석하고, 생성 함수(PGF, MGF, 특성 함수)를 활용하여 모멘트 계산을 간소화하며, 강력한 확률 부등식을 이용해 알려지지 않은 분포를 경계로 묶습니다. 마지막으로, 조건부 기대값과 전체 기대값의 법칙을 다루어 복잡한 다단계 무작위 과정을 분석하는 데 필수적인 도구를 제공합니다.

학습 결과:

• 이산형, 연속형, 혼합형 무작위 변수의 기대값, 분산, 공분산을 계산한다.
• 무의식 통계학자의 법칙(LOTUS)과 선형성 성질을 활용하여 변환된 변수의 기대값을 계산한다.
• 확률 생성 함수(PGF)와 모멘트 생성 함수(MGF)를 사용하여 모멘트를 유도한다.

🔹 수업 4: 표본 분포와 극한 정리

개요: 본 수업은 표본의 함수로서의 무작위 변수의 행동(표본 분포)과 표본 크기가 증가할 때의 행동(극한 정리)을 탐구합니다. 학생들은 유한 표본 분포에서 점근적 근사(예: 중심극한정리)로의 전환을 익히고, 몬테카를로 근사 및 중요도 샘플링 같은 계산 방법을 탐색합니다.

학습 결과:

• 서로 독립이고 동일하게 분포된(기울기) 시퀀스의 함수에 대한 표본 분포를 정의하고 도출한다.
• 확률 수렴과 분포 수렴을 구분하고 적용한다.
• 중심극한정리와 이항분포의 정규 근사를 활용하여 확률을 추정한다.

🔹 수업 5: 통계적 추론의 기초

개요: 본 수업은 순수한 확률에서 통계적 추론으로의 전환을 탐구합니다. 관측된 데이터를 활용해 시스템의 진정한 기초 확률 측도에 대해 판단하는 방식을 다룹니다. 학생들은 베르누이와 정규 모델과 같은 공식적인 통계 모델을 구성하고, 유한 집단에서의 단순 무작위 샘플링과 계층 샘플링과 같은 엄격한 데이터 수집 방법을 이해하며, 서술 통계, 히스토그램, 경험적 분포 함수를 통해 발견을 요약합니다.

학습 결과:

• 통계적 추론이 변동성과 제한된 데이터로 인한 불확실성에 대응하는 역할을 정의한다.
• 통계 모델을 구성하고 해석하며, 매개변수와 매개변수 공간을 식별한다.
• 단순 무작위 샘플링과 계층 샘플링 기법을 사용하여 모집단 특성과 표본 추정치를 구분한다.

🔹 수업 6: 우도 기반 추론

개요: 본 수업은 우도 기반 통계적 추론의 이론적 기초와 실용적 응용을 탐구합니다. 우도 원리, 충분성과 같은 기본 개념에서 시작해 최대우도추정법(MLE)을 통한 매개변수 추정과, 편향, 일관성, 표준오차를 통한 추정량 평가를 다룹니다. 또한 파라메트릭 접근(모든 간격, t간격, 가설 검정)과 비분포 기반 방법(모멘트 방법, 부트스트랩, 부호 통계)을 모두 다루며, 점근 정규성과 피셔 정보의 고급 연구로 마무리됩니다.

학습 결과:

• 우도 함수와 인수분해 정리를 정의하고, 충분통계량과 최소 충분통계량을 식별한다.
• 최대우도추정량(MLE)을 계산하고, 평균제곱오차(MSE), 편향, 일관성을 사용하여 그 품질을 평가한다.
• 파라메트릭 및 비파라메트릭 기법을 사용하여 다양한 통계 모델에 대해 신뢰구간과 p값을 구성하고 해석한다.

🔹 수업 7: 베이지안 통계적 추론

개요: 본 수업은 매개변수가 확률 분포를 가진 무작위 변수로 취급되는 베이지안 틀을 탐구합니다. 학생들은 사전 믿음(사전 분포)과 관측된 데이터(우도)를 결합하여 업데이트된 믿음(사후 분포)을 도출하는 방법을 배웁니다. 교육 과정은 이론적 기초, 실용적인 추정 기법(베이즈 요인, 예측), 계산 방법(깁스 샘플링, 점근 정규성), 그리고 사전 분포의 전략적 선택을 다룹니다.

학습 결과:

• 베이즈 정리를 활용하여 다양한 모델(예: 쌍곡선 가족 포함)에 대해 사후 분포를 계산한다.
• 베이즈 요인을 사용하여 베이지안 추정(평균, 최빈값)과 가설 검정을 수행한다.
• 미래 관측치를 위한 사후 예측 분포를 구성한다.

🔹 수업 8: 최적 추론과 의사결정 이론

개요: 본 수업은 “최고의” 통계적 절차를 찾기 위한 수학적 기초를 탐구합니다. 기본 추정에서 시작해, 균일 최소 분산 무편향(UMVU) 추정량을 도출하고, 네이만-피어슨 정리에 따라 균일 최강력(UMP) 검정의 이론을 발전시킵니다. 또한 베이지안 관점과 의사결정 이론을 통합하여 손실 함수와 위험 함수를 사용해 추정량과 검정을 평가합니다.

학습 결과:

• 레오-블랙웰 정리와 레흐만-셰페 정리를 활용하여 균일 최소 분산 무편향(UMVU) 추정량을 도출한다.
• 크래머-라오 정보 불등식을 활용하여 무편향 추정량의 분산에 대한 기본 하한을 결정한다.
• 네이먼-피어슨 보조정리를 사용하여 균일 최강력(UMP) 검정을 구성하고, 검정력 함수와 오류 유형을 통해 평가한다.

🔹 수업 9: 모델 검증 및 진단

개요: 본 수업은 통계 모델링 중 설정된 가정을 검증하는 중요한 과정을 탐구합니다. 학생들은 모델 편차를 측정하기 위해 차이 통계량과 부차적 통계량을 사용하고, 잔차와 확률 그래프와 같은 시각적 도구를 활용하며, 카이제곱 검정과 피셔의 정확 검정과 같은 공식적 검정을 수행합니다. 또한 사전-데이터 갈등 분석을 통한 베이지안 모델 검증을 다루며, 동시에 여러 검정을 수행하는 통계적 함정에 대해 경고합니다.

학습 결과:

• 모델 편차를 측정하기 위해 부차적 통계량과 차이 통계량을 정의하고 식별한다.
• 표준화 잔차와 정규 확률 플롯을 구성하고 해석하여 정규성과 모델 적합도를 평가한다.
• 카이제곱 적합도 검정과 피셔의 정확 검정을 사용하여 범주형 및 그룹화된 데이터에 적용한다.

🔹 수업 10: 변수 간 관계와 회귀

개요: 본 수업은 통계 모델이 서로 다른 변수들 간의 의존성을 어떻게 설명하는지를 탐구합니다. 조건부 분포의 변화에 기반한 관계의 기본 정의에서 시작해, 단순 및 다중 선형 회귀, 범주형 예측 변수에 대한 분산 분석(ANOVA), 이진 반응에 대한 로지스틱 회귀에 이르는 고도화된 모델링 기법을 다룹니다. 학생들은 최소제곱법을 사용하여 매개변수를 추정하고, 결정계수와 ANOVA 분해를 통해 모델 적합도를 평가하며, 잔차 분석을 통해 가정을 검증합니다.

학습 결과:

• 조건부 분포에 기반하여 변수 간 관계를 정의하고 식별한다.
• 단순 및 다중 선형 회귀 모델에서 최소제곱법을 적용하여 매개변수를 추정한다.
• ANOVA 분해와 F통계량을 활용하여 예측 변수의 중요성을 검정하고 상호작용을 식별한다.

🔹 수업 11: 확률 과정 소개

개요: 본 수업은 시간이 지남에 따라 무작위로 변화하는 시스템인 확률 과정에 대한 종합적인 기초를 제공합니다. 학생들은 이산 시간 모델(예: 단순 무작위 보행, 마르코프 체인)에서 시작해 마르코프 체인 몬테카를로(MCMC)와 같은 고급 계산 기법을 거쳐, 마틴게일, 브라운 운동, 포아송 과정을 포함한 연속 시간 과정까지 다룹니다.

학습 결과:

• 무작위 보행의 확률을 계산하고, 도박 모델에서 "파산" 가능성의 확률을 결정한다.
• 마르코프 체인의 비가역성, 주기성, 정적 분포를 분석한다.
• 복잡한 분포에 대해 메트로폴리스-하스팅스 알고리즘과 깁스 샘플링 알고리즘을 설계하고 설명한다.