확률론 입문

📚 콘텐츠 개요

수학, 통계학, 공학 및 과학 분야의 학생들을 위한 확률 이론에 대한 초보자 수준의 소개입니다. 조합론의 기본 원리, 확률 공리, 조건부 확률, 확률 변수, 극한 정리 등 주요 내용을 다룹니다.

확률의 수학적 이론과 응용에 대한 고전적이고 포괄적인 기초.

저자: Sheldon Ross

감사의 말: 정확성과 피드백에 기여한 호세인 하메다니, 조 블리츠스타인, 페터 누에슈, 이반 아르데스티니 및 여러 대학교 리뷰어/기여자에게 감사를 전합니다.

🎯 학습 목표

1. 다단계 실험에 기본 및 일반화된 세는 원리를 적용한다.
2. 서로 다른 객체와 구별할 수 없는 객체에 대해 순열과 조합을 구분하고 계산한다.
3. 대수적 귀납법과 논리적 조합론적 주장으로 조합 항등식을 증명한다.
4. 다양한 실험에 대해 표본 공간과 사건을 정의하고, 집합 연산에 대해 드모르간의 법칙을 적용한다.
5. 확률의 세 가지 기본 공리와 간단한 명제(보완, 합집합, 부분집합)를 사용하여 확률을 계산한다.
6. 동일하게 가능한 결과를 포함하는 복잡한 조합 문제(예: 포커 손, 매칭 문제, 생일 문제)를 해결한다.
7. 조건부 확률을 공식 P(E|F) = \frac{P(EF)}{P(F)}을 사용해 정의하고 계산한다.
8. 베이즈 공식을 활용하여 다중 가설과 진단 검사가 포함된 복잡한 문제를 해결한다.
9. 유전학 및 공학과 같은 실제 상황에서 독립 사건과 조건부 독립 사건을 구분한다.
10. 이산 확률 변수를 정의하고 그 확률 질량 함수(PMF) 및 누적 분포 함수(CDF)를 계산한다.

🔹 수업 1: 조합론 분석

개요: 본 수업은 조합론 분석이라 불리는 계수의 기본 수학 이론을 다룹니다. 독립 실험에 대한 곱셈 원리부터 시작하여 순열과 조합의 체계적인 연구로 진행됩니다. 학생들은 이항정리와 다항정리를 마스터하고, 다양한 증명 기법을 탐구하며, 정수 값을 갖는 방정식을 이용해 복잡한 분포 문제를 해결하게 됩니다.

학습 성과:

• 다단계 실험에 기본 및 일반화된 세는 원리를 적용한다.
• 서로 다른 객체와 구별할 수 없는 객체에 대해 순열과 조합을 구분하고 계산한다.
• 대수적 귀납법과 논리적 조합론적 주장으로 조합 항등식을 증명한다.

🔹 수업 2: 확률의 공리

개요: 본 수업은 확률 이론의 공식적인 수학적 기초를 마련합니다. 표본 공간과 사건의 정의로부터 시작하여 콜모고로프의 확률 세 가지 공리와 이를 바탕으로 한 도출된 명제(예: 포함-배제 원리)를 소개합니다. 또한 생일 문제와 매칭 문제와 같은 조합적 응용도 다룹니다.

학습 성과:

• 다양한 실험에 대해 표본 공간과 사건을 정의하고, 집합 연산에 드모르간의 법칙을 적용한다.
• 확률의 세 가지 기본 공리와 간단한 명제를 사용하여 확률을 계산한다.
• 동일하게 가능한 결과를 포함하는 복잡한 조합 문제(예: 포커 손, 매칭 문제, 생일 문제)를 해결한다.

🔹 수업 3: 조건부 확률과 독립성

개요: 본 수업은 새로운 정보에 따라 사건의 확률이 어떻게 수정되는지를 탐구합니다. 무조건적 확률에서 조건부 프레임워크로 넘어가며, 베이즈 공식과 라플라스의 성공 규칙을 통해 종속 사건과 독립 사건 사이의 관계를 체계적으로 정의합니다. 학생들은 경험적 증거를 바탕으로 사전 확률을 업데이트하여 사후 결론을 도출하는 방법을 배웁니다.

학습 성과:

• 조건부 확률을 공식 P(E|F) = \frac{P(EF)}{P(F)}을 사용해 정의하고 계산한다.
• 베이즈 공식을 활용하여 다중 가설과 진단 검사가 포함된 복잡한 문제를 해결한다.
• 유전학 및 공학과 같은 실제 상황에서 독립 사건과 조건부 독립 사건을 구분한다.

🔹 수업 4: 이산 확률 변수

개요: 본 수업은 이산 확률 변수의 기본 이론과 응용을 탐구합니다. 가능한 값의 집합이 유한하거나 가산 무한한 변수를 의미합니다. 확률 질량 함수(PMF), 누적 분포 함수(CDF)를 정의하고 중심 경향성과 산포도의 핵심 측정치를 설정합니다. 마지막으로 실제 세계 현상을 모델링하기 위해 사용되는 특정 분포군을 살펴봅니다.

학습 성과:

• 이산 확률 변수를 정의하고 그 확률 질량 함수(PMF) 및 누적 분포 함수(CDF)를 계산한다.
• 확률 변수와 그 함수의 기대값과 분산을 계산한다.
• 복잡한 서술 문제를 해결하기 위해 적절한 이산 확률 분포를 식별하고 적용한다.

🔹 수업 5: 연속 확률 변수

개요: 본 수업은 연속 확률 변수의 성질과 응용을 탐구하며, 기대값, 분산 및 특정 확률 분포에 초점을 맞춥니다. 학생들은 균일 분포, 정규 분포, 지수 분포, 감마 분포, 위블 분포, 코시 분포, 베타 분포 등을 사용하여 실제 세계 현상을 모델링하는 방법을 배웁니다. 또한 이산 분포의 근사화 기법과 확률 변수의 변환 방법도 다룹니다.

학습 성과:

• 연속 확률 변수와 그 함수의 기대값과 분산을 계산한다.
• 연속 보정을 사용하여 정규 분포를 이항 분포에 근사 적용한다.
• 지수 분포, 무기억성, 위험률 함수를 활용하여 신뢰성과 수명을 분석한다.

🔹 수업 6: 공동 분포 확률 변수

개요: 본 수업은 동시에 여러 확률 변수를 다루는 수학적 프레임워크를 탐구합니다. 개별 분포에서 공동 확률 밀도/질량 함수로의 전환, 독립성의 엄격한 정의, 독립 변수들의 합의 행동을 다룹니다. 더 나아가 순서 통계량과 자카비안을 사용한 확률 벡터의 변환과 같은 고급 주제도 포함됩니다.

학습 성과:

• 연속 및 이산 공동 확률 변수에 대해 마진 분포와 조건부 밀도를 계산한다.
• 인수 분해 기준을 적용하여 확률 변수들이 독립인지 여부를 판단하고, 복잡한 과정을 모델링한다.
• 자카비안 행렬식을 사용하여 확률 변수 함수의 공동 분포를 찾고, 순서 통계량의 분포를 계산한다.

🔹 수업 7: 기대값의 성질

개요: 본 수업은 수학적 기대값의 고급 성질을 탐구하며, 단순 평균을 넘어서 합의 선형성, 공분산, 조건부 조건의 강력한 도구를 다룹니다. 학생들은 이러한 도구를 알고리즘 분석, 확률적 경계, 예측 모델링에 적용하는 방법을 배웁니다.

학습 성과:

• 복잡한 합(지표 변수 및 무한 급수 포함)에 대해 기대값의 선형성을 적용한다.
• 공분산, 상관계수, 종속 및 독립 변수의 합의 분산을 계산하고 해석한다.
• 조건부 기대값과 분산을 활용하여 복합 확률 변수의 분석을 단순화하고 최적화 문제를 해결한다.

🔹 수업 8: 극한 정리

개요: 본 수업은 확률 이론의 근본적인 점근적 결과를 다룹니다. 특히, 관측 횟수가 무한히 커질 때 확률 변수의 합과 평균이 어떻게 행동하는지를 탐구합니다. 약한 및 강한 대수의 법칙, 중심극한정리에 대해 설명합니다. 또한 한쪽 테일에 대한 상한을 제공하는 단방향 체비셰프 부등식과 같은 특정 확률 경계도 다룹니다.

학습 성과:

• 수렴 기준에 따라 약한 대수의 법칙과 강한 대수의 법칙을 구분한다.
• 중심극한정리(CLT)를 활용하여 정규 분포를 사용해 확률 변수의 합에 대한 확률을 근사한다.
• 단방향 체비셰프 부등식을 사용하여 꼬리 확률에 대한 상한을 제공한다.

🔹 수업 9: 확률적 과정과 엔트로피

개요: 본 수업은 시간에 따른 무작위 사건을 모델링하고 정보를 정량화하는 수학적 프레임워크를 탐구합니다. 포아송 과정과 그 간격 시간, 마르코프 체인의 구조와 장기적 행동, 정보 이론의 기본 원리를 다룹니다. 특히 엔트로피와 최적 코드화에의 응용을 다룹니다.

학습 성과:

• 포아송 과정의 확률을 정의하고 계산하며, 간격 시간의 분포를 결정한다.
• 마르코프 체인의 전이 행렬을 구성하고, 찰프란-콜모고로프 방정식을 활용하여 n단계 확률을 찾는다.
• 에르고딕 마르코프 체인의 극한 확률을 계산하고, 무작위 보행 문제를 해결한다.

🔹 수업 10: 시뮬레이션 기법

개요: 본 수업은 경험적으로 확률과 기대값을 결정하는 데 필요한 시뮬레이션의 원리와 응용을 탐구합니다. 난수 순열 생성, 연속 및 이산 확률 변수 시뮬레이션 기법, 분산 감소를 위한 고급 방법을 다룹니다. 이러한 기법들은 시뮬레이션 추정의 효율성과 정확성을 향상시킵니다.

학습 성과:

• 의사 난수 생성기와 시드가 시뮬레이션에서 수행하는 역할을 이해한다.
• 난수 순열 생성 및 이산·연속 분포로부터 변수 시뮬레이션을 위한 알고리즘을 구현한다.
• 극좌표법을 사용하여 단위 정규 분포를 생성하고 카이제곱 변수를 시뮬레이션한다.