Теория вероятностей и статистика: Наука неопределённости

📚 Краткое содержание

Полный вводный курс университетского уровня по математическим основам теории вероятностей и статистики. Курс, требующий одного года исчисления, охватывает модели вероятности, случайные величины, ожидания, выборочные распределения, функции правдоподобия и байесовский вывод, а также взаимосвязи между переменными.

Освойте строгую математическую науку неопределённости через вероятность, основанную на исчислении, и статистический вывод.

Авторы: Майкл Дж. Эванс и Джеффри С. Росенталь

Благодарности: Авторы благодарят вклад различных рецензентов и коллег из таких учреждений, как Университет Торонто, Макмастерский университет и Университет Пердью. Также отмечено финансирование и инфраструктурная поддержка со стороны Университета Торонто.

🎯 Цели обучения

1. Определить формальную модель вероятности с использованием пространств выборок, событий и мер вероятности.
2. Применять комбинаторные принципы (перестановки, подмножества, биномиальные коэффициенты) для решения задач с равномерной вероятностью.
3. Использовать закон полной вероятности и теорему Байеса для анализа многоэтапных систем и обновления убеждений на основе новой информации.
4. Определить и различать дискретные и абсолютно непрерывные случайные величины и их соответствующие функции вероятности/плотности.
5. Идентифицировать и применять ключевые распределения вероятности (Бернулли, биномиальное, Пуассона, нормальное и т. д.) для моделирования реальных явлений.
6. Вычислять маргинальные плотности, условные распределения и оценивать независимость для многомерных распределений.
7. Вычислять математическое ожидание, дисперсию и ковариацию для дискретных, непрерывных и смешанных случайных величин.
8. Применять закон невинного статистика (LOTUS) и свойства линейности для вычисления ожиданий преобразованных переменных.
9. Выводить моменты с помощью функций вероятности (PGF) и функций моментов (MGF).
10. Определить и вывести выборочные распределения для функций последовательностей независимых одинаково распределённых величин.

🔹 Урок 1: Основы вероятностных моделей

Обзор: Этот урок устанавливает строгую математическую основу для теории вероятностей, переходя от интуитивного понятия «меры неопределённости» к формальным аксиоматическим моделям. Рассматриваются основные свойства мер вероятности, комбинаторные методы подсчёта для конечных пространств и основные механизмы условной вероятности, включая теорему Байеса и непрерывность мер вероятности.

Результаты обучения:

• Определить формальную вероятностную модель с использованием пространств выборок, событий и мер вероятности.
• Применять комбинаторные принципы (перестановки, подмножества, биномиальные коэффициенты) для решения задач с равномерной вероятностью.
• Использовать закон полной вероятности и теорему Байеса для анализа многоэтапных систем и обновления убеждений на основе новой информации.

🔹 Урок 2: Случайные величины и распределения вероятностей

Обзор: В этом уроке рассматриваются математические основы количественной оценки неопределённости через случайные величины (СВ). Студенты переходят от определения СВ и их распределений (дискретных и непрерывных) к пониманию совместных распределений, преобразований и методов численной имитации этих переменных. Контент связывает теоретическую вероятность, основанную на исчислении, с практическими приложениями в моделировании и статистической имитации.

Результаты обучения:

• Определить и различать дискретные и абсолютно непрерывные случайные величины и их соответствующие функции вероятности/плотности.
• Идентифицировать и применять ключевые распределения вероятности (Бернулли, биномиальное, Пуассона, нормальное и т. д.) для моделирования реальных явлений.
• Вычислять маргинальные плотности, условные распределения и оценивать независимость для многомерных распределений.

🔹 Урок 3: Математическое ожидание и моменты

Обзор: В этом уроке рассматривается фундаментальное понятие математического ожидания как «долгосрочного среднего» случайной величины, расширяясь от простых случаев дискретных и непрерывных величин до общих произвольных переменных. Анализируется изменчивость данных через дисперсию и ковариацию, используются генерирующие функции (PGF, MGF и характеристические функции), чтобы упростить вычисление моментов, и применяются мощные вероятностные неравенства для ограничения неизвестных распределений. Наконец, курс охватывает условные ожидания и закон полного ожидания, которые необходимы для анализа сложных многоэтапных случайных процессов.

Результаты обучения:

• Вычислять математическое ожидание, дисперсию и ковариацию для дискретных, непрерывных и смешанных случайных величин.
• Применять закон невинного статистика (LOTUS) и свойства линейности для вычисления ожиданий преобразованных переменных.
• Выводить моменты с помощью функций вероятности (PGF) и функций моментов (MGF).

🔹 Урок 4: Выборочные распределения и предельные теоремы

Обзор: В этом уроке исследуется поведение случайных величин, когда они являются функциями выборки (выборочные распределения), и как эти распределения ведут себя при увеличении размера выборки (предельные теоремы). Студенты осваивают переход от конечных выборочных распределений к асимптотическим приближениям, таким как центральная предельная теорема, и исследуют вычислительные методы, такие как приближение Монте-Карло и метод важных выборок.

Результаты обучения:

• Определить и вывести выборочные распределения для функций последовательностей независимых одинаково распределённых величин.
• Различать и применять сходимость по вероятности и сходимость по распределению.
• Использовать центральную предельную теорему и нормальное приближение биномиального распределения для оценки вероятностей.

🔹 Урок 5: Основы статистического вывода

Обзор: В этом уроке рассматривается переход от чистой теории вероятностей к статистическому выводу, затрагивая, как мы используем наблюдаемые данные для формулирования утверждений о истинных вероятностных мерах системы. Студенты научатся строить формальные статистические модели (Бернулли и нормальное), понимать строгие методы сбора данных, такие как простая случайная и стратифицированная выборка из конечных популяций, и представлять результаты через описательную статистику, гистограммы и эмпирические функции распределения.

Результаты обучения:

• Определить роль статистического вывода в решении неопределённости, вызванной вариацией и ограниченными данными.
• Строить и интерпретировать статистические модели, выявляя параметры и параметрические пространства.
• Различать характеристики популяции и оценки выборки, используя методы простой случайной и стратифицированной выборки.

🔹 Урок 6: Вывод на основе функции правдоподобия

Обзор: В этом уроке рассматриваются теоретические основы и практические применения статистического вывода, основанного на функции правдоподобия. Происходит переход от фундаментальных понятий, таких как принцип правдоподобия и достаточность, к оценке параметров методом максимального правдоподобия (MLE), а также к оценке качества этих оценок по показателям смещения, состоятельности и стандартных ошибок. Кроме того, урок охватывает как параметрические подходы (z-интервалы, t-интервалы и проверка гипотез), так и непараметрические методы (метод моментов, бутстрэп, знаковые статистики), завершаясь углублённым изучением асимптотической нормальности и информационной матрицы Фишера.

Результаты обучения:

• Определить и применить функцию правдоподобия и теорему факторизации для выявления достаточных и минимально достаточных статистик.
• Вычислять оценки максимального правдоподобия (MLE) и оценивать их качество с помощью среднеквадратичной ошибки (MSE), смещения и состоятельности.
• Строить и интерпретировать доверительные интервалы и значения p для различных статистических моделей, используя как параметрические, так и непараметрические методы.

🔹 Урок 7: Байесовский статистический вывод

Обзор: В этом уроке рассматривается байесовская парадигма статистического вывода, где параметры рассматриваются как случайные величины с распределениями вероятности. Студенты научатся объединять априорные убеждения (априорные распределения) с наблюдаемыми данными (функция правдоподобия) для получения обновлённых убеждений (апостериорные распределения). Программа охватывает теоретические основы, практические методы оценки (факторы Байеса, прогнозирование), вычислительные методы (сэмплирование Гиббса, асимптотическая нормальность) и стратегический выбор априорных распределений.

Результаты обучения:

• Вычислять апостериорные распределения с помощью теоремы Байеса для различных моделей, включая сопряжённые семейства.
• Выполнять байесовскую оценку (среднее, мода) и проверку гипотез с использованием факторов Байеса.
• Строить апостериорные прогнозные распределения для будущих наблюдений.

🔹 Урок 8: Оптимальные выводы и теория принятия решений

Обзор: В этом уроке рассматриваются математические основы для поиска «наилучших» статистических процедур. Переход от базовой оценки к оптимальной несмещённой оценке (UMVU), разработка теории однозначно наиболее мощных (UMP) тестов через теорему Неймана-Пирсона, а также интеграция байесовских взглядов и теории принятия решений для оценки оценок и тестов с помощью функций потерь и риска.

Результаты обучения:

• Применять теорему Рао-Блэквелла и теорему Лемана-Шеффе для вывода несмещённых оценок с минимальной дисперсией (UMVU).
• Использовать неравенство информации Крамера-Рао для определения фундаментального нижнего предела дисперсии несмещённых оценок.
• Строить однозначно наиболее мощные (UMP) тесты с помощью леммы Неймана-Пирсона и оценивать их с помощью функций мощности и типов ошибок.

🔹 Урок 9: Проверка моделей и диагностика

Обзор: В этом уроке рассматривается критически важный процесс проверки предположений, сделанных при построении статистических моделей. Студенты научатся использовать статистики расхождения и дополнительные статистики для проверки выборочных моделей, использовать визуальные инструменты, такие как графики остатков и вероятностные диаграммы, и проводить формальные тесты, такие как хи-квадрат и точный тест Фишера. Кроме того, урок охватывает байесовскую проверку моделей через анализ конфликта между априорными знаниями и данными и предостерегает от статистических ловушек при одновременной проверке нескольких гипотез.

Результаты обучения:

• Определить и идентифицировать дополнительные статистики и статистики расхождения, используемые для измерения отклонений модели.
• Строить и интерпретировать стандартизированные остатки и нормальные вероятностные графики для оценки нормальности и соответствия модели.
• Применять тест хи-квадрат согласия и точный тест Фишера для категориальных и группированных данных.

🔹 Урок 10: Взаимосвязи между переменными и регрессия

Обзор: В этом уроке рассматривается, как статистические модели описывают зависимости между различными переменными. Происходит переход от фундаментального определения связи — на основе изменений условных распределений — к сложным методам моделирования, включая простую и множественную линейную регрессию, анализ дисперсии (ANOVA) для категориальных предикторов и логистическую регрессию для бинарных ответов. Студенты научатся оценивать параметры методом наименьших квадратов, оценивать качество модели через коэффициент детерминации (R²) и разложение дисперсии по ANOVA, а также проверять предположения с помощью анализа остатков.

Результаты обучения:

• Определить и идентифицировать связи между переменными на основе условных распределений.
• Применять метод наименьших квадратов для оценки параметров в моделях простой и множественной линейной регрессии.
• Использовать разложение по ANOVA и статистики F для проверки значимости предикторов и выявления взаимодействий.

🔹 Урок 11: Введение в стохастические процессы

Обзор: В этом уроке даётся всесторонняя основа для стохастических процессов — систем, развивающихся случайным образом во времени. Студенты переходят от моделей дискретного времени, таких как простые случайные блуждания и марковские цепи, к продвинутым вычислительным методам, таким как марковское цепное Монте-Карло (MCMC), и, наконец, к процессам непрерывного времени, включая марцингали, броуновское движение и пуассоновские процессы.

Результаты обучения:

• Вычислять вероятности для случайных блужданий и определять вероятность «банкротства» в моделях игры.
• Анализировать марковские цепи на предмет неприводимости, периодичности и стационарных распределений.
• Проектировать и объяснять алгоритмы Метрополиса-Хастингса и сэмплирования Гиббса для сложных распределений.