Обзоры курсов

Как понять, случаен ли полученный результат?

От одной выборки к выводу: курс MATH003 «Вероятность и статистика: наука о неопределённости» помогает разобраться в связях между случайностью, моделью и доказательствами.

EvoClass Чтение: 4 мин
Иллюстрация к понятию повторной выборки: рука достаёт образцы из мешочка с красными и серыми кружками, а перед ней два лотка показывают разные сочетания цветов.

Предположим, монету подбросили сто раз, и шестьдесят раз выпала одна и та же сторона. Кто-то сочтёт, что с монетой что-то не так, а кто-то — что это обычное колебание.

Оба суждения можно высказать с большой уверенностью. По-настоящему трудно другое: объяснить, на чём они основаны. Насколько редок такой результат, если монета честная? Устойчив ли способ броска? Как изменится доля, если взять другую серию наблюдений?

MATH003 «Вероятность и статистика: наука о неопределённости» — университетский вводный курс EvoClass, который сейчас включает одиннадцать занятий; в описании курса требуется годовая подготовка по математическому анализу. Он связывает вероятностные модели, случайные величины, выборочные распределения и статистический вывод и помогает превратить «выглядит необычно» в вопрос, который можно обсудить и проверить.

Прежде чем судить о случайности, объясните, что именно меняется случайно

За фразой «вероятность равна половине» должны стоять чётко определённые испытание и событие. Какую сторону мы наблюдаем? Как выполняется бросок? Можно ли считать последовательные результаты независимыми? Если эти условия размыты, дальнейшие вычисления могут ответить на другой вопрос.

Занятие 1: Основы вероятностных моделей ведёт от интуиции к пространству элементарных исходов, событиям, условной вероятности и независимости.

Задача о двухцветных карточках из материалов курса особенно полезна как напоминание: после получения новой информации оставшиеся возможности не обязательно остаются равновероятными. Интуиция быстро сводит их к нескольким вариантам, а модель требует продолжать спрашивать, каким образом был получен каждый из них.

В этом и ценность языка вероятности. Он позволяет сначала согласовать предмет обсуждения и лишь затем сравнивать рассуждения, а не перебирать доводы в духе «мне кажется».

Число, полученное по одной выборке, тоже меняется

Шестьдесят выпадений одной стороны — результат этих ста выбросов. Если провести ещё сто бросков, результат, как правило, не повторится в точности. Выборочная доля, выборочное среднее и другие статистики тоже меняются вместе с выборкой.

В занятии 4: Выборочные распределения и предельные теоремы курс рассматривает саму статистику как случайную величину и обсуждает закон больших чисел, центральную предельную теорему, погрешность и объём выборки.

Так вопрос смещается от «какова доля в этот раз» к «как такая доля может колебаться в рамках этой модели». Только тогда у отдельного результата появляется фон для сравнения.

Увеличение объёма выборки обычно уменьшает случайную погрешность, но сам процесс отбора всё равно нужно проверять. Если наблюдаемые объекты постоянно смещены в сторону одной категории, больше записей может лишь сделать смещение более устойчивым.

Переход от данных к выводам требует описания метода вывода

Вероятностные модели помогают обсуждать возможные данные, а статистический вывод, исходя из уже наблюдаемых данных, изучает неизвестный механизм или параметры.

Занятие 5: Основы статистического вывода связывает выборку, модель и вывод. Здесь нужно тренировать умение различать, что следует из наблюдений, а что опирается на дополнительные допущения.

Далее в занятии 7: Байесовский статистический вывод априорное распределение, функция правдоподобия и апостериорное распределение дают ясный способ выразить, как следует обновлять суждение после появления новых данных. Обновлённое суждение зависит одновременно от наблюдённых данных и от выбранного априорного распределения, поэтому при обучении нужно проверять и влияние этих решений.

У разных методов вывода свои условия и своя интерпретация. Понимать эти условия полезнее, чем воспринимать одно число как окончательный вердикт. Шестьдесят выпадений одной стороны в примере с монетой сами по себе ещё не заменяют полного анализа.

Сначала точные вычисления, затем проверка адекватности модели

Если часть испытаний проводилась на другом устройстве или способ броска менялся по ходу, стоит пересмотреть допущение, что все записи относятся к одному стабильному процессу.

Занятие 9: Проверка и диагностика модели переносит внимание с оценивания параметров на проверку модели. Темы остатков, проверки качества подгонки и перекрёстной проверки помогают находить ещё не объяснённые расхождения между допущениями и данными.

Можно устроить себе небольшое упражнение: сначала записать, как были получены данные, затем указать, какую модель предполагается использовать, и, наконец, перечислить наблюдения, которые заставили бы усомниться в этой модели. Даже без сложных вычислений эти три шага делают суждение яснее.

Ситуация с монетой в тексте не содержит вывода эксперимента, а служит отправной точкой для этого хода мысли. На странице курса MATH003 можно продолжить углубляться в вероятность, выборку и вывод.

Когда результат выглядит особенно заметным, стоит сделать ещё один шаг: при каких условиях он возник? Как он мог бы колебаться? Какие объяснения ещё не исключены? Понимание неопределённости начинается именно с этих вопросов.


Статья подготовлена на основе текущего описания и материалов курсов EvoClass; ссылки на занятия ведут на англоязычные материалы. Данные о монете — постановочный учебный пример; эксперимент не проводился, и проверка гипотез на их основе не выполнялась. Курс предполагает знание математического анализа и рассчитан на последовательное изучение на университетском уровне.