Методы Монте-Карло
Методы Монте-Карло: статистическое моделирование, оценка интегралов и вероятностей, MCMC и контроль дисперсии оценок.
1. Карта курса
- Генераторы случайных чисел и диагностика качества.
- Оценивание интегралов по выборке.
- Редукция дисперсии и importance sampling.
- MCMC (Metropolis-Hastings, Gibbs).
Рекомендуемый режим освоения: теория \(\rightarrow\) 2-3 задачи вручную
\(\rightarrow\) вычислительная проверка \(\rightarrow\) короткий конспект ошибок.
1.1. Лекционный маршрут и выходные компетенции
- Недели 1-3: аксиоматика, условные вероятности, формулы полной вероятности и Байеса.
- Недели 4-6: распределения, моменты, оценка хвостов и редких событий.
- Недели 7-10: предельные теоремы и статистические следствия на конечных выборках.
- Недели 11-14: прикладные вероятностные модели риска, надежности и очередей.
2. Теоретический каркас
Курсы вероятностного блока требуют точной работы с распределениями, моментами, условными конструкциями и предельными переходами. Главная инженерная цель — переход от стохастической модели к проверяемому численному выводу.
Базовый принцип: формализовать случайный объект, выбрать
релевантные характеристики (ожидание, дисперсия, квантили) и обосновать оценку риска.
Ключевая идея: предельные теоремы дают связь между микромоделью
и наблюдаемой статистикой, но требуют проверки предпосылок (независимость, моменты и т.д.).
2.1. Строгий минимум раздела
- В каждой задаче явно задавать пространство вероятностей, сигма-алгебру и случайные величины.
- Перед применением предельных теорем проверять существование нужных моментов и независимость.
- Разделять теоретические гарантии и статистические приближения на конечной выборке.
- В ответе указывать интерпретацию результата через риск, вероятность редкого события и доверительный уровень.
Требование уровня "отлично": уметь не только выполнить вычисление,
но и письменно обосновать корректность каждого шага с явным указанием условий применимости.
3. Ключевые формулы и зависимости
| Концепт | Формула / интерпретация |
|---|---|
| Математическое ожидание | \(\mathbb E[X]\) |
| Дисперсия | \(\operatorname{Var}(X)=\mathbb E[X^2]-\mathbb E[X]^2\) |
| Условное ожидание | \(\mathbb E[X\mid\mathcal F]\) |
| Доверительный уровень | \(P(\theta\in I(X))=1-\alpha\) |
| MC-оценка | \(\hat I=\frac1N\sum_{i=1}^N f(X_i)\) |
| Скорость | ошибка порядка \(O(N^{-1/2})\) |
| MH-принятие | \(\alpha=\min\{1,\frac{\pi(y)q(x\mid y)}{\pi(x)q(y\mid x)}\}\) |
4. Методика решения типовых задач
- Четко задавать вероятностное пространство и предположения модели.
- Выбирать распределение по механизму генерации данных, а не по привычке.
- Разделять аналитическую оценку и вычислительный эксперимент.
- Проверять корректность асимптотических приближений на конечной выборке.
- Использовать диагностические графики и количественные критерии.
- Интерпретировать вывод через риск, доверие и стоимость ошибки.
4.1. Формат эталонного решения
- Определить случайные величины и параметры модели до вычислений.
- Проверить предпосылки: независимость, существование моментов, тип распределения.
- Построить аналитическую оценку и отдельно сделать численную верификацию.
- Добавить интервал неопределенности и чувствительность к параметрам.
- Сформулировать вывод через вероятность ошибки и практический риск.
Оформление полного решения: постановка \rightarrow выбор метода \rightarrow
вычисления \rightarrow контроль ошибки \rightarrow интерпретация результата.
5. Разбор прикладного кейса
Кейс: интеграл высокой размерности
Демонстрируется, что классические квадратуры теряют эффективность при росте размерности, тогда как Monte Carlo сохраняет управляемую скорость сходимости. Затем добавляется importance sampling для снижения дисперсии.
Проверка результата: после вычислений обязательно фиксировать
1) численную стабильность, 2) чувствительность к параметрам,
3) интерпретацию в терминах исходной предметной задачи.
5.1. Углубление кейса
Продвинутый разбор строится вокруг выбора правильной вероятностной модели. Один и тот же набор данных можно описать разными распределениями, но только модель с проверенными предпосылками дает корректную оценку риска и надежности.
- Проверить чувствительность вывода к хвостам распределения.
- Сравнить точную формулу и асимптотическое приближение.
- Показать, как меняется вывод при изменении уровня доверия \\(1-\\alpha\\).
6. Типичные ошибки
- Смешение независимости и некоррелированности.
- Применение ЦПТ без контроля хвостов/моментов.
- Неправильная трактовка p-value как вероятности гипотезы.
- Игнорирование множественных проверок гипотез.
- Отсутствие проверки калибровки модели на hold-out данных.
6.1. Диагностика ошибок
- Не путать вероятность гипотезы с p-value статистического критерия.
- Не переносить асимптотический вывод на малую выборку без проверки.
- Проверять корректность обработки зависимых наблюдений.
- Явно указывать, на каком уровне доверия делается окончательный вывод.
7. Практикум (3 уровня)
Уровень A: базовая техника
- Решить 12-15 стандартных задач с полной записью решения.
- Для каждой задачи указать примененный метод и почему он корректен.
- Проверить 3 задачи альтернативным методом.
Уровень B: продвинутая отработка
- Решить 8 задач с параметрами и анализом вырожденных случаев.
- Оценить погрешность/устойчивость результата на вариациях входа.
- Подготовить короткий отчёт с выводами (1-2 страницы).
Уровень C: мини-проект
- Реализовать вычислительный прототип по теме курса.
- Сравнить минимум 2 метода и обосновать выбор лучшего.
- Подготовить репродуцируемый notebook с графиками и выводами.
8. Экзаменационный минимум и литература
Минимум к экзамену
- Все базовые определения курса в строгой формулировке.
- Ключевые теоремы/критерии и условия их применимости.
- Алгоритм решения типовой задачи каждого раздела.
- Умение объяснить источник ошибки и устойчивость метода.
- Интерпретация результата в прикладном контексте.
Рекомендуемая литература
- Rubinstein, Kroese. Monte Carlo; Robert, Casella. Monte Carlo Methods
- Материалы семинаров и практикумов кафедры.
- Набор задач повышенной сложности (подготовка к экзамену).
Тренажер билетов
- Объясните различие между независимостью и некоррелированностью на примере.
- Докажите (или строго выведите) используемую формулу оценивания и её условия применимости.
- Разберите задачу на байесовское обновление с редким событием и интерпретируйте результат.
- Сравните две оценки параметра по смещению, дисперсии и среднеквадратичной ошибке.
План повторения перед экзаменом
Эффективная подготовка строится циклом "теория \rightarrow задачи \rightarrow разбор ошибок". Для каждого раздела фиксируйте: формулировку ключевых определений, один эталонный алгоритм решения и типовую ловушку, которая чаще всего приводит к неверному ответу.
- Сделать короткий one-page summary по каждому разделу с формулами и условиями применимости.
- Решить минимум 2 задачи базового и 1 задачу повышенного уровня по каждому крупному блоку.
- Провести устный прогон билета: формулировка теоремы, схема доказательства, прикладная интерпретация.