1Напоминание: теория вероятностей

1.1Случайные величины

1.1.1Стандартное определение

Стадартное определение случайной величины выглядит так. Рассмотрим вероятностное пространство , где — пространство элементарных исходов, — множество событий (измеримых множеств) и — вероятностная мера (то есть ). Случайной величиной называется функция , измеримая относительно (то есть для любого интервала , ).

Это определение хорошо своей математической строгостью, но на практике обычно всё происходит наоборот — не случайная величина определяется по вероятностному пространству, а вероятностное пространство строится по системе случайных величин.

1.1.2Случайная величина как мера на

В простейшем случае об этом можно думать так. Случайная величина задаёт вероятностную меру на :
где — некоторое множество из борелевской сигма-алгебры на (то есть сигма-алгебры, порождённой интервалами). Если нас интересует только случайная величина , и никаких других случайных величин нет, можно теперь забыть про исходное вероятностное пространство и думать про вероятностное пространство . Иными словами, вместо того, чтобы генерировать исход в соответствии с мерой , а потом подставлять его в функцию , чтобы получить число , мы можем сразу выбрать случайное вещественное число в соответствии с мерой и считать его значением случайной величины .

Кстати, мера однозначно определяется функцией распределения:

Если функция распределения дифференцируема, мера является абсолютно непрерывной относительно меры Лебега и у неё есть плотность:
Расписать определение производной здесь полезно, чтобы понять вероятностный смысл плотности: это вероятность, что значение случайной величины попадёт в маленький промежуток, делённая на длину этого промежутка.

По плотности можно восстановить меру с помощью интегрирования:

Если нас интересует только одна случайная величина и больше ничего, достаточно задать её функцию распределения, а если случайная величина абсолютно непрерывна, то достаточно задать плотность, после этого можно исследовать всевозможные свойства этой случайной величины.

1.1.3Система случайных величин

Если же нас интересует не одна случайная величина, а несколько, построение немножко усложняется: задать распределение каждой случайной величины недостаточно.

Пример 1. Пусть — случайная величина с равномерным распределением на отрезке (то есть , где — функция-индикатор). Пусть , а — ещё одна случайная величина величина с равномерным распределением на отрезке , независимая от . (Можно думать об этом так: у нас есть программа, генерирующая случайные числа от 0 до 1. Значения и получаются независимыми запусками этой программы, а значение вычисляется по .) Тогда все три случайные величины по отдельности имеют одно и то же распределение — равномерное на отрезке. Но при этом пара случайных величин — это совсем не то же самое, что пара случайных величин .

Рассмотрим наиболее простой случай: пусть у нас есть две случайные величины и , заданные на одном и том же вероятностном пространстве. Рассмотрим их совместное распределение, то есть меру на , заданную следующим образом:

для любых борелевских множеств (на прямой) и .

Меру можно задавать функцией совместного распределения:

Если абсолютно непрерывна относительно меры Лебега, существует совместная плотность

Вопрос 1. Как выразить совместную плотность через функцию совместного распределения?

Таким образом, если нас интересует пара случайных величин, можно рассматривать вероятностное пространство .

Вопрос 2. Пусть пара случайных величин задаётся совместной плотностью . Допустим, мы хотим «забыть» про и узнать, как распределена величина , то есть найти (в соответствии с определением в (1.1)). Как это сделать?
  Узнать ответ

Нужно рассмотреть маргинальную плотность:

затем воспользоваться (1.4)

1.2Условные распределения

Напомним определение условной вероятности.

Определение 1. Пусть и — некоторые события. Условной вероятностью при условии называется

Определение 2. События и называются независимыми, если . Это условие эквивалентно и .

Определение 3. Две случайные величины и называются независимыми, если для любых двух борелевских множеств и ,

Это определение согласуется с определением независимости событий, приведённом выше.

Кстати, если случайных величин больше двух, можно ввести определение независимости в совокупности.

Определение 4. Случайные величины называются независимыми в совокупности, если для любых борелевских множеств ,

Вернёмся к случаю, когда у нас есть пара случайных величин и и мы хотим определить распределение случайной величины при условии, что значение равно какому-то конкретному числу , то есть задать такую штуку:

Если — дискретная случайня величина, можно применить формулу (1.8), но если распределение не является дискретным, могут вознкнуть проблемы, потому что вероятность в этом случае может быть нулевой. Но если у нас есть совместная плотность, то эту трудность можно обойти.

Определим условную плотность следующим образом:

Тогда условное распределение задаётся с помощью интегрирования:
Вообще, условное распределение — это хитрая штука; если есть просто какая-то абстрактная вероятностная мера, соответствующая условная мера относительна подмножества меры нуль может не быть корректно определена, см. парадокс Бореля — Колмогорова. Но мы с такими проблемами сталкиваться ну будем, потому что нас интересуют не произвольные меры, а заданные случайными величинами, причём случайные величины либо дискретные, либо абсолютно непрерывные.

1.2.1Пример: линейная модель

Напомним определение нормального распределения. Случайная величина распределена по нормальному закону с матожиданием и дисперсией , если её плотность задаётся следующим образом:
Пишут:
Рас��ределение называется стандартным нормальным.

Пример 2. Рассмотрим пару случайных величин , заданную следующим образом. Величина распределена по стандартному нормальному закону:
Зафиксируем некоторое число и рассмотрим вспомогательную случайную величину , независимую от .

Положим

Найдём совместную плотность . Для этого воспользуемся уравнением (1.9), поменяем в нём местами и и выразим . Имеем:
По определению стандартной случайной величины,
Пусть . В этом случае . Функция плотности для получается из функции плотности для сдвигом на константу . То есть имеет нормальное распределение с матожиданием и дисперсией . Это часто записывают так:
Таким образом,
Имеем:

Вопрос 3. Как выглядит график и линии уровня совместной плотности? Как они зависят от ? Что поисходит при ?

1.3Условное матожидание

Определение 5. Математическим ожиданием (средним) случайной величины называется её интеграл по всему вероятностному пространству:
На практике обычно используется такая форма:
Если случайная величина имеет плотность, этот интеграл записывается в виде

Пусть теперь есть две случайные величины, и , и у них есть совместная плотность .

Рассмотрим такую функцию от числа :

Для каждого , величина — это какое-то число (не случайная величина, а честное число). Она обычно обозначается так:
Рассмотрим теперь . Если взять случайную величину и подставить её в какую-то обычную функцию, получится новая случайная величина. В данном случае — случайная величина, и — новая случайная величина, которая называется условным матожиданием. Обозначается