1Напоминание: теория вероятностей и статистика

1.1Случайные величины

1.1.1Стандартное определение

Стадартное определение случайной величины выглядит так. Рассмотрим вероятностное пространство $(\Omega ,F,P)$, где $\Omega$ — пространство элементарных исходов, $F$ — множество событий (измеримых множеств) и $P$ — вероятностная мера (то есть $P\left(\Omega \right)=1$). Случайной величиной $X$ называется функция $X:\Omega \to R$, измеримая относительно $F$ (то есть для любого интервала $(a,b)$, $X^{-1}\left(\right(a,b\left)\right)\in F$).

Это определение хорошо своей математической строгостью, но на практике обычно всё происходит наоборот — не случайная величина определяется по вероятностному пространству, а вероятностное пространство строится по системе случайных величин.

1.1.2Случайная величина как мера на $R$

В простейшем случае об этом можно думать так. Случайная величина $X$ задаёт вероятностную меру на $R$:где $A$ — некоторое множество из борелевской сигма-алгебры $B^1$ на $R$ (то есть сигма-алгебры, порождённой интервалами). Если нас интересует только случайная величина $X$, и никаких других случайных величин нет, можно теперь забыть про исходное вероятностное пространство $(\Omega ,F,P)$ и думать про вероятностное пространство $(R,B^1,P_X)$. Иными словами, вместо того, чтобы генерировать исход $\omega \in \Omega$ в соответствии с мерой $P$, а потом подставлять его в функцию $X$, чтобы получить число $X\left(\omega \right)$, мы можем сразу выбрать случайное вещественное число в соответствии с мерой $P_X$ и считать его значением случайной величины $X$.

Кстати, мера $P_X$ однозначно определяется функцией распределения:

Если функция распределения дифференцируема, мера $P_X$ является абсолютно непрерывной относительно меры Лебега и у неё есть плотность:Расписать определение производной здесь полезно, чтобы понять вероятностный смысл плотности: это вероятность, что значение случайной величины попадёт в маленький промежуток, делённая на длину этого промежутка.

По плотности можно восстановить меру $P_X$ с помощью интегрирования:

Если нас интересует только одна случайная величина и больше ничего, достаточно задать её функцию распределения, а если случайная величина абсолютно непрерывна, то достаточно задать плотность, после этого можно исследовать всевозможные свойства этой случайной величины.

1.1.3Система случайных величин

Если же нас интересует не одна случайная величина, а несколько, построение немножко усложняется: задать распределение каждой случайной величины недостаточно.

Рассмотрим наиболее простой случай: пусть у нас есть две случайные величины $X$ и $Y$, заданные на одном и том же вероятностном пространстве. Рассмотрим их совместное распределение, то есть меру на $R\times R$, заданную следующим образом:

для любых борелевских множеств (на прямой) $A$ и $B$.

Меру $P_{X,Y}$ можно задавать функцией совместного распределения:

Если $P_{X,Y}$ абсолютно непрерывна относительно меры Лебега, существует совместная плотность

Таким образом, если нас интересует пара случайных величин, можно рассматривать вероятностное пространство $(R^2,B^2,P_{X,Y})$.

1.2Условные распределения

Напомним определение условной вероятности.

Это определение согласуется с определением независимости событий, приведённом выше.

Кстати, если случайных величин больше двух, можно ввести определение независимости в совокупности.

Вернёмся к случаю, когда у нас есть пара случайных величин $X$ и $Y$ и мы хотим определить распределение случайной величины $X$ при условии, что значение $Y$ равно какому-то конкретному числу $y_0$, то есть задать такую штуку:

Если $Y$ — дискретная случайня величина, можно применить формулу (1.8), но если распределение $Y$ не является дискретным, могут вознкнуть проблемы, потому что вероятность $P(Y=y_0)$ в этом случае может быть нулевой. Но если у нас есть совместная плотность, то эту трудность можно обойти.

Определим условную плотность следующим образом:

Тогда условное распределение задаётся с помощью интегрирования: Вообще, условное распределение — это хитрая штука; если есть просто какая-то абстрактная вероятностная мера, соответствующая условная мера относительна подмножества меры нуль может не быть корректно определена, см. парадокс Бореля — Колмогорова. Но мы с такими проблемами сталкиваться ну будем, потому что нас интересуют не произвольные меры, а заданные случайными величинами, причём случайные величины либо дискретные, либо абсолютно непрерывные.

1.2.1Пример: линейная модель

Напомним определение нормального распределения. Случайная величина $W$ распределена по нормальному закону с матожиданием $\mu$ и дисперсией ${\sigma }^2$, если её плотность задаётся следующим образом: Пишут: Распределение $N(0,1)$ называется стандартным нормальным.

1.3Условное матожидание

Пусть теперь есть две случайные величины, $X$ и $Y$, и у них есть совместная плотность $p_{X,Y}(x,y)$.

Рассмотрим такую функцию от числа $y_0$:

Для каждого $y_0$, величина $H\left(y_0\right)$ — это какое-то число (не случайная величина, а честное число). Она обычно обозначается так:Рассмотрим теперь $H\left(Y\right)$. Если взять случайную величину и подставить её в какую-то обычную функцию, получится новая случайная величина. В данном случае $Y$ — случайная величина, и $H\left(Y\right)$ — новая случайная величина, которая называется условным матожиданием. Обозначается

1.4Элементы статистики

1.4.1Выборки

Пусть есть случайная величина $X$, распределение которой нам в точности неизвестно, и пусть у нас есть выборка из этой случайной величины, то есть последовательность чисел $x_1,\dots ,x_n$, полученных как независимые реализации случайной величины $X$. Мы хотим, глядя на выборку, что-то сказать про распределение $X$.

Про числа $x_1,\dots ,x_n$ можно ещё думать так. Пусть у нас есть случайные величины $X_1,\dots ,X_n$, независимые в совокупности, и распределённые так же, как $X$. Тогда весь набор $(x_1,\dots ,x_n)$ является одной реализацией многомерной случайной величины $(X_1,\dots ,X_n)$. Часто в рассуждениях не делают разницу между случайными величинами и их конкретными реализациями: при теоретическом анализе, выборка — это многомерная случайная величина, при практических применениях — это конкретный набор данных, который нам нужно исследовать, про который мы верим, что он получен как реализация соответствующей случайной величины.

1.4.2Статистические оценки и их свойства

1.4.2.1Выборочное среднее

Вернёмся к примеру с монеткой. Пусть $X$ — случайная величина, равная 1 при выпадении орла и 0 при выпадении решки, $p$ — вероятность выпадения орла. Её матожидание равно $p$. Пусть мы получили такую выборку из $X$: Что мы можем сказать про $p$?

Рассмотрим функцию $Ave$ от выборки, называемую выборочным средним. Это просто среднее арифметическое:

Согласно закону больших чисел,по вероятности. (Здесь мы снова считаем, что $x_1,\dots ,x_n$ — это случайные величины.) Это значит, что выборочное среднее можно использовать для оценки матожидания случайной величины, из которой взята выборка. В нашем примере, чтобы оценить $p$ нужно посчитать, какую долю составляют единицы в нашей выборке.

Соотношение (1.13) является частным случаем утверждения о состоятельности оценки. Общее определение выглядит так.

Таким образом, соотношение (1.13) утверждает, что $Ave$ является состоятельной оценкой для матожидания $EX$.

Грубо говоря, состоятельность означает, что чем больше размер выборки, тем лучше наша оценка приближает истинное значение параметра распределения.

Помимо состоятельности нас будет интересовать ещё одно свойство: несмещённость. Напомним, что мы считаем $x_1,\dots ,x_n$ случайными величинами. Зафиксируем $n$ и рассмотрим матожидание $EAve(x_1,\dots ,x_n)$:

где в последней сумме $n$ одинаковых слагаемых.

Иными словами, это означает следующее. Зафиксируем некоторое $n$ и сгенерируем много-много выборок длины $n$. Для каждой посчитаем выборочное среднее. Затем посчитаем среднее этих средних. Полученное среднее будет близко к истинному матожиданию $EX$.

Общее определение звучит так:

1.4.2.2Выборочная дисперсия

Оценивать по выборке можно не только матожидание, но и другие параметры распределения — например, её дисперсию. Естественной оценкой для дисперсии является выборочная дисперсия. Обозначим $\overline{x}=Ave(x_1,\dots ,x_n)$.

Можно показать (и легко поверить), что выборочная дисперсия является состоятельной оценкой для истинной дисперсии $D\left[X\right]$. Однако, является ли она несмещённой?

Оказывается, что нет.

Оказывается, несмещнной оценкой для дисперсии является так называемая исправленная выборочная дисперсия, отличающаяся от обычной тем, что деление происходит на $(n-1)$, а не на $n$:

1.4.3Дисперсия оценок

Пусть у нас есть две состоятельные несмещённые оценки для какого-нибудь параметра (например, матожидания). Какая из этих оценок «лучше»? Та, которая меньше ошибается, то есть меньше отклоняется от своего среднего значения (которое, в силу предположения несмещённости, равно истинному значению параметра), то есть та, у которой меньше дисперсия.

Найдём дисперсию $Ave$. Для этого напомним свойства дисперсии: $$\begin{array}{}D\left[cX\right]& =c^{2}D\left[X\right],& D[X+Y]& =D\left[X\right]+D\left[Y\right],& \text{(1.14)}& \text{(1.15)}\end{array}$$ где $c$ — константа (неслучайная величина), $X$ и $Y$ независимы.

Итак, имеем: $$\begin{array}{c}D\left[Ave\right(x_1,\dots ,x_n\left)\right]=D\left[\frac{x_1+\dots +x_n}{n}\right]=\\ =\frac{1}{n^2}\left(D\right[x_1]+\dots +D[x_n\left]\right)=\frac{D\left[X\right]}{n}.\end{array}$$ То есть дисперсия оценки среднего уменьшается линейно с ростом размера выборки $n$.

---