2Статистическая теория принятия решений

2.1Постановка задачи

Пусть у нас есть данные (обучающая выборка) $(x_1,y_1),\dots ,(x_n,y_n)$, где $x_1,\dots ,x_n\in R^d$ и $y_1,\dots ,y_n\in R$. Каждая пара $(x_i,y_i)$ соответствует одному объекту в обучающей выборке, $i=1,\dots ,n$, $n$ — количество объектов, $d$ — количество известных признаков. Наша задача: глядя на данные, в которых приведены и $x$, и $y$, научиться предсказывать $y$ по $x$. В дальнейшем нам будут давать новые $x$ (значения признаков для новых объектов) и нам нужно будет для них предсказать $y$.

Как отличить хороший предсказательный алгоритм от плохого? Чтобы ответить на этот вопрос и уточнить постановку задачи, необходимо уточнить наши представления о том, откуда взялись наши данные.

Будем обозначать $x_{data}=(x_1,\dots ,x_n)$, $y_{data}=(y_1,\dots ,y_n)$.

Мы верим в то, что существует некоторая пара случайных величин $(X,Y)$, и что наши данные являются выборкой из этой пары. На менее формальном уровне это означает следующее. Пару случайных величин $(X,Y)$ можно представлять себе как программу, которая по нашей команде генерирует нам случайную пару $(x,y)$, где $x\in R^d$, $y\in R$. Мы верим в то, что наши данные были сгенерированы путём независимых запусков такой программы. (Каждый запуск ничего не знает обо всех остальных.)

Пусть теперь есть некоторая функция потерь $L(y,\hat{y})$, которая показывает, насколько нам стало плохо от того, что при правильном ответе $y$ мы дали предсказание $\hat{y}$.

Например, популярна квадратичная функция потерь.

Именно её мы будем в основном рассматривать сегодня.

Теперь пусть у нас есть алгоритм, предсказывающий $y$ по данному $x$, то есть задана некоторая (обычная, детерминированная) функция $\hat{y}=f\left(x\right)$. Ожидаемая ошибка предсказания (expected prediction error) — это матожидание

где $(x,y)$ распределены в соответствии с распределением $(X,Y)$. Для фиксированного $f$ и $L$ это просто число. Наша задача — выбрать такую функцию $f$, которая бы минимизировала это число.

2.2Регрессионная функция

Предположим, что мы знаем истинное распределение $(X,Y)$. На самом деле, в реальной жизни мы его никогда не знаем, и пытаемся оценить, глядя на данные. Но сейчас забудем про данные и будем считать, что знаем. Как тогда должно быть устроено оптимальное предсказание?

Нам понадобится вспомогательная лемма.

С помощью леммы 1, запишем (2.1) в следующем виде:

Чтобы минимизировать эту штуку, нам нужно для каждого фиксированного $x$ минимизировать величину $E_{y\sim Y\mid X=x}\left[L\right(y,f\left(x\right))\mid X=x]$. Для фиксированного $x$ значение $f\left(x\right)$ — это просто число (обозначим его через $\hat{y}$), то есть мы свели задачу к оптимизации функции одной переменной $\hat{y}$: Для квадратичной функции потерь $L(y,\hat{y})=(y-\hat{y}{)}^2$ имеем:Для краткости в дальнейшем будем опускать индекс у условной плотности и писать просто $p\left(y|x\right)$.

Найдём производную по $\hat{y}$: $$\begin{array}{c}\frac{d}{d\hat{y}}{\int }_R(y-\hat{y}{)}^2{p}^{}(y|x)dy={\int }_R{p}^{}(y|x\left)\frac{d}{d\hat{y}}\right(y-\hat{y}{)}^{2}dy=\\ ={\int }_{R}2(\hat{y}-y)p^{}\left(y|x\right)dy=2{\int }_R\hat{y}{p}^{}\left(y|x\right)dy-2{\int }_{R}y{p}^{}\left(y|x\right)dy=\\ =2\hat{y}{\int }_R{p}^{}\left(y|x\right)dy-2E[Y\mid X=x]=2(\hat{y}-E[Y\mid X=x\left]\right).\end{array}$$ Приравнивая к нулю, получаем, что необходимое условие экстремума выполняется в точке

Легко показать (покажите!), что это действительно искомая точка минимума. Таким образом с точки зрения квадратичной функции потерь оптимальным предсказанием для данного $x$ является условное матожидание $Y$ при условии $X=x$. Функция $f\left(x\right)$, заданная уравнением (2.2), часто называется регрессионной функцией.

В следующий раз мы обсудим, как можно оценивать $E[Y\mid X=x]$, не зная распределения $(X,Y)$, но имея данные, которые являются выборкой из этого распределения, и какие опасности нас поджидают на этом пути.

---