Введем следующие обозначения. Вектор значений зависимой переменной:
\begin{equation*} y=\left(\begin{matrix}\begin{matrix}y_1\\y_2\end{matrix}\\\begin{matrix}y_3\\{\dots}\end{matrix}\\\begin{matrix}y_{n-1}\\y_n\end{matrix}\end{matrix}\right) \end{equation*}
Вектор случайных ошибок:
\begin{equation*} \varepsilon =\left(\begin{matrix}\begin{matrix}\varepsilon _1\\\varepsilon _2\end{matrix}\\\begin{matrix}\varepsilon _3\\{\dots}\end{matrix}\\\begin{matrix}\varepsilon _{n-1}\\\varepsilon _n\end{matrix}\end{matrix}\right) \end{equation*}
Вектор коэффициентов модели:
\begin{equation*} \beta =\left(\begin{matrix}\beta _1\\{\dots}\\\beta _k\end{matrix}\right) \end{equation*}
Вектор МНК-оценок коэффициентов модели:
\begin{equation*} \widehat {\beta }=\left(\begin{matrix}\widehat {\beta _1}\\{\dots}\\\widehat {\beta _k}\end{matrix}\right) \end{equation*}
Матрица регрессоров:
\begin{equation*} X=\left(\begin{matrix}x_1^{\left(1\right)}&{\cdots}&x_1^{\left(k\right)}\\\begin{matrix}{\vdots}\\{\vdots}\end{matrix}&{\ddots}&\begin{matrix}{\vdots}\\{\vdots}\end{matrix}\\x_n^{\left(1\right)}&{\cdots}&x_n^{\left(k\right)}\end{matrix}\right) \end{equation*}
Таким образом, матрица регрессоров представляет собой таблицу, где число столбцов равно числу регрессоров, и в каждом столбце записаны данные об одном из них. Число строк в ней, соответственно, равно числу наблюдений. По умолчанию мы по-прежнему будем предполагать, что рассматривается регрессия с константой и, следовательно, \(x_i^{\left(1\right)}=1\) для всех наблюдений. То есть первый столбец в матрице регрессоров заполнен исключительно единицами. Это предположение не критично для вывода формул МНК-оценок и исследования их свойств, однако полезно для некоторых других целей. Например, чтобы коэффициент R-квадрат в нашей модели гарантированно лежал на отрезке от 0 до 1.
Выведем МНК-оценки коэффициентов в модели множественной регрессии. Напомним, что метод наименьших квадратов состоит в подборе оценок коэффициентов, которые минимизируют сумму квадратов остатков модели:
\begin{equation*} \sum e_i^2=\sum \left(y_i-\widehat y_i\right)^2=\sum \left(y_i-\widehat {\beta }_1x_i^{\left(1\right)}-{\dots}-\widehat {\beta }_kx_i^{\left(k\right)}\right)^2 \end{equation*}
Эту сумму квадратов мы будем минимизировать по \(\widehat {\beta }_1,{\dots},\widehat {\beta }_k\). Так как рассматриваемая квадратичная форма является положительно определенной, то необходимое условие экстремума будет и достаточным условием минимума. Поэтому, чтобы найти нужные нам оценки, следует просто взять производные по \(\widehat {\beta }_1,{\dots},\widehat {\beta }_k\) и приравнять каждую из них к нулю. Получим систему из k уравнений:
\begin{equation*} -2\sum x_i^{\left(1\right)}\left(y_i-\widehat {\beta }_1x_i^{\left(1\right)}-{\dots}-\widehat {\beta }_kx_i^{\left(k\right)}\right)=0 \end{equation*}
\begin{equation*} -2\sum x_i^{\left(2\right)}\left(y_i-\widehat {\beta }_1x_i^{\left(1\right)}-{\dots}-\widehat {\beta }_kx_i^{\left(k\right)}\right)=0 \end{equation*}
\begin{equation*} {\dots} \end{equation*}
\begin{equation*} -2\sum x_i^{\left(k\right)}\left(y_i-\widehat {\beta }_1x_i^{\left(1\right)}-{\dots}-\widehat {\beta }_kx_i^{\left(k\right)}\right)=0 \end{equation*}
Эту систему можно переписать так:
\begin{equation*} \sum x_i^{\left(1\right)}y_i=\sum x_i^{\left(1\right)}\left(\widehat {\beta }_1x_i^{\left(1\right)}+{\dots}+\widehat {\beta }_kx_i^{\left(k\right)}\right) \end{equation*}
\begin{equation*} \sum x_i^{\left(2\right)}y_i=\sum x_i^{\left(2\right)}\left(\widehat {\beta }_1x_i^{\left(1\right)}+{\dots}+\widehat {\beta }_kx_i^{\left(k\right)}\right) \end{equation*}
\begin{equation*} {\dots} \end{equation*}
\begin{equation*} \sum x_i^{\left(k\right)}y_i=\sum x_i^{\left(k\right)}\left(\widehat {\beta }_1x_i^{\left(1\right)}+{\dots}+\widehat {\beta }_kx_i^{\left(k\right)}\right) \end{equation*}
Или, что то же самое:
\begin{equation*} \left(\begin{matrix}\sum x_i^{\left(1\right)}y_i\\{\dots}\\\sum x_i^{\left(k\right)}y_i\end{matrix}\right)=\left(\begin{matrix}\sum x_i^{\left(1\right)}\left(\widehat {\beta }_1x_i^{\left(1\right)}+{\dots}+\widehat {\beta }_kx_i^{\left(k\right)}\right)\\{\dots}\\\sum x_i^{\left(k\right)}\left(\widehat {\beta }_1x_i^{\left(1\right)}+{\dots}+\widehat {\beta }_kx_i^{\left(k\right)}\right)\end{matrix}\right) \end{equation*}
С учетом введенных нами обозначений данную систему можно гораздо более лаконично записать в матричной форме:
\begin{equation*} X'y=X'X\widehat {\beta }\left(3.1\right) \end{equation*}
Действительно, для левой части равенства (3.1) верны преобразования:
\begin{equation*} X'y=\left(\begin{matrix}x_1^{\left(1\right)}&x_2^{\left(1\right)}{\cdots}{\cdots}&x_n^{\left(1\right)}\\{\vdots}&{\ddots}&{\vdots}\\x_1^{\left(k\right)}&x_2^{\left(k\right)}{\cdots}{\cdots}&x_n^{\left(k\right)}\end{matrix}\right) \ast \left(\begin{matrix}y_1\\\begin{matrix}y_2\\{\dots}\end{matrix}\\y_n\end{matrix}\right)= \end{equation*}
\begin{equation*} \left(\begin{matrix}x_1^{\left(1\right)}y_1+{\dots}+x_n^{\left(1\right)}y_n\\{\dots}{\dots}{\dots}\\x_1^{\left(k\right)}y_1+{\dots}+x_n^{\left(k\right)}y_n\end{matrix}\right)=\left(\begin{matrix}\sum x_i^{\left(1\right)}y_i\\{\dots}\\\sum x_i^{\left(k\right)}y_i\end{matrix}\right) \end{equation*}
А для правой части равенства (3.1) можно записать:
\begin{equation*} X'X\widehat {\beta }=\left(\begin{matrix}\sum _{i=1}^n\left(x_i^{\left(1\right)}\right)^2&{\cdots}&\sum _{i=1}^nx_i^{\left(1\right)}x_i^{\left(k\right)}\\{\vdots}&{\ddots}&{\vdots}\\\sum _{i=1}^nx_i^{\left(k\right)}x_i^{\left(1\right)}&{\cdots}&\sum _{i=1}^n\left(x_i^{\left(k\right)}\right)^2\end{matrix}\right) \ast \left(\begin{matrix}\widehat {\beta }_1\\{\dots}\\\widehat {\beta }_k\end{matrix}\right)= \end{equation*}
\begin{equation*} \left(\begin{matrix}\widehat {\beta }_1\sum _{i=1}^n\left(x_i^{\left(1\right)}\right)^2+{\dots}+\widehat {\beta }_k\sum _{i=1}^nx_i^{\left(1\right)}x_i^{\left(k\right)}\\\begin{matrix}{\dots}\\?\widehat {\beta }_1\sum _{i=1}^nx_i^{\left(k\right)}x_i^{\left(1\right)}+{\dots}+\widehat {\beta }_k\sum _{i=1}^n\left(x_i^{\left(k\right)}\right)^2\end{matrix}\end{matrix}\right)= \end{equation*}
\begin{equation*} \left(\begin{matrix}\sum x_i^{\left(1\right)}\left(\widehat {\beta }_1x_i^{\left(1\right)}+{\dots}+\widehat {\beta }_kx_i^{\left(k\right)}\right)\\{\dots}\\\sum x_i^{\left(k\right)}\left(\widehat {\beta }_1x_i^{\left(1\right)}+{\dots}+\widehat {\beta }_kx_i^{\left(k\right)}\right)\end{matrix}\right) \end{equation*}
Решая уравнение (3.1) относительно \(\widehat {\beta }\), находим формулу для расчета вектора МНК-оценок коэффициентов:
\begin{equation*} \widehat {\beta }=\left(X'X\right)^{-1}X'y. \end{equation*}
Для исследования свойств этих коэффициентов нам потребуется ввести еще один объект: ковариационную матрицу вектора случайных ошибок. Это такая таблица размера n на n, в которой на пересечении i-ой строки и j-того столбца стоит коэффициент ковариации между случайными ошибками, относящимися к i-му и к j-тому наблюдениям: \(\mathit{Cov}\left(\varepsilon _i,\varepsilon _j\right)\). Ковариационную матрицу для вектора \(\varepsilon \) будем обозначать \(V\left(\varepsilon \right)\). Таким образом, ковариационная матрица вектора оценок коэффициентов имеет вид:
\begin{equation*} V\left(\varepsilon \right)=\left(\begin{matrix}\mathit{Cov}\left(\varepsilon _1,\varepsilon _1\right)&{\cdots}&\mathit{Cov}\left(\varepsilon _1,\varepsilon _n\right)\\{\vdots}&{\ddots}&{\vdots}\\\mathit{Cov}\left(\varepsilon _n,\varepsilon _1\right)&{\cdots}&\mathit{Cov}\left(\varepsilon _n,\varepsilon _n\right)\end{matrix}\right) \end{equation*}
Напомним несколько полезных нам свойств ковариационной матрицы.
Свойство 1. Ковариационная матрица симметрична и положительно определена.
Свойство 2. На главной диагонали ковариационной матрицы расположены дисперсии соответствующих элементов случайного вектора.
Свойство 3. Добавление вектора констант не меняет ковариационную матрицу:
\begin{equation*} V\left(\varepsilon +b\right)=V\left(\varepsilon \right) \end{equation*}
Свойство 4. Умножение на матрицу констант меняет ковариационную матрицу следующим образом:
\begin{equation*} V\left(C \ast \varepsilon \right)=C \ast V\left(\varepsilon \right) \ast C' \end{equation*}
Отметим, что указанные свойства верны для произвольной ковариационной матрицы, а не только для ковариационной матрицы вектора случайных ошибок.
С учетом сформулированных определений можно переписать предпосылки КЛММР в матричной форме. Сравните их с предпосылками, сформулированными в предыдущем параграфе, и убедитесь, что это в точности одно и то же.
Предпосылки классической линейной модели множественной регрессии в матричной форме
1. \(y=X\beta +\varepsilon \)\
2. Матрица \(X\) — детерминированная матрица, имеющая максимальный ранг k.
3. \(E\varepsilon =0_n\)
4-5. \(V\left(\varepsilon \right)=\left(\begin{matrix}\begin{matrix}\sigma ^2&0\\0&\sigma ^2\end{matrix}&{\cdots}&\begin{matrix}0\\0\end{matrix}\\{\vdots}&{\ddots}&{\vdots}\\\begin{matrix}0&0\end{matrix}&{\cdots}&\sigma ^2\end{matrix}\right)=\sigma ^2I_n\)
6*. \(\varepsilon N\left(0_n,\sigma ^2I_n\right)\)
Здесь \(I_n\) — единичная матрица размера n на n, а \(0_n\) — нулевой вектор-столбец длины n.
Исследуем свойства МНК-оценок в случае выполнения указанных предпосылок. Для начала отметим, что вторая предпосылка гарантирует существование вектора МНК-оценок \(\widehat {\beta }=\left(X'X\right)^{-1}X'y\). Действительно, если матрица \(X\) имеет максимальный ранг k, то матрица \(X'X\) имеет ранг k. Следовательно, она является невырожденной, поэтому существует \(\left(X'X\right)^{-1}\).
Теперь вычислим математическое ожидание вектора МНК-оценок:
\begin{equation*} E\widehat {\beta }=E\left(\left(X'X\right)^{-1}X'y\right)=E\left(\left(X'X\right)^{-1}X'\left(X\beta +\varepsilon \right)\right)= \end{equation*}
\begin{equation*} E\left(\left(X'X\right)^{-1}X'X\beta +\left(X'X\right)^{-1}X'\varepsilon \right)= \end{equation*}
\begin{equation*} E\left(\beta +\left(X'X\right)^{-1}X'\varepsilon \right)= \end{equation*}
\begin{equation*} \beta +\left(X'X\right)^{-1}X'E\left(\varepsilon \right)=\beta +\left(X'X\right)^{-1}X'0_n=\beta \end{equation*}
Таким образом, мы показали, что МНК-оценка не смещена, то есть доказали первую часть теоремы Гаусса — Маркова для множественной регрессии. Здесь мы использовали предпосылку №1 (когда подставляли выражение \(X\beta +\varepsilon \) вместо вектора \(y\)), предпосылку №2 о том, что матрица регрессоров детерминированная (когда выносили её за знак математического ожидания) и предпосылку №3 о том, что математическое ожидание вектора случайных ошибок равно нулю.
Предпосылки 4-6 для несмещенности МНК-оценок не нужны. Однако они понадобятся нам для вычисления ковариационной матрицы вектора оценок коэффициентов \(V\left(\widehat {\beta }\right)\), то есть матрицы размера k на k, где на пересечении i-той строки и j-го столбца стоит ковариация \(\mathit{cov}\left(\widehat {\beta }_i,\widehat {\beta }_j\right)\).
Эта матрица пригодится нам для тестирования гипотез относительно коэффициентов модели. Например, на главной диагонали такой матрицы стоят дисперсии оценок коэффициентов \(\mathit{cov}\left(\widehat {\beta }_i,\widehat {\beta }_i\right)=\mathit{var}\left(\widehat {\beta }_i\right)\). Нам потребуется оценить их для тестирования незначимости соответствующих коэффициентов.
\begin{equation*} V\left(\widehat {\beta }\right)=V\left(\left(X'X\right)^{-1}X'y\right)=V\left(\left(X'X\right)^{-1}X'\left(X\beta +\varepsilon \right)\right)= \end{equation*}
\begin{equation*} V\left(\left(X'X\right)^{-1}X'X\beta +\left(X'X\right)^{-1}X'\varepsilon \right)= \end{equation*}
\begin{equation*} V\left(\beta +\left(X'X\right)^{-1}X'\varepsilon \right)= \end{equation*}
= {воспользуемся 3-им свойством ковариационной матрицы} =
\begin{equation*} V\left(\left(X'X\right)^{-1}X'\varepsilon \right)= \end{equation*}
= {воспользуемся 4-ым свойством ковариационной матрицы} =
\begin{equation*} \left(X'X\right)^{-1}X'V\left(\varepsilon \right)\left(\left(X'X\right)^{-1}X'\right)'= \end{equation*}
= {воспользуемся предпосылками №№4-5 КЛММР} =
\begin{equation*} \left(X'X\right)^{-1}X'\left(I_n \ast \sigma ^2\right)X\left(X'X\right)^{-1}= \end{equation*}
\begin{equation*} \left(X'X\right)^{-1}X'X\left(X'X\right)^{-1}\sigma ^2=\left(X'X\right)^{-1}\sigma ^2 \end{equation*}
Таким образом, ковариационная матрица вектора оценок коэффициентов имеет вид:
\begin{equation*} V\left(\widehat {\beta }\right)=\left(X'X\right)^{-1}\sigma ^2 \end{equation*}
Обратите внимание: чтобы это равенство было корректно, требуется выполнение всех предпосылок КЛММР с первой по пятую. Например, при нарушении предпосылки о постоянстве дисперсии случайной ошибки ковариационная матрица вектора оценок коэффициентов будет иметь другой вид (мы обсудим этот вариант в главе 5).
Непосредственно эту матрицу на практике вычислить мы не можем, так как не знаем величину дисперсии случайной ошибки \(\sigma ^2\). Однако мы можем получить несмещенную оценку этой матрицы, если заменим величину \(\sigma ^2\) на её несмещённую оценку
\begin{equation*} S^2=\frac 1{n-k} \ast \sum _{i=1}^ne_i^2. \end{equation*}
В этом случае мы получим оценку ковариационной матрицы вектора оценок коэффициентов:
\begin{equation*} \widehat V\left(\widehat {\beta }\right)=\left(X'X\right)^{-1}S^2 \end{equation*}
Это таблица размера k на k, где на пересечении i-той строки и j-го столбца стоит несмещенная оценка коэффициента ковариции между \(\widehat {\beta }_i\) и \(\widehat {\beta }_j\). А на главной диагонали этой матрицы в j-м столбце стоит несмещенная оценка дисперсии коэффициента \(\widehat {\beta }_j\) — \(\widehat {\mathit{var}}\left(\widehat {\beta }_j\right)\). Корень из этой дисперсии — это стандартная ошибка оценки коэффициента
\begin{equation*} \mathit{se}\left(\widehat {\beta }_j\right)=\sqrt{\widehat {\mathit{var}}\left(\widehat {\beta }_j\right)}. \end{equation*}
Далее мы увидим, что эта стандартная ошибка может использоваться, например, для тестирования незначимости соответствующего коэффициента.
Чтобы лучше разобраться во взаимосвязях между введенными нами векторами и матрицами, рассмотрим числовой пример.
Пример 3.1. Оценка параметров в модели множественной регрессии
Рассматривается классическая линейная модель множественной регрессии \(y_i=\beta _1+\beta _2x_i^{\left(2\right)}+\beta _3x_i^{\left(3\right)}+\varepsilon _i\). Имеются следующие данные о тысяче наблюдений соответствующих переменных:
\begin{equation*} \sum _{i=1}^{1000}x_i^{\left(2\right)}=1000,\sum _{i=1}^{1000}x_i^{\left(3\right)}=1000,\sum _{i=1}^{1000}x_i^{\left(2\right)}x_i^{\left(3\right)}=1000, \end{equation*}
\begin{equation*} \sum _{i=1}^{1000}\left(x_i^{\left(2\right)}\right)^2=3000,\sum _{i=1}^{1000}\left(x_i^{\left(3\right)}\right)^2=2000, \end{equation*}
\begin{equation*} \sum _{i=1}^{1000}x_i^{\left(2\right)}y_i=1000,\sum _{i=1}^{1000}x_i^{\left(3\right)}y_i=2000,\sum _{i=1}^{1000}y_i=0. \end{equation*}
(а) Вычислите МНК-оценки коэффициентов модели.
(б) Пусть также известно, что сумма квадратов остатков в оцененной регрессии оказалась равна 997 000. Вычислите оценку ковариационной матрицы вектора оценок коэффициентов. Укажите, чему равна, например, оценка коэффициента ковариации между \(\widehat {\beta _2}\) и \(\widehat {\beta _3}\).
(в) Выпишите оцененное уравнение регрессии в стандартной форме, указав в скобках под оценками коэффициентов соответствующие стандартные ошибки.
Решение:
(а) \(\widehat {\beta }=\left(X'X\right)^{-1}X'y=?\) \(\left(\begin{matrix}n&\sum _{i=1}^{1000}x_i^{\left(2\right)}&\sum _{i=1}^{1000}x_i^{\left(3\right)}\\\sum _{i=1}^{1000}x_i^{\left(2\right)}&\sum _{i=1}^{1000}\left(x_i^{\left(2\right)}\right)^2&\sum _{i=1}^{1000}x_i^{\left(2\right)}x_i^{\left(3\right)}\\\sum _{i=1}^{1000}x_i^{\left(3\right)}&\sum _{i=1}^{1000}x_i^{\left(2\right)}x_i^{\left(3\right)}&\sum _{i=1}^{1000}\left(x_i^{\left(3\right)}\right)^2\end{matrix}\right)^{-1} \ast \left(\begin{matrix}\sum _{i=1}^{1000}y_i\\\sum _{i=1}^{1000}x_i^{\left(2\right)}y_i\\\sum _{i=1}^{1000}x_i^{\left(3\right)}y_i\end{matrix}\right)=\)
\begin{equation*} \left(\begin{matrix}1000&1000&1000\\1000&3000&1000\\1000&1000&2000\end{matrix}\right)^{-1} \ast \left(\begin{matrix}0\\1000\\2000\end{matrix}\right)= \end{equation*}
\begin{equation*} \frac 1{1000}\left(\begin{matrix}2,5&-0,5&-1\\-0,5&0,5&0\\-1&0&1\end{matrix}\right) \ast \left(\begin{matrix}0\\1000\\2000\end{matrix}\right)=\left(\begin{matrix}-2,5\\0,5\\2\end{matrix}\right) \end{equation*}
(б) \(S^2=\frac{\sum e_i^2}{n-k}=\frac{997000}{1000-3}=1000\) .
Оценка ковариационной матрицы вектора оценок коэффициентов:
\begin{equation*} \widehat V\left(\widehat {\beta }\right)=\left(X'X\right)^{-1} \ast S^2=\left(\begin{matrix}2,5&-0,5&-1\\-0,5&0,5&0\\-1&0&1\end{matrix}\right) \end{equation*}
Оценка коэффициента ковариации между \(\widehat {\beta _2}\) и \(\widehat {\beta _3}\) равна нулю, так как именно это число стоит на пересечении второй строки и третьего столбца в нашей матрице.
(в) Стандартные ошибки оценок коэффициентов составляют \(\mathit{se}\left(\widehat {\beta _1}\right)=\sqrt{2,5}=1,58\), \(\mathit{se}\left(\widehat {\beta _2}\right)=\sqrt{0,5}=0,7\) 1, \(\mathit{se}\left(\widehat {\beta _3}\right)=\sqrt 1=1\).
Теперь можно записать оцененное уравнение в стандартной форме:
\begin{equation*} \widehat y_i=-\underset{\left(1,58\right)}{2,50}+\underset{\left(0,71\right)}{0,50}x_i^{\left(2\right)}+\underset{\left(1,00\right)}{2,00}x_i^{\left(3\right)} \end{equation*}
Этими результатами мы воспользуемся в примере 3.2 в параграфе, посвященном тестированию гипотез.