В предыдущих параграфах данной главы мы рассматривали случай отказа от одной предпосылки классической линейной модели множественной регрессии. Теперь мы расширим наш анализ и откажемся сразу от двух предпосылок: от предпосылок №№4-5 (о постоянстве дисперсии случайной ошибки и о некоррелированности разных случайных ошибок между собой). В техническом смысле этот параграф несколько сложнее предыдущих (в частности, тут более широко используется линейная алгебра). Поэтому, если вы заинтересованы в том, чтобы разобраться только в прикладных аспектах множественной регрессии, а в соответствующих вычислениях готовы полностью довериться эконометрическому пакету, можете его пропустить.
Отказ от указанных двух предпосылок означает, что ковариационная матрица вектора случайных ошибок (таблица, в которой записаны все ковариации между \(\varepsilon_{i}\) и \(\varepsilon_{j}\), см. параграф 3.3) больше не является диагональной матрицей с одинаковыми числами на главной диагонали, как это было в первоначальной классической модели. Теперь ковариационная матрица вектора случайных ошибок Ω — это произвольная ковариационная матрица (разумеется, так как это не совсем любая матрица, а именно ковариационная матрица, то по своим свойствам она является симметричной и положительно определенной).
Модель, в которой сохранены только первые три предпосылки классической линейной модели множественной регрессии, называется обобщенной линейной моделью множественной регрессии.
Проанализируем, к каким последствиям приводит отказ от предпосылок №№4-5.
Во-первых, полученная обычным методом наименьших квадратов оценка \({\widehat{\beta} = \left( {X^{'}X} \right)^{- 1}}X'y\) остается несмещенной (это свойство мы доказывали, опираясь как раз лишь на первые три предпосылки).
Во-вторых, МНК-оценки хоть и остаются несмещенными, но больше не являются эффективными.
В-третьих, если мы оцениваем ковариационную матрицу вектора оценок коэффициентов (которая нужна для тестирования всевозможных гипотез), то оценка \(\widehat{V}{{(\widehat{\beta})} = \left( {X^{'}X} \right)^{- 1}}S^{2}\) смещена и больше не является корректной.
Чтобы убедиться в этом, посчитаем ковариационную матрицу от \(\widehat{\beta}\) в условиях обобщенной модели (при этом мы используем свойства ковариационной матрицы, перечисленные в параграфе 3.3):
\(V{\left( \widehat{\beta} \right) = V}{\left\lbrack {{({X^{'}X})}^{- 1}X'y} \right\rbrack = V}{\left\lbrack {{({X^{'}X})}^{- 1}X'{({\mathit{X\beta} + \varepsilon})}} \right\rbrack =}\)
\({}V{\left\lbrack {{({{({X^{'}X})}^{- 1}X'})}\varepsilon} \right\rbrack = \left( {X^{'}X} \right)^{- 1}}X^{'}V\lbrack\varepsilon\rbrack{\left( {\left( {X^{'}X} \right)^{- 1}X^{'}} \right)^{'} = {({X^{'}X})}^{- 1}}X^{'}\Omega{\left( {\left( {X^{'}X} \right)^{- 1}X^{'}} \right)^{'} = {({X^{'}X})}^{- 1}}X^{'}\Omega X{({X^{'}X})}^{- 1}\)
Так выглядит ковариационная матрица вектора МНК-оценок в обобщенной модели. Ясно, что она не может быть корректно оценена стандартной оценкой \(\left( {X^{'}X} \right)^{- 1}S^{2}\). Следовательно, прежней формулой пользоваться нельзя: если мы будем использовать стандартные ошибки, рассчитанные по обычной формуле (предполагая выполнение предпосылок классической линейной модели), то получим некорректные стандартные ошибки, что может привести нас к неверным выводам по поводу значимости или незначимости тех или иных регрессоров.
Таким образом, последствия перехода к обобщенной модели аналогичны тем, что мы наблюдали для случая гетероскедастичности. Это неудивительно, так как гетероскедастичность — частный случай обобщенной линейной модели.
Поэтому для получения эффективных оценок обычный МНК не подойдет, и придется воспользоваться альтернативным методом — обобщенным МНК (ОМНК, generalized least squares, GLS). Формулу для расчета оценок коэффициентов при помощи ОМНК позволяет получить специальная теорема.
Теорема Айткена
Если
- модель линейна по параметрам и правильно специфицирована
\({y = {\mathit{X\beta} + \varepsilon}},\) - матрица Х — детерминированная матрица, имеющая максимальный ранг k,
- \(E{(\varepsilon) = \overrightarrow{0}}\),
- \(V{(\varepsilon) = \Omega}\) — произвольная положительно определенная и симметричная матрица,
то оценка вектора коэффициентов модели \({{\widehat{\beta}}^{} = {({X'\Omega^{- 1}X})}^{- 1}}X'\Omega^{- 1}y\) является:
- несмещенной
- и эффективной, то есть имеет наименьшую ковариационную матрицу в классе всех несмещенных и линейных по y оценок.
Предпосылки теоремы Айткена — это предпосылки обобщенной линейной модели множественной регрессии. Из них первые три — стандартные, как в классической модели, а четвертая ничего особого не требует (у вектора случайных ошибок может быть любая ковариационная матрица без каких-либо дополнительных специальных ограничений). Сама теорема Айткена является аналогом теоремы Гаусса — Маркова для случая обобщенной модели.
Докажем эту теорему.
Из линейной алгебры известно: если матрица \(\Omega\) симметрична и положительно определена, то существует такая матрица P, что
\(P'\bullet{P = \Omega^{- 1}}\) ⇔ \({P^{'} = \Omega^{- 1}}\bullet P^{- 1}\)
А раз такое представление возможно, то воспользуемся им для замены переменных. От вектора значений зависимой переменной \(y\), перейдем к вектору \(P\bullet y\), обозначив его как вектор \({y^{} = P}\bullet y\). Аналогичным образом введем матрицу \({X^{} = P}\bullet X\) и вектор ошибок \({\varepsilon^{} = P}\bullet\varepsilon\).
Вернемся к исходной модели, параметры которой нас и интересуют:
\({y = X}{\beta + \varepsilon}\)
Умножим левую и правую части равенства на матрицу \(P\):
\({\mathit{Py} = \mathit{PX}}{\beta + \mathit{P\varepsilon}}\)
С учетом новых обозначений это равенство можно записать так:
\({y^{} = X^{}}{\beta + \varepsilon^{}}\)
Для новой модели (со звездочками) выполняются предпосылки теоремы Гаусса-Маркова. Чтобы в этом убедиться, достаточно показать, что математическое ожидание вектора случайных ошибок является нулевым вектором (третья предпосылка классической модели) и ковариационная матрица вектора случайных ошибок является диагональной с одинаковыми элементами на главной диагонали (четвертая и пятая предпосылки).
Для этого вычислим математическое ожидание нового вектора ошибок:
\(E{\left( \varepsilon^{} \right) = E}{\left( \mathit{P\varepsilon} \right) = P}\bullet E{(\varepsilon) = P}\bullet{\overrightarrow{0} = \overrightarrow{0}}\)
Теперь вычислим ковариационную матрицу вектора \(\varepsilon^{}\):
\(V{\left( \varepsilon^{} \right) = V}{\left( {P\bullet\varepsilon} \right) = P}\bullet V(\varepsilon)\bullet{P^{'} = P}\bullet\Omega\bullet{P^{'} = P}\bullet\Omega\bullet\Omega^{- 1}\bullet{P^{- 1} = I_{n}}\)
Здесь \(I_{n}\) обозначает единичную матрицу размера n на n.
Следовательно, для модели со звездочками выполняются все предпосылки теоремы Гаусса — Маркова. Поэтому получить несмещенную и эффективную оценку вектора коэффициентов можно, применив к этой измененной модели обычный МНК:
\({{\widehat{\beta}}^{} = \left( {{X^{}}^{'}X^{}} \right)^{- 1}}{X^{}}^{'}y^{}\)
Теперь осталось вернуться к исходным обозначениям, чтобы получить формулу несмещенной и эффективной оценки интересующего нас вектора в терминах обобщенной модели:
\({{\widehat{\beta}}^{} = \left( {{X^{}}^{'}X^{}} \right)^{- 1}}{X^{}}^{'}{y^{} = \left( {{(\mathit{PX})}^{'}\mathit{PX}} \right)^{- 1}}\left( \mathit{PX} \right)^{'}{\mathit{Py} = \left( {X'P'\mathit{PX}} \right)^{- 1}}X^{'}P^{'}{\mathit{Py} =}\left( {X'\Omega^{- 1}P^{- 1}\mathit{PX}} \right)^{- 1}X'\Omega^{- 1}P^{- 1}{\mathit{Py} = {({X'\Omega^{- 1}X})}^{- 1}}X'\Omega^{- 1}y\)
Что и требовалось доказать.
Взвешенный МНК, который мы обсуждали ранее, — это частный вариант обобщенного МНК (для случая, когда только предпосылка №4 нарушена, а предпосылка №5 сохраняется).
Как и при использовании взвешенного МНК в ситуации применения ОМНК коэффициент R-квадрат не обязан лежать между нулем и единицей и не может быть интерпретирован стандартным образом.
Слабая сторона ОМНК состоит в том, что для его реализации нужно знать не только матрицу регрессоров X с вектором значений зависимой переменной y, но и ковариационную матрицу вектора случайных ошибок \(\Omega\). На практике, однако, эта матрица почти никогда не известна. Поэтому в прикладных исследованиях практически всегда вместо ОМНК используется, так называемый, доступный ОМНК (его ещё называют практически реализуемый ОМНК, feasible GLS). Идея доступного ОМНК состоит в том, что следует сначала оценить матрицу \(\Omega\) (традиционно обозначим её оценку \(\widehat{\Omega}\)), а уже затем получить оценку вектора коэффициентов модели, заменив в формуле ОМНК \(\Omega\) на \(\widehat{\Omega}\):
\({{\widehat{\beta}}^{} = {({X'{\widehat{\Omega}}^{- 1}X})}^{- 1}}X'{\widehat{\Omega}}^{- 1}y.\)
Применение этого подхода осложняется тем, что \(\widehat{\Omega}\) не может быть оценена непосредственно без дополнительных предпосылок, так как в ней слишком много неизвестных элементов. Действительно, в матрице размер \(n\) на \(n\) всего \(n^{2}\) элементов, и оценить их все, имея всего \(n\) наблюдений, представляется слишком амбициозной задачей. Даже если воспользоваться тем, что матрица \(\Omega\) является симметричной, в результате чего достаточно оценить только элементы на главной диагонали и над ней, мы все равно столкнемся с необходимостью оценивать \(\left( {n + 1} \right){n/2}\) элементов, что всегда больше числа доступных нам наблюдений.
Поэтому процедура доступного ОМНК устроена так:
- Делаются некоторые предпосылки по поводу того, как устроена ковариационная матрица вектора случайных ошибок \(\Omega\). На основе этих предпосылок оценивается матрица \(\widehat{\Omega}\).
- После этого по формуле \({({X'{\widehat{\Omega}}^{- 1}X})}^{- 1}X'{\widehat{\Omega}}^{- 1}y\) вычисляется вектор оценок коэффициентов модели.
Из сказанного следует, что доступный ОМНК может быть реализован только в ситуации, когда есть разумные основания сформулировать те или иные предпосылки по поводу матрицы \(\widehat{\Omega}\). Рассмотрим некоторые примеры таких ситуаций.
Пример 5.4. Автокорреляция и ОМНК-оценка
Рассмотрим линейную модель \({y = X}{\beta + \varepsilon}\), для которой дисперсия случайных ошибок постоянна, однако наблюдается так называемая автокорреляция первого порядка:
\(\varepsilon_{i} = {{\rho \ast \varepsilon_{i - 1}} + u_{i}}\)
Здесь \(u_{i}\) — независимые и одинаково распределенные случайные величины с дисперсией \(\sigma_{u}^{2}\), а \(\rho\in{({{- 1},1})}\) — коэффициент автокорреляции.
(а) Найдите ковариационную матрицу вектора случайных ошибок для представленной модели.
(б) Запишите в явном виде формулу ОМНК-оценки вектора коэффициентов модели, предполагая, что коэффициент \(\rho\) известен.
Примечание: в отличие от гетероскедастичности, автокорреляция случайных ошибок обычно наблюдается не в пространственных данных, а во временных рядах. Для временных рядов вполне естественна подобная связь будущих случайных ошибок с предыдущими их значениями.
Решение:
(а) Используя условие о постоянстве дисперсии случайной ошибки, то есть условие \(\mathit{var}{{(\varepsilon_{i})} = \mathit{var}}{(\varepsilon_{i - 1})}\), найдем эту дисперсию:
\(\mathit{var}{{(\varepsilon_{i})} = \mathit{var}}{({{\rho \ast \varepsilon_{i - 1}} + u_{i}})}\)
\(\mathit{var}{{(\varepsilon_{i})} = \rho^{2}}\mathit{var}{{(\varepsilon_{i - 1})} + \mathit{var}}{(u_{i})}\)
\(\mathit{var}{{(\varepsilon_{i})} = \rho^{2}}\mathit{var}{{(\varepsilon_{i})} + \sigma_{u}^{2}}\)
\(\mathit{var}{\left( \varepsilon_{i} \right) = \frac{\sigma_{u}^{2}}{1 - \rho^{2}}}.\)
Тем самым мы нашли элементы, которые будут стоять на главной диагонали ковариационной матрицы вектора случайных ошибок. Теперь найдем элементы, которые будут находиться непосредственно на соседних с главной диагональю клетках:
\(\mathit{cov}{\left( {\varepsilon_{i},\varepsilon_{i - 1}} \right) = \mathit{cov}}{\left( {{{\rho \ast \varepsilon_{i - 1}} + u_{i}},\varepsilon_{i - 1}} \right) = {\rho \ast \mathit{cov}}}{\left( {\varepsilon_{i - 1},\varepsilon_{i - 1}} \right) + \mathit{cov}}{\left( {u_{i},\varepsilon_{i - 1}} \right) = {\rho \ast \mathit{var}}}{{\left( \varepsilon_{i - 1} \right) + 0} = \frac{\rho \ast \sigma_{u}^{2}}{1 - \rho^{2}}}\)
По аналогии легко убедиться, что
\(\mathit{cov}{\left( {\varepsilon_{i},\varepsilon_{i - k}} \right) = \frac{\rho^{k} \ast \sigma_{u}^{2}}{1 - \rho^{2}} = \frac{\sigma_{u}^{2} \ast \rho^{k}}{1 - \rho^{2}}}.\)
Следовательно, ковариационная матрица вектора случайных ошибок имеет вид:
\({\Omega = \frac{\sigma_{u}^{2}}{1 - \rho^{2}}}\begin{pmatrix} \begin{matrix} 1 & \rho \\ \rho & 1 \\ \end{matrix} & \ldots & \begin{matrix} \rho^{n - 2} & \rho^{n - 1} \\ \rho^{n - 3} & \rho^{n - 2} \\ \end{matrix} \\ \ldots & \ldots & \ldots \\ \begin{matrix} \rho^{n - 2} & \rho^{n - 3} \\ \rho^{n - 1} & \rho^{n - 2} \\ \end{matrix} & \ldots & \begin{matrix} 1 & \rho \\ \rho & 1 \\ \end{matrix} \\ \end{pmatrix}\)
(б) Вектор ОМНК-оценок коэффициентов имеет вид:
\({{\widehat{\beta}}^{} = {({X'\Omega^{- 1}X})}^{- 1}}X^{'}\Omega^{- 1}{y =}{\left( {X'\begin{pmatrix} \begin{matrix} 1 & \rho \\ \rho & 1 \\ \end{matrix} & \ldots & \begin{matrix} \rho^{n - 2} & \rho^{n - 1} \\ \rho^{n - 3} & \rho^{n - 2} \\ \end{matrix} \\ \ldots & \ldots & \ldots \\ \begin{matrix} \rho^{n - 2} & \rho^{n - 3} \\ \rho^{n - 1} & \rho^{n - 2} \\ \end{matrix} & \ldots & \begin{matrix} 1 & \rho \\ \rho & 1 \\ \end{matrix} \\ \end{pmatrix}^{- 1}X} \right)^{- 1} \ast}X'\begin{pmatrix} \begin{matrix} 1 & \rho \\ \rho & 1 \\ \end{matrix} & \ldots & \begin{matrix} \rho^{n - 2} & \rho^{n - 1} \\ \rho^{n - 3} & \rho^{n - 2} \\ \end{matrix} \\ \ldots & \ldots & \ldots \\ \begin{matrix} \rho^{n - 2} & \rho^{n - 3} \\ \rho^{n - 1} & \rho^{n - 2} \\ \end{matrix} & \ldots & \begin{matrix} 1 & \rho \\ \rho & 1 \\ \end{matrix} \\ \end{pmatrix}^{- 1}y\)
Обратите внимание, что дробь \(\frac{\sigma_{u}^{2}}{1 - \rho^{2}}\) при расчете представленной оценки сокращается. Поэтому для вычисления оценки знать величину \(\sigma_{u}^{2}\) не нужно.
Примечание: если коэффициент автокорреляции \(\rho\) неизвестен, то его можно легко оценить. Например, для этого можно применить обычный МНК к исходной регрессии, получить вектор остатков и оценить регрессию \({\widehat{e}}_{i} = {\widehat{\rho} \ast e_{i - 1}}\). Полученной оценки \(\widehat{\rho}\) достаточно, чтобы вычислить ОМНК-оценку вектора параметров модели. Тем самым в представленном примере для применения доступного ОМНК достаточно оценить всего один параметр ковариационной матрицы вектора оценок коэффициентов.
Пример 5.5. Гетероскедастичность и ОМНК-оценка
Рассмотрим линейную модель \({y = X}{\beta + \varepsilon}\), для которой выполнены все предпосылки классической линейной модели множественной регрессии за одним исключением: дисперсия случайной ошибки прямо пропорциональна квадрату некоторой известной переменной
\(\mathit{var}{\left( \varepsilon_{i} \right) = \sigma_{i}^{2} = \sigma_{0}^{2}}{z_{i}^{2} > 0}.\)
(а) Найдите ковариационную матрицу вектора случайных ошибок для представленной модели.
(б) Запишите в явном виде формулу ОМНК-оценки вектора коэффициентов модели.
Решение:
(а) Так как в этом случае нарушена только четвертая предпосылка классической линейной модели множественной регрессии, то вне главной диагонали ковариационной матрицы вектора случайных ошибок будут стоять нули.
\(\Omega = \begin{pmatrix} \begin{matrix} {\sigma_{0}^{2}z_{1}^{2}} & 0 \\ 0 & {\sigma_{0}^{2}z_{2}^{2}} \\ \end{matrix} & \begin{matrix} \ldots & 0 \\ \ldots & 0 \\ \end{matrix} \\ \begin{matrix} \ldots & \ldots \\ 0 & 0 \\ \end{matrix} & \begin{matrix} \ldots & \ldots \\ \ldots & {\sigma_{0}^{2}z_{n}^{2}} \\ \end{matrix} \\ \end{pmatrix}\)
(б) Обратите внимание, что при подстановке в общую формулу для ОМНК-оценки величина \(\sigma_{0}^{2}\) сокращается, следовательно, для оценки вектора коэффициентов знать её не нужно:
\({{\widehat{\beta}}^{} = {({X'\Omega^{- 1}X})}^{- 1}}X^{'}\Omega^{- 1}{y =}\left( {X'\begin{pmatrix} \begin{matrix} z_{1}^{2} & 0 \\ 0 & z_{2}^{2} \\ \end{matrix} & \begin{matrix} \ldots & 0 \\ \ldots & 0 \\ \end{matrix} \\ \begin{matrix} \ldots & \ldots \\ 0 & 0 \\ \end{matrix} & \begin{matrix} \ldots & \ldots \\ \ldots & z_{n}^{2} \\ \end{matrix} \\ \end{pmatrix}^{- 1}X} \right)^{- 1}X'\begin{pmatrix} \begin{matrix} z_{1}^{2} & 0 \\ 0 & z_{2}^{2} \\ \end{matrix} & \begin{matrix} \ldots & 0 \\ \ldots & 0 \\ \end{matrix} \\ \begin{matrix} \ldots & \ldots \\ 0 & 0 \\ \end{matrix} & \begin{matrix} \ldots & \ldots \\ \ldots & z_{n}^{2} \\ \end{matrix} \\ \end{pmatrix}^{- 1}y\)
* * *
Ещё одна важная ситуация, когда с успехом может быть применен доступный ОМНК — это модель со случайными эффектами, которую мы рассмотрим в главе, посвященной панельным данным.