Учебник+

5.3. Взвешенный метод наименьших квадратов

Рассмотренные в предыдущем параграфе стандартные ошибки позволяют успешно тестировать гипотезы и строить доверительные интервалы в условиях гетероскедастичности, однако не устраняют другого её негативного последствия, упомянутого в начале главы: неэффективности МНК-оценок. Для получения эффективных оценок параметров можно воспользоваться так называемым взвешенным МНК (weighted least squares, WLS). Чтобы понять, как он работает, рассмотрим несколько важных случаев.

Случай 1. Дисперсия случайных ошибок \(\mathit{var}{\left( \varepsilon_{i} \right) = \sigma_{i}^{2}}\) известна

Пусть рассматривается модель

\({y_{i} = {\beta_{1} + \beta_{2}}}{x_{i}^{(2)} + \ldots + \beta_{k}}{x_{i}^{(k)} + \varepsilon_{i}}\)

для которой выполнены все предпосылки классической линейной модели множественной регрессии за одним исключением: в данных наблюдается гетероскедастичность\(\mathit{var}{\left( \varepsilon_{i} \right) = \sigma_{i}^{2}}\).

В этом случае можно разделить правую и левую часть уравнения регрессии на \(\sigma_{i}\):

\(\frac{y_{i}}{\sigma_{i}} = \frac{{\beta_{1} + \beta_{2}}{x_{i}^{(2)} + \ldots + \beta_{k}}{x_{i}^{(k)} + \varepsilon_{i}}}{\sigma_{i}}\)

После этого сделаем простую замену переменных:

\({{\overset{\sim}{y}}_{i} = \frac{y_{i}}{\sigma_{i}}};{{\overset{\sim}{x}}_{i}^{(1)} = \frac{1}{\sigma_{i}}};{{\overset{\sim}{x}}_{i}^{(2)} = \frac{x_{i}^{(2)}}{\sigma_{i}}};\ldots;{{\overset{\sim}{x}}_{i}^{(k)} = \frac{x_{i}^{(k)}}{\sigma_{i}}};{{\overset{\sim}{\varepsilon}}_{i} = \frac{\varepsilon_{i}}{\sigma_{i}}}\)

В результате замены переменных переходим к новой модели:

\({{\overset{\sim}{y}}_{i} = \beta_{1}}{{\overset{\sim}{x}}_{i}^{(1)} + \beta_{2}}{{\overset{\sim}{x}}_{i}^{(2)} + \ldots + \beta_{k}}{{\overset{\sim}{x}}_{i}^{(k)} + {\overset{\sim}{\varepsilon}}_{i}}\)

Новая модель полезна тем, что в ней гетероскедастичности нет, так как дисперсия случайной ошибки является константой:

\(\mathit{var}{\left( {\overset{\sim}{\varepsilon}}_{i} \right) = \mathit{var}}{\left( \frac{\varepsilon_{i}}{\sigma_{i}} \right) = \frac{1}{\sigma_{i}^{2}}}\mathit{var}{\left( \varepsilon_{i} \right) = \frac{1}{\sigma_{i}^{2}}}{\sigma_{i}^{2} = 1 = \mathit{const}}\)

Следовательно, МНК, примененный к новой модели, будет давать не только несмещенный, но и эффективный результат. Таким образом, суть взвешенного МНК состоит в том, чтобы сделать правильную замену переменных так, чтобы применение к новой модели (с измененными переменными) обычного МНК приводило к получению эффективных оценок коэффициентов. После этого для интерпретации результатов можно вернуться к исходным переменным.

Чтобы понять, почему этот метод называется взвешенным МНК, сравним оптимизационные задачи в рамках обычного МНК и в рамках взвешенного МНК. В первом случае мы минимизируем сумму квадратов остатков:

\({\sum\limits_{i = 1}^{n}e_{i}^{2}}\rightarrow\underset{\widehat{\beta}}{\mathit{\min}}\)

В случае взвешенного МНК мы минимизируем сумму квадратов остатков новой модели:

\({{\sum\limits_{i = 1}^{n}\left( {\overset{\sim}{e}}_{i} \right)^{2}} = {\sum\limits_{i = 1}^{n}\left( \frac{e_{i}}{\sigma_{i}} \right)^{2}} = {\sum\limits_{i = 1}^{n}{\frac{1}{\sigma_{i}^{2}}e_{i}^{2}}}}\rightarrow\underset{\widehat{\beta}}{\mathit{\min}}\)

Получается, что мы минимизируем сумму квадратов остатков, но каждое слагаемое домножается на весовой коэффициент \(1/\sigma_{i}^{2}\), то есть мы минимизируем сумму квадратов остатков с определенными весами. Чем меньше дисперсия для i-го наблюдения (то есть чем меньше фактор случайности для этого наблюдения), тем больший вес это наблюдение имеет в той сумме, которую мы минимизируем. Тем самым наибольший вес мы придаем наиболее «надежным» наблюдениям. Это и позволяет улучшить качество получаемых оценок.

Обратите внимание, что даже если в исходной модели был свободный член, в новой модели в результате замены переменных константа пропадает (вместо неё возникает переменная \({\overset{\sim}{x}}_{i}^{(1)} = \frac{1}{\sigma_{i}}\)). Поэтому, в частности, привычный коэффициент \(R^{2}\) для такой модели неприменим и не может интерпретироваться стандартным образом (хотя, если его все-таки посчитать, он часто оказывается выше по сравнению c аналогичным коэффициентом для обычного МНК).

Разумеется, в реальности дисперсия случайной ошибки обычно не известна исследователю, что приводит нас к необходимости рассмотрения более реалистичного случая.

Случай 2. Дисперсия случайных ошибок \(\mathit{var}{\left( \varepsilon_{i} \right) = \sigma_{i}^{2}}\) не известна

В этой ситуации сначала следует получить оценки дисперсий \(\sigma_{i}^{2}\). Как правило, это делают так:

Сначала оценивают исходную модель при помощи обычного МНК и получают остатки регрессии \(e_{i}\).

Затем оценивают вспомогательную модель для остатков следующего вида:

\({e_{i}^{2} = {\gamma_{0} + \gamma_{1}}}{z_{i}^{(1)} + \ldots + \gamma_{p}}{z_{i}^{(p)} + u_{i}}\mathit{или}\ln{e_{i}^{2} = {\gamma_{0} + \gamma_{1}}}{z_{i}^{(1)} + \ldots + \gamma_{p}}{z_{i}^{(p)} + u_{i}}.\)

Здесь \(z_{i}^{(1)},z_{i}^{(2)},\ldots,z_{i}^{(p)}\) — набор переменных, которые предположительно влияют на дисперсию случайной ошибки. Обычно в качестве таких переменных берутся регрессоры из исходной модели, а также их квадраты.

\(\ln e_{i}^{2}\) иногда используется в левой части вспомогательного уравнения вместо \(e_{i}^{2}\) для того, чтобы предсказанное значение квадрата остатков никогда не было отрицательным (что было бы нелогично).

Оценив вспомогательное уравнение, получаем предсказанные значения квадратов остатков \({\widehat{e}}_{i}^{2}\). Их и используют, чтобы оценить дисперсию случайной ошибки:

\({{\widehat{\sigma}}_{i}^{2} = \widehat{e}}_{i}^{2}\)

После этого следует действовать аналогично первому случаю, только вместо дисперсии \(\sigma_{i}^{2}\) брать для замены переменных её оценку \({\widehat{\sigma}}_{i}^{2}\).

Пример 5.2. Оценка эффективности использования удобрений (продолжение)

Продолжите рассмотрение модели урожайности, которое мы начали в примере 5.1. Теперь оцените модель, используя взвешенный МНК. Сравните полученные результаты с результатами из примера 5.1.

Решение:

В качестве вспомогательного уравнения оценивалась следующая спецификация, включающая все регрессоры исходной модели, а также их квадраты:

\(\ln{e_{i}^{2} = {\gamma_{0} + \gamma_{1}}}\mathit{FUNG}{1_{i} + \gamma_{2}}\mathit{FUNG}{2_{i} + \gamma_{3}}\mathit{GIR}{B_{i} +}\)

\({+ \gamma_{4}}{\mathit{INSEC}_{i} + \gamma_{5}}{\mathit{LABOUR}_{i} + \gamma_{6}}\mathit{YDOB}{1_{i} + \gamma_{7}}\mathit{YDOB}{2_{i} +}\)

\({+ \gamma_{8}}\mathit{FUNG}{1_{i}^{2} + \gamma_{9}}\mathit{FUNG}{2_{i}^{2} + \gamma_{10}}\mathit{GIR}{B_{i}^{2} +}\)

\({+ \gamma_{11}}{\mathit{INSEC}_{i}^{2} + \gamma_{12}}{\mathit{LABOUR}_{i}^{2} + \gamma_{13}}\mathit{YDOB}{1_{i}^{2} + \gamma_{14}}\mathit{YDOB}{2_{i}^{2} + u_{i}}\)

В результате оценки этого уравнения были получены расчетные значения \(\widehat{\ln e_{i}^{2}}\)и, затем, \(\widehat{e_{i}^{2}}\). После этого был осуществлен переход к взвешенной модели, как это описано выше, при помощи деления обеих частей уравнения из примера 5.1 на \({\widehat{\sigma}}_{i} = \sqrt{\widehat{e_{i}^{2}}}\). Наконец, при помощи обычного МНК были оценены параметры последней модели. Результаты оценивания представлены ниже.

Модель 3: С поправкой на гетероскедастичность, использованы наблюдения 1-200

Зависимая переменная: PRODP

  Коэффициент Ст. ошибка t-статистика P-значение  
const -36,6762 6,17857 -5,9360 <0,00001 ***
FUNG1 0,0827277 0,0496946 1,6647 0,09760 *
FUNG2 0,114722 0,0519986 2,2063 0,02855 **
GIRB 0,0528989 0,0566521 0,9338 0,35161  
INSEC 0,0447185 0,0424588 1,0532 0,29356  
LABOUR 0,0411533 0,0026617 15,4613 <0,00001 ***
YDOB1 0,0412047 0,0199716 2,0632 0,04044 **
YDOB2 -0,0817552 0,0232718 -3,5131 0,00055 ***

Статистика, полученная по взвешенным данным:

Сумма кв. остатков 798,3622   Ст. ошибка модели 2,039151
F(7, 192) 169,9013   Р-значение (F) 1,05e-78

То же самое в виде уравнения:

\({{\widehat{\mathit{PRODP}}}_{i} = {{- \underset{(6,18)}{36,68}} + \underset{(0,05)}{0,08}}}{{\mathit{FUNG}1}_{i} + \underset{(0,05)}{0,11}}{{\mathit{FUNG}2}_{i} +}\)

\({+ \underset{(0,06)}{0,05}}{\mathit{GIRB}_{i} + \underset{(0,04)}{0,04}}{\mathit{INSEC}_{i} + \underset{(0,003)}{0,04}}{\mathit{LABOUR}_{i} +}\)

\({+ \underset{(0,02)}{0,04}}{{\mathit{YDOB}1}_{i} - \underset{(0,02)}{0,08}}{\mathit{YDOB}2}_{i}.\)

При оценивании модели с коррекцией на гетероскедастичность изменились коэффициенты, а их стандартные ошибки в целом стали меньше.

Напомним, что обычная гетероскедастичность не приводит к смещению оценок коэффициентов, поэтому неудивительно, что полученные результаты совсем немного отличаются от оценок коэффициентов, вычисленных на основе обычного МНК (см. числа в примере 5.1). Тем не менее, если мы корректно оценили дисперсию случайной ошибки, есть надежда, что новые результаты являются немного более точными.

* * *

В заключение данного параграфа рассмотрим еще один случай применения взвешенного МНК. Этот случай является более частным, чем случай 2, однако также может быть полезен в некоторых ситуациях.

Случай 3. Дисперсия случайной ошибки прямо пропорциональна квадрату единственной переменной:\(\mathit{var}{\left( \varepsilon_{i} \right) = \sigma_{i}^{2} = \sigma_{0}^{2}}{z_{i}^{2} > 0}\).

Подразумевается, что величина\(\sigma_{0}^{2}\) не известна, но это нам не помешает. Оказывается, столкнувшись с таким частным случаем гетероскедастичности, можно легко её устранить. Действительно, для этого достаточно поделить правую и левую части исходного уравнения на переменную \(z_{i}\):

\(\frac{y_{i}}{z_{i}} = \frac{{\beta_{1} + \beta_{2}}{x_{i}^{(2)} + \ldots + \beta_{k}}{x_{i}^{(k)} + \varepsilon_{i}}}{z_{i}}\)

Делаем замену переменных:

\(y_{i}^{*} = \frac{y_{i}}{z_{i}};\ x_{i}^{(1)*} = \frac{1}{z_{i}};\ x_{i}^{(2)*} = \frac{x_{i}^{(2)}}{z_{i}};\ {\varepsilon_{i}}^{*} = \frac{\varepsilon_{i}}{z_{i}}\)

В результате замены переменных переходим к новой модели со звездочками:

\(y_{i}^{*} = \beta_{1}x_{i}^{(1)*} + \beta_{2}x_{i}^{(2)*} + \ldots + \beta_{k}x_{i}^{(k)*} + {\varepsilon_{i}}^{*}\)

В новой модели гетероскедастичности нет, так как дисперсия случайной ошибки является константой:

\(\mathit{var}{\left( {\varepsilon_{i}}^{} \right) = \mathit{var}}{\left( \frac{\varepsilon_{i}}{z_{i}} \right) = \frac{1}{z_{i}^{2}}}\mathit{var}{\left( \varepsilon_{i} \right) = \frac{1}{z_{i}^{2}}}\sigma_{0}^{2}{z_{i}^{2} = \sigma_{0}^{2} = \mathit{const}}\)

Следовательно, для оценки параметров новой модели можно использовать обычный МНК, и оценки коэффициентов будут эффективными.

Какой же метод устранения негативных последствий гетероскедастичности лучше использовать: состоятельные в условиях гетероскедастичности стандартные ошибки или взвешенный МНК?

Казалось бы, взвешенный МНК предпочтительней, потому что он дает возможность получить эффективные оценки коэффициентов, то есть в ситуации гетероскедастичности он должен быть точнее обычного МНК. Однако это верно только при условии, что мы правильно специфицировали уравнение для дисперсии случайной ошибки (то есть правильно поняли, как именно устроена гетероскедастичность в анализируемой модели). К сожалению, на практике это может быть проблематично. Кроме того, при наличии достаточно большой выборки обычный МНК и так дает удовлетворительные результаты. Поэтому в прикладных эконометрических работах гораздо чаще применяется обычный МНК в сочетании с робастными стандартными ошибками.