До сих пор мы умели строить доверительные интервалы для отдельных параметров и их линейных комбинаций. Например, для \(\beta _1\) или суммы \(\beta _1+5\beta _2\).
Иногда нужно построить доверительный интервал для нелинейного по параметрам выражения. Например, в полиномиальной модели \(y_i=\beta _1+\beta _2x_i+\beta _3x_i^2+\varepsilon _i\) нам может быть интересен доверительный интервал для вершины параболы, то есть для \(\frac{-\beta _2}{2\beta _3}\).
Асимптотическая теория позволяет решить эту задачу при помощи так называемого дельта-метода1. Опишем его.
Пусть у нас есть некоторая состоятельная и асимптотически нормальная оценка параметра, то есть:
\(\sqrt n\left(\widehat {\beta }-\beta \right)\underset{\rightarrow }{d}\xi ,\) где \(\xi N\left(0,\mathit{var}\left(\xi \right)\right).\)
Или, иными словами, величина \(\widehat {\beta }\) имеет асимптотически нормальное распределение с математическим ожиданием \(\beta \) и дисперсией \(\frac{v\mathit{ar}\left(\xi \right)} n\).
Какое распределение имеет функция от этой оценки \(g\left(\widehat {\beta }\right)\)?
Чтобы ответить на этот вопрос, вспомним разложение функции в ряд Тейлора в окрестности точки \(x_0\):
\begin{equation*} f\left(x\right)=f\left(x_0\right)+f'\left(x_0\right)\left(x-x_0\right)+o\left(x\right),\text{ }\text{ }x\rightarrow x_0 \end{equation*}
Применим это разложение к функции от нашей оценки параметра:
\begin{equation*} g\left(\widehat {\beta }\right)=g\left(\beta \right)+g'\left(\beta \right)\left(\widehat {\beta }-\beta \right)+o(\widehat {\beta }) \end{equation*}
\begin{equation*} g\left(\widehat {\beta }\right)-g\left(\beta \right)=g'\left(\beta \right)\left(\widehat {\beta }-\beta \right)+o(\widehat {\beta }) \end{equation*}
\begin{equation*} \sqrt n\left(g\left(\widehat {\beta }\right)-g\left(\beta \right)\right)=g'\left(\beta \right)\sqrt n\left(\widehat {\beta }-\beta \right)+\sqrt n\ast o(\widehat {\beta }) \end{equation*}
Так как \(\sqrt n\left(\widehat {\beta }-\beta \right)\underset{\rightarrow }{d}\xi ,\) где \(\xi N(0,\sigma ^2)\), то
\begin{equation*} \sqrt n\left(g\left(\widehat {\beta }\right)-g\left(\beta \right)\right)\underset{\rightarrow }{d}g'\left(\beta \right)\xi \end{equation*}
По свойству дисперсии
\begin{equation*} \mathit{var}\left(g'\left(\beta \right)\xi \right)=\left(g'\left(\beta \right)\right)^2\ast \mathit{var}\left(\xi \right) \end{equation*}
Следовательно,
\begin{equation*} \sqrt n\left(g\left(\widehat {\beta }\right)-g\left(\beta \right)\right)\underset{\rightarrow }{d}N\left(0,g'\left(\beta \right)^2\ast \mathit{var}\left(\xi \right)\right) \end{equation*}
Поэтому случайная величина \(g\left(\widehat {\beta }\right)\) будет иметь асимптотически нормальное распределение с математическим ожиданием \(g\left(\beta \right)\) и дисперсией \(g'\left(\beta \right)^2\ast \mathit{var}\left(\xi \right)/n\).
На практике величина \(\mathit{var}\left(\xi \right)\) неизвестна, но для целей построения асимптотического доверительного интервала можно заменить её оценкой.
Чтобы понять, как работает дельта-метод, рассмотрим модель парной регрессии \(y_i=\beta _1+\beta _2x_i+\varepsilon _i\), для которой выполнены все предпосылки линейной модели со стохастическим регрессором из параграфа 6.2. Построим доверительный интервал для функции от оценки коэффициента при переменной \(g\left(\widehat {\beta _2}\right)\).
В параграфе 6.4 мы доказали, что
\begin{equation*} \sqrt n\left(\widehat {\beta _2}-\beta _2\right)\underset{\rightarrow }{d}N\left(0,\frac{\mathit{var}(\left(x_i-\mu _x\right)\varepsilon _i)}{\left(\mathit{var}\left(x_i\right)\right)^2}\right) \end{equation*}
Следовательно, в обозначениях данного приложения:
\begin{equation*} \mathit{var}\left(\xi \right)=\frac{\mathit{var}(\left(x_i-\mu _x\right)\varepsilon _i)}{\left(\mathit{var}\left(x_i\right)\right)^2} \end{equation*}
Таким образом, случайная величина \(g\left(\widehat {\beta _2}\right)\) будет иметь асимптотически нормальное распределение с математическим ожиданием \(g\left(\beta _2\right)\) и дисперсией \(g'\frac{\left(\beta _2\right)^2\ast \mathit{var}(\left(x_i-\mu _x\right)\varepsilon _i)}{\left(\mathit{var}\left(x_i\right)\right)^2\ast n}\). Отметим, что дробь в последнем произведении — это просто дисперсия МНК-оценки коэффициента при переменной, так как в конце параграфа 6.4 мы доказали, что:
\begin{equation*} \mathit{var}\left(\widehat {\beta _2}\right)=\frac{\mathit{var}(\left(x_i-\mu _x\right)\varepsilon _i)}{\left(\mathit{var}\left(x_i\right)\right)^2\ast n}. \end{equation*}
Поэтому случайная величина \(g\left(\widehat {\beta _2}\right)\) будет иметь асимптотически нормальное распределение с математическим ожиданием \(g\left(\beta _2\right)\) и дисперсией \(g'\left(\beta _2\right)^2\ast \mathit{var}\left(\widehat {\beta _2}\right)\).
Заменим в последнем выражении неизвестные случайные величины их оценками и получим оценку дисперсии \(g\left(\widehat {\beta _2}\right)\), которая будет равна: \(g'\left(\widehat {\beta _2}\right)^2\ast \mathit{var}\left(\widehat {\beta _2}\right)\). Если извлечь из этой величины корень, то получим соответствующую стандартную ошибку:
\begin{equation*} \sqrt{g'\left(\widehat {\beta _2}\right)^2\ast \mathit{var}\left(\widehat {\beta _2}\right)}=g'\left(\widehat {\beta _2}\right)\ast \mathit{se}\left(\widehat {\beta _2}\right) \end{equation*}
95-процентный асимптотический доверительный интервал для величины \(g\left(\beta _2\right)\) будет иметь вид:
\begin{equation*} \left(g\left(\widehat {\beta _2}\right)-1,96\ast g'\left(\widehat {\beta _2}\right)\ast \mathit{se}\left(\widehat {\beta _2}\right),g\left(\widehat {\beta _2}\right)+1,96\ast g'\left(\widehat {\beta _2}\right)\ast \mathit{se}\left(\widehat {\beta _2}\right)\right). \end{equation*}
Аналогичным образом могут быть построены доверительные интервалы и для коэффициентов в модели множественной регрессии.
Пример 6.6. Применение дельта-метода для парной регрессии
Оценка параметров модели при помощи МНК позволила получить следующие результаты:
\begin{equation*} \widehat y_i=\underset{(0,2)}{2,3}+4,\underset{(0,1)}{0}x_i \end{equation*}
Постройте 95-процентный асимптотический доверительный интервал для величины \(\left(\beta _2\right)^3\).
Решение:
\begin{equation*} \left(g\left(\widehat {\beta _2}\right)-1,96\ast g'\left(\widehat {\beta _2}\right)\ast \mathit{se}\left(\widehat {\beta _2}\right),g\left(\widehat {\beta _2}\right)+1,96\ast g'\left(\widehat {\beta _2}\right)\ast \mathit{se}\left(\widehat {\beta _2}\right)\right) \end{equation*}
\begin{equation*} \left(\left(\widehat {\beta _2}\right)^3-1,96\ast 3\ast \left(\widehat {\beta _2}\right)^2\ast \mathit{se}\left(\widehat {\beta _2}\right),\left(\widehat {\beta _2}\right)^3+1,96\ast 3\ast \left(\widehat {\beta _2}\right)^2\ast \mathit{se}\left(\widehat {\beta _2}\right)\right) \end{equation*}
\begin{equation*} \left(4^3-1,96\ast 3\ast 4^2\ast 0,1,4^3+1,96\ast 3\ast 4^2\ast 0,1\right) \end{equation*}
\begin{equation*} \left(54,6,73,4\right) \end{equation*}
***
Полученный нами результат может быть обобщен и на многомерный случай:
Теорема о дельта-методе.
Если
1. \(\sqrt n\left(\widehat {\beta }-\beta \right)\underset{\rightarrow }{d}\xi \) (где \(\xi \) — случайный вектор),
2. \(g\left(x\right)\) — вектор непрерывно дифференцируемых функций в окрестности точки \(\beta \),
то
\begin{equation*} \sqrt n\left(g\left(\widehat {\beta }\right)-g\left(\beta \right)\right)\underset{\rightarrow }{d}G\left(\beta \right)^T\xi , \end{equation*}
\(G\left(x\right)\) — это матрица частных производных функций из вектора \(g\left(x\right)\). Число строк в этой матрице равно длине вектора \(\widehat {\beta }\), а число столбцов — вектора \(g\left(x\right)\).
В частности, если \(\xi N\left(\overrightarrow 0,V\right)\), то
\begin{equation*} \sqrt n\left(g\left(\widehat {\beta }\right)-g\left(\beta \right)\right)\underset{\rightarrow }{d}N\left(\overrightarrow 0,G\left(\beta \right)^T\mathit{VG}\left(\beta \right)\right) \end{equation*}
Примечание: здесь значок T означает транспонирование.
- В русскоязычной литературе он также иногда называется методом построения доверительного интервала со стабилизацией дисперсии. ↵