В этом параграфе мы докажем, что МНК-оценка коэффициента \(\beta _2\) имеет асимптотически нормальное распределение, если выполнены предпосылки линейной модели со стохастическим регрессором:
- Модель представима следующим образом:
\begin{equation*} y_i=\beta _1+\beta _2x_i+\varepsilon _i,i=1,2,{\dots},n, \end{equation*}
- Наблюдения \(\{\left(x_i,y_i\right),\text{ }i=1,{\dots},n\}\) независимы и одинаково распределены,
- \(x_i\) и \(y_i\) имеют ненулевые конечные четвертые моменты распределения \(E\left(x_i^4\right)< \infty ,\) \(E\left(y_i^4\right)< \infty \),
- Случайные ошибки имеют нулевое условное математическое ожидание при заданном \(x_i\): \(E\left(\varepsilon _i\left|x_i\right.\right)=0\).
Иными словами, мы докажем вторую часть теоремы, сформулированной в параграфе 6.2.
Для этого мы докажем, что
\begin{equation*} \sqrt n\left(\widehat {\beta _2}-\beta _2\right)\underset{\rightarrow }{d}N\left(0,\frac{\mathit{var}(\left(x_i-\mu _x\right)\varepsilon _i)}{\left(\mathit{var}\left(x_i\right)\right)^2}\right). \end{equation*}
Здесь \(\mu _x\) обозначает математическое ожидание регрессора, то есть \(E\left(x_i\right)=\mu _x\).
Как было показано во второй главе (см. равенство (2.2) в параграфе 2.4), оценка \(\widehat {\beta _2}\) может быть представлена следующим образом:
\begin{equation*} \widehat {\beta _2}=\beta _2+\frac{\frac 1 n\sum _{i=1}^n\left(x_i-\overline x\right)\varepsilon _i}{\frac 1 n\sum _{i=1}^n\left(x_i-\overline x\right)^2} \end{equation*}
С учетом этого представления имеем:
\begin{equation*} \sqrt n\left(\widehat {\beta _2}-\beta _2\right)=\sqrt n\left(\beta _2+\frac{\frac 1 n\sum _{i=1}^n\left(x_i-\overline x\right)\varepsilon _i}{\frac 1 n\sum _{i=1}^n\left(x_i-\overline x\right)^2}-\beta _2\right)=\frac{\sqrt{\frac 1 n}\sum _{i=1}^n\left(x_i-\overline x\right)\varepsilon _i}{\frac 1 n\sum _{i=1}^n\left(x_i-\overline x\right)^2}= \end{equation*}
\begin{equation*} =\frac{\sqrt{\frac 1 n}\sum _{i=1}^n\left(\left(x_i-\mu _x\right)-\left(\overline x-\mu _x\right)\right)\varepsilon _i}{\frac 1 n\sum _{i=1}^n\left(x_i-\overline x\right)^2}= \end{equation*}
\begin{equation*} =\frac{\sqrt{\frac 1 n}\sum _{i=1}^n(x_i-\mu _x)\varepsilon _i}{\frac 1 n\sum _{i=1}^n\left(x_i-\overline x\right)^2}-\frac{\left(\overline x-\mu _x\right)\sqrt{\frac 1 n}\sum _{i=1}^n\varepsilon _i}{\frac 1 n\sum _{i=1}^n\left(x_i-\overline x\right)^2} \end{equation*}
Для удобства дальнейших выкладок введем такие обозначения:
\begin{equation*} \sqrt{\frac 1 n}\sum _{i=1}^n(x_i-\mu _x)\varepsilon _i=A_n, \end{equation*}
\begin{equation*} \frac 1 n\sum _{i=1}^n\left(x_i-\overline x\right)^2=B_n, \end{equation*}
\begin{equation*} \left(\overline x-\mu _x\right)\sqrt{\frac 1 n}\sum _{i=1}^n\varepsilon _i=C_n. \end{equation*}
С учетом новых обозначений имеем:
\begin{equation*} \sqrt n\left(\widehat {\beta _2}-\beta _2\right)=\frac{A_n}{B_n}-\frac{C_n}{B_n} \end{equation*}
Рассмотрим последовательности случайных величин \(A_n,\text{ }B_n,\text{ }C_n\text{ }\) по отдельности.
Как мы обсудили в параграфе 6.3 в рамках наших предпосылок выборочная дисперсия регрессора сходится к своему теоретическому аналогу:
\begin{equation*} B_n=\frac 1 n\sum _{i=1}^n\left(x_i-\overline x\right)^2=\widehat {\mathit{var}}(x)\underset{\rightarrow }{p}\mathit{var}\left(x_i\right) \end{equation*}
Далее, чтобы выяснить, куда сходится последовательность \(C_n\), применим закон больших чисел к первому её множителю и центральную предельную теорему ко второму. Получим:
\begin{equation*} \left(\overline x-\mu _x\right)\underset{\rightarrow }{p}\left(\mu _x-\mu _x\right)=0 \end{equation*}
\begin{equation*} \sqrt{\frac 1 n}\sum _{i=1}^n\varepsilon _i\underset{\rightarrow }{d}N\left(0,\sigma _{\varepsilon }^2\right) \end{equation*}
Применим к произведению этих множителей теорему Слуцкого и увидим, что оно сходится по распределению к произведению нуля и нормальной случайной величины. То есть к нулю:
\begin{equation*} C_n=\left(\overline x-\mu _x\right)\ast \sqrt{\frac 1 n}\sum _{i=1}^n\varepsilon _i\underset{\rightarrow }{d}0 \end{equation*}
Осталось исследовать последовательность \(A_n\):
\begin{equation*} A_n=\sqrt{\frac 1 n}\sum _{i=1}^n(x_i-\mu _x)\varepsilon _i=\sqrt{\frac 1 n}\sum _{i=1}^nv_i \end{equation*}
Здесь \(v_i=\left(x_i-\mu _x\right)\varepsilon _i\)
Покажем, что \(A_n\) имеет асимптотически нормальное распределение. Для этого применим центральную предельную теорему. Чтобы её применение было корректным, следует убедиться в выполнении её условий. Для этого необходимо доказать, что дисперсия \(v_i\) конечна
\begin{equation*} \mathit{var}\left(v_i\right)=E\left(v_i-Ev_i\right)^2=E\left(v_i\right)^2=E\left(\left(x_i-\mu _x\right)\varepsilon _i\right)^2=E\left(\left(x_i-\mu _x\right)^2\varepsilon _i^2\right) \end{equation*}
По неравенству Коши-Буняковского.
\begin{equation*} E\left(\left(x_i-\mu _x\right)^2\varepsilon _i^2\right){\leq}\sqrt{E\left(x_i-\mu _x\right)^4E\varepsilon _i^4} \end{equation*}
По предпосылке №3:
\begin{equation*} \sqrt{E\left(x_i-\mu _x\right)^4E\varepsilon _i^4}< \infty . \end{equation*}
Строго говоря, в предпосылке №3 накладывается ограничение на моменты распределения переменных \(x_i\) и \(y_i\), а не переменной \(\varepsilon _i\). Однако в силу предпосылки №1 случайная величина \(\varepsilon _i\) линейно выражается через \(x_i\) и \(y_i\). Поэтому, раз данные переменные имеют конечные четвертые моменты распределения, то и для \(\varepsilon _i\) это тоже верно.
Итак, доказано, что \(\mathit{var}\left(v_i\right)< \infty \), поэтому к случайным величинам \(v_i\) применима центральная предельная теорема. В силу этой теоремы
\begin{equation*} A_n=\sqrt{\frac 1 n}\sum _{i=1}^n(x_i-\mu _x)\varepsilon _i=\sqrt{\frac 1 n}\sum _{i=1}^nv_i\underset{\rightarrow }{d}\delta \end{equation*}
Где случайная величина \(\delta \) имеет распределение \(N\left(0,\mathit{var}\left(v_i\right)\right)\).
Обобщая все сказанное выше и снова применяя теорему Слуцкого, получаем:
\begin{equation*} \sqrt n\left(\widehat {\beta _2}-\beta _2\right)=\frac{A_n}{B_n}-\frac{C_n}{B_n}\underset{\rightarrow }{d}\frac{\delta }{\mathit{var}\left(x_i\right)}-0, \end{equation*}
где случайная величина \(\delta \) имеет распределение \(N\left(0,\mathit{var}\left(v_i\right)\right)\). Следовательно, случайная величина \(\frac{\delta }{\mathit{var}\left(x_i\right)}\) имеет распределение \(N\left(0,\frac{\mathit{var}\left(v_i\right)}{\left(\mathit{var}\left(x_i\right)\right)^2}\right).\)
Таким образом, мы доказали, что
\begin{equation*} \sqrt n\left(\widehat {\beta _2}-\beta _2\right)\underset{\rightarrow }{d}N\left(0,\frac{\mathit{var}\left(v_i\right)}{\left(\mathit{var}\left(x_i\right)\right)^2}\right) \end{equation*}
Иными словами, величина \(\sqrt n\left(\widehat {\beta _2}-\beta _2\right)\) имеет асимтотически нормальное распределение с математическим ожиданием 0 и дисперсией
\begin{equation*} \frac{\mathit{var}\left(v_i\right)}{\left(\mathit{var}\left(x_i\right)\right)^2}. \end{equation*}
Следовательно, величина \(\left(\widehat {\beta _2}-\beta _2\right)\) имеет асимтотически нормальное распределение с математическим ожиданием 0 и дисперсией
\begin{equation*} \frac{\mathit{var}\left(v_i\right)}{n\left(\mathit{var}\left(x_i\right)\right)^2}. \end{equation*}
(Так как по свойству дисперсии, разделив случайную величину \(\sqrt n\left(\widehat {\beta _2}-\beta _2\right)\) на \(\sqrt n\), мы уменьшим её дисперсию в \(n\) раз.)
И наконец, величина \(\widehat {\beta _2}\) имеет асимтотически нормальное распределение с математическим ожиданием \(\beta _2\) и той же дисперсией
\begin{equation*} \frac{\mathit{var}\left(v_i\right)}{n\left(\mathit{var}\left(x_i\right)\right)^2}. \end{equation*}
(Так как добавив к случайной величине \(\left(\widehat {\beta _2}-\beta _2\right)\) константу \(\beta _2\), мы увеличим её матожидание на эту константу, оставив дисперсию неизменной.)
Осталось вспомнить, что \(v_i=\left(x_i-\mu _x\right)\varepsilon _i\), и записать, что тем самым МНК-оценка коэффициента при регрессоре в модели парной регрессии \(\widehat {\beta _2}\) имеет асимптотически нормальное распределение с математическим ожиданием \(\beta _2\) и дисперсией
\begin{equation*} \mathit{var}\left(\widehat {\beta _2}\right)=\frac{\mathit{var}\left(\left(x_i-\mu _x\right)\varepsilon _i\right)}{n\ast \left(\mathit{var}\left(x_i\right)\right)^2}. \end{equation*}
Что и требовалось доказать.
Последняя из формул даёт подсказку, как можно получить состоятельную оценку дисперсии случайной ошибки. Для этого нужно теоретические дисперсии в числителе и знаменателе указанной дроби заменить их оценками, а случайные ошибки заменить остатками регрессии. Например, вот так:
\begin{equation*} \widehat {\mathit{var}}\left(\widehat {\beta _2}\right)=\frac{\frac 1{n-2}\sum _{i=1}^n\left(x_i-\overline x\right)^2e_i^2}{n\ast \left(\widehat {\mathit{var}}\left(x\right)\right)^2} \end{equation*}
В приложении 6.А к этой главе показано, что такая оценка является состоятельной (даже в условиях гетероскедастичности) оценкой дисперсии \(\widehat {\beta _2}\).