Этот параграф содержит ряд формальных доказательств. Читатель, не заинтересованный в технических деталях, может сразу перейти к следующему параграфу, где полученные здесь результаты используются для тестирования гипотез и построения доверительных интервалов.
Математическое ожидание и дисперсия МНК-оценок. Прежде чем непосредственно доказать сформулированную теорему, сконцентрируемся на анализе ряда важных свойств МНК-оценок. Для этого нам пригодится следующий факт: \(\Sigma \left(x_i-\overline x\right)=0\). Действительно:
\begin{equation*} \Sigma \left(x_i-\overline x\right)=\Sigma x_i-\Sigma \overline x=\Sigma x_i-n\overline x=\Sigma x_i-n\frac{\Sigma x_i} n=0 \end{equation*}
Перепишем формулу для оценки \(\widehat {\beta _2}\), используя это соображение (мы применяем его в самом последнем переходе):
\begin{equation*} \widehat {\beta _2}=\frac{\widehat {\mathit{\text{с}ov}}\left(x,y\right)}{\widehat {\mathit{var}}\left(x\right)}=\frac{\frac 1 n\Sigma \left(x_i-\overline x\right)\left(y_i-\overline y\right)}{\frac 1 n\Sigma \left(x_i-\overline x\right)^2}= \end{equation*}
\begin{equation*} \frac{\Sigma \left(x_i-\overline x\right)\left(\beta _1+\beta _2x_i+\varepsilon _i-\beta _1-\beta _2\overline x-\overline{\varepsilon }\right)}{\Sigma \left(x_i-\overline x\right)^2}= \end{equation*}
\begin{equation*} \frac{\Sigma \left(x_i-\overline x\right)\left(\beta _2\left(x_i-\overline x\right)+\varepsilon _i-\overline{\varepsilon }\right)}{\Sigma \left(x_i-\overline x\right)^2}= \end{equation*}
\begin{equation*} \frac{\beta _2\Sigma \left(x_i-\overline x\right)^2+\Sigma \left(x_i-\overline x\right)\left(\varepsilon _i-\overline{\varepsilon }\right)}{\Sigma \left(x_i-\overline x\right)^2}= \end{equation*}
\begin{equation*} \beta _2+\frac{\Sigma \left(x_i-\overline x\right)\varepsilon _i-\overline{\varepsilon }{\ast}\Sigma \left(x_i-\overline x\right)}{\Sigma \left(x_i-\overline x\right)^2}=\beta _2+\frac{\Sigma \left(x_i-\overline x\right)\varepsilon _i-\overline{\varepsilon }{\ast}0}{\Sigma \left(x_i-\overline x\right)^2} \end{equation*}
Таким образом, мы получили следующее представление для МНК-оценки:
\begin{equation*} \widehat {\beta _2}=\beta _2+\frac{\Sigma \left(x_i-\overline x\right)\varepsilon _i}{\Sigma \left(x_i-\overline x\right)^2}\left(2.2\right) \end{equation*}
Еще раз подчеркнем, что МНК-оценка является случайной величиной (хотя для каждой конкретной реализации данных это будет какое-то конкретное число). Полученное представление дает нам возможность удобно исследовать свойства этой случайной величины, в частности, вычислить её математическое ожидание и дисперсию.
Начнем с математического ожидания:
\begin{equation*} E\left(\widehat {\beta _2}\right)=E\left(\beta _2+\frac{\Sigma \left(x_i-\overline x\right)\varepsilon _i}{\Sigma \left(x_i-\overline x\right)^2}\right) \end{equation*}
\(\beta _2\) — это число (неслучайная величина), которое по свойству математического ожидания можно вынести из-под знака математического ожидания. \(x_i-\overline x\) – тоже неслучайные величины (предпосылка №2), с которыми можно сделать то же самое. В результате под знаком математического ожидания осталось только \(\varepsilon _i\). Но в силу предпосылки №3 \(E\varepsilon _i=0\), следовательно:
\begin{equation*} E\left(\widehat {\beta _2}\right)=\beta _2+\Sigma \left(x_i-\overline x\right)\frac{E\left(\varepsilon_i \right)}{\Sigma \left(x_i-\overline x\right)^2}=\beta _2+\frac{\Sigma \left(x_i-\overline x\right)0}{\Sigma \left(x_i-\overline x\right)^2}=\beta _2 \end{equation*}
Мы выяснили, что \(E\left(\widehat {\beta _2}\right)=\beta _2\), то есть доказали несмещенность оценки \(\widehat {\beta _2}\). По аналогии можно доказать то, что \(\widehat {\beta _1}\) также является несмещенной оценкой. Стоит отметить, что в этих рассуждениях нам потребовались не все предпосылки теоремы Гаусса-Маркова. Были использованы первая предпосылка о спецификации модели, вторая предпосылка о том, что \(x_i\) — детерминированные (неслучайные) величины, и третья предпосылка о математическом ожидании случайной ошибки.
Для вычисления дисперсии \(\widehat {\beta _2}\) нам потребуются дополнительно предпосылки №4 и №5. Также придется вспомнить некоторые свойства дисперсии: добавление константы к случайной величине на дисперсию не влияет, значит, справедливо следующее:
\begin{equation*} \mathit{var}\left(\widehat {\beta }_2\right)=\mathit{var}\left(\beta _2+\frac{\Sigma \left(x_i-\overline x\right)\varepsilon _i}{\Sigma \left(x_i-\overline x\right)^2}\right)=\mathit{var}\left(\frac{\Sigma \left(x_i-\overline x\right)\varepsilon _i}{\Sigma \left(x_i-\overline x\right)^2}\right) \end{equation*}
Дисперсия константы, умноженной на случайную величину, равна квадрату константы, умноженному на дисперсию этой случайной величины. Используем это свойство и вынесем знаменатель из-под знака дисперсии как константу:
\begin{equation*} \mathit{var}\left(\widehat {\beta _2}\right)=\frac 1{\left(\Sigma \left(x_i-\overline x\right)^2\right)^2}{\ast}\mathit{var}\left(\Sigma \left(x_i-\overline x\right)\varepsilon _i\right) \end{equation*}
Остается дисперсия суммы \(\Sigma \left(x_i-\overline x\right)\varepsilon _i\). В случае независимости слагаемых дисперсия суммы равняется сумме дисперсий. В силу пятой предпосылки о независимости случайных ошибок, соответствующих разным наблюдениям, можно утверждать, что слагаемые действительно независимы и поэтому:
\begin{equation*} \mathit{var}\left(\widehat {\beta _2}\right)=\frac 1{\left(\Sigma \left(x_i-\overline x\right)^2\right)^2}{\ast}\Sigma \mathit{var}\left(\left(x_i-\overline x\right)\varepsilon _i\right) \end{equation*}
Следующий шаг — вынести \(\left(x_i-\overline x\right)\) из-под знака дисперсии, что законно, так как в силу второй предпосылки \(x_i\) — это неслучайные величины:
\begin{equation*} \mathit{var}\left(\widehat {\beta _2}\right)=\frac 1{\left(\Sigma \left(x_i-\overline x\right)^2\right)^2}{\ast}\left(\Sigma \left(x_i-\overline x\right)^2{\ast}\mathit{var}\left(\varepsilon _i\right)\right) \end{equation*}
Воспользуемся четвертой предпосылкой о том, что для всех наблюдений дисперсия случайной ошибки равна константе \(\sigma ^2\):
\begin{equation*} \mathit{var}\left(\widehat {\beta _2}\right)=\frac 1{\left(\Sigma \left(x_i-\overline x\right)^2\right)^2}{\ast}\left(\Sigma \left(x_i-\overline x\right)^2{\ast}\sigma ^2\right) \end{equation*}
Величину \(\sigma ^2\) можно вынести за скобки:
\begin{equation*} \mathit{var}\left(\widehat {\beta _2}\right)=\frac{\Sigma \left(x_i-\overline x\right)^2}{\left(\Sigma \left(x_i-\overline x\right)^2\right)^2}{\ast}\sigma ^2=\frac{\sigma ^2}{\Sigma \left(x_i-\overline x\right)^2} \end{equation*}
Таким образом, мы нашли дисперсию МНК-оценки \(\widehat {\beta _2}\): \(\mathit{var}\left(\widehat {\beta _2}\right)=\frac{\sigma ^2}{\Sigma \left(x_i-\overline x\right)^2}\left(2.3\right)\)
Используя аналогичные рассуждения, можно вычислить математическое ожидание и дисперсию оценки \(\widehat {\beta _1}\), а также ковариацию между оценками \(\widehat {\beta _1}\) и \(\widehat {\beta _2}\):
\begin{equation*} E\left(\widehat {\beta _1}\right)=\beta _1 \end{equation*}
\begin{equation*} \mathit{var}\left(\widehat {\beta _1}\right)=\frac{\frac{\sigma ^2} n{\ast}\sum x_i^2}{\sum \left(x_i-\overline x\right)^2}\left(2.4\right) \end{equation*}
\begin{equation*} \mathit{cov}\left(\widehat {\beta _1},\widehat {\beta _2}\right)=-\overline x{\ast}\mathit{var}\left(\widehat {\beta _2}\right)=\frac{-\overline x{\ast}\sigma ^2}{\Sigma \left(x_i-\overline x\right)^2}\left(2.5\right) \end{equation*}
Читателю предлагается сделать это самостоятельно (см. соответствующее упражнения в конце главы).
Доказательство теоремы Гаусса — Маркова
Докажем теорему для МНК-оценки параметра \(\beta _2\). Рассмотрим произвольную линейную по y оценку. Обозначим её \(\widetilde{\beta _2}\). В силу линейности:
\begin{equation*} \widetilde{\beta _2}=\sum _{i=1}^nc_i{\ast}y_i \end{equation*}
Так как эта оценка должна быть несмещенной, то для нее при любых данных должно выполняться следующее условие:
\begin{equation*} E\widetilde{\beta _2}=\beta _2 \end{equation*}
\begin{equation*} E\left(\sum _{i=1}^nc_i{\ast}y_i\right)=\beta _2 \end{equation*}
\begin{equation*} E\left(\sum _{i=1}^nc_i{\ast}\left(\beta _1+\beta _2x_i+\varepsilon _i\right)\right)=\beta _2 \end{equation*}
\begin{equation*} \beta _1\left(\sum _{i=1}^nc_i\right)+\beta _2\left(\sum _{i=1}^nc_i{\ast}x_i\right)=\beta _2 \end{equation*}
Это равенство верно при любом наборе \(x_1,x_2,{\dots},x_n\) тогда и только тогда, когда \(\sum _{i=1}^nc_i=0\) и \(\sum _{i=1}^nc_i{\ast}x_i=1\).
Теперь сформулируем задачу минимизации дисперсии несмещенной оценки параметра:
\begin{equation*} \mathit{var}\left(\widetilde{\beta _2}\right)\rightarrow \underset{c_1,{\dots},c_n}{\mathit{min}} \end{equation*}
при условиях
\begin{equation*} \sum _{i=1}^nc_i=0 \end{equation*}
и
\begin{equation*} \sum _{i=1}^nc_i{\ast}x_i=1 \end{equation*}
Воспользуемся тем, что
\(\mathit{var}\left(\widetilde{\beta _2}\right)=\mathit{var}\left(\sum _{i=1}^nc_i{\ast}\left(\beta _1+\beta _2x_i+\varepsilon _i\right)\right)=\sigma ^2\sum _{i=1}^nc_i^2\).
Последнее равенство корректно в силу предпосылок №4 и №5 КЛМПР. Так как мы имеем дело с задачей на условный экстремум, то мы можем выписать соответствующую функцию Лагранжа:
\begin{equation*} L=\sum _{i=1}^nc_i^2+\lambda \left(1-\sum _{i=1}^nc_i{\ast}x_i\right)+\mu \left(0-\sum _{i=1}^nc_i\right) \end{equation*}
Возьмем частные производные по \(\lambda ,\mu \) и \(c_i,i=1,2,{\dots},n\). И приравняем их к нулю. Получим необходимые условия экстремума (так как мы минимизируем положительно определенную квадратичную форму при линейных ограничениях, то это условие будет и достаточным условием минимума):
\begin{equation*} \left\{\begin{matrix}\sum _{i=1}^nc_i{\ast}x_i=1,\\\sum _{i=1}^nc_i=0,\\2c_i-\lambda x_i-\mu =0,i=1,2,{\dots},n.\end{matrix}\right. \end{equation*}
Решая эту систему, находим: \(c_i=\frac{x_i-\overline x}{\sum _{j=1}^n\left(x_j-\overline x\right)^2}\).
Следовательно:
\begin{equation*} \widetilde{\beta _2}=\sum _{i=1}^nc_i{\ast}y_i=\sum _{i=1}^n\frac{x_i-\overline x}{\sum _{j=1}^n\left(x_j-\overline x\right)^2}{\ast}y_i \end{equation*}
Осталось заметить, что полученная нами оценка — это и есть МНК-оценка, записанная немного другим способом. Действительно:
\begin{equation*} \widetilde{\beta _2}=\sum _{i=1}^n\frac{x_i-\overline x}{\sum _{j=1}^n\left(x_j-\overline x\right)^2}{\ast}y_i=\end{equation*}
\begin{equation*}=\frac{\sum _{i=1}^n\left(x_i-\overline x\right)y_i}{\sum _{j=1}^n\left(x_j-\overline x\right)^2}=\frac{\sum _{i=1}^n\left(x_i-\overline x\right)y_i-0}{\sum _{j=1}^n\left(x_j-\overline x\right)^2}= \end{equation*}
\begin{equation*} =\frac{\sum _{i=1}^n\left(x_i-\overline x\right)y_i-\overline y\sum _{i=1}^n\left(x_i-\overline x\right)}{\sum _{j=1}^n\left(x_j-\overline x\right)^2}= \end{equation*}
\begin{equation*} =\frac{\sum _{i=1}^n\left(x_i-\overline x\right)\left(y_i-\overline y\right)}{\sum _{j=1}^n\left(x_j-\overline x\right)^2}= \end{equation*}
\begin{equation*} =\frac{\frac 1 n\sum _{i=1}^n\left(x_i-\overline x\right)\left(y_i-\overline y\right)}{\frac 1 n\sum _{j=1}^n\left(x_j-\overline x\right)^2}=\frac{\widehat {\mathit{cov}}\left(x,y\right)}{\widehat {\mathit{var}}\left(x\right)} \end{equation*}
Таким образом, мы доказали, что решение задачи минимизации дисперсии несмещенной оценки параметра приводит нас в точности к МНК-оценке. Следовательно, МНК-оценка является эффективной и несмещенной, что и требовалось доказать.
Для МНК-оценки параметра \(\beta _1\) доказательство может быть осуществлено аналогичным образом.