고정효과 선형모델에서 독립변수는 확률변수인가?

다중회귀(Multiple Regression)는 하나의 종속변수 $Y$를 두 개 이상의 독립변수 $X_1, X_2, \dots$ 로 설명하는 모델입니다. 독립변수가 2개일 때의 수식은 다음과 같습니다.

$$Y_i = \beta_0 + \beta_1 X_{i1} + \beta_2 X_{i2} + \epsilon_i$$

여기서, $\beta_0$는 절편

$\beta_1$과 $\beta_2$는 각각 $X_1$과 $X_2$의 효과(회귀계수)

$\epsilon_i$는 오차항

이 모델의 해석은 다음과 같습니다.

$\beta_1$: $X_2$가 일정할 때 $X_1$이 1 단위 증가할 때 $Y$의 평균 변화량

$\beta_2$: $X_1$이 일정할 때 $X_2$가 1 단위 증가할 때 $Y$의 평균 변화량

시각적으로는 $X_1, X_2$를 두 축으로, $Y$를 세 번째 축으로 두면 데이터가 3차원 공간에 분포하며, 회귀식은 이 공간에서 하나의 평면(회귀평면)으로 나타납니다.

데이터와 모델

\[
\mathbf{y} = \mathbf{X}\boldsymbol{\beta} + \boldsymbol{\epsilon},
\qquad
\boldsymbol{\epsilon}\sim \mathcal{N}(\mathbf{0},\,\sigma^2\mathbf{I}_n)
\]
\[
\mathbf{X}=\begin{bmatrix}
1 & X_{11} & X_{12}\\
\vdots & \vdots & \vdots\\
1 & X_{n1} & X_{n2}
\end{bmatrix},\quad
\boldsymbol{\beta}=\begin{bmatrix}\beta_0\\ \beta_1\\ \beta_2\end{bmatrix},\quad
\mathbf{y}=\begin{bmatrix}Y_1\\ \vdots\\ Y_n\end{bmatrix}
\]

반응변수와 오차벡의 공분산

\[
\operatorname{Var}(\boldsymbol{\epsilon})=\sigma^2\mathbf{I}_n,\qquad
\operatorname{Var}(\mathbf{y})=\sigma^2\mathbf{I}_n
\]

OLS 추정량과 그 분산-공분산행렬

\[
\hat{\boldsymbol{\beta}}=(\mathbf{X}^\top\mathbf{X})^{-1}\mathbf{X}^\top\mathbf{y},
\qquad
\operatorname{Var}(\hat{\boldsymbol{\beta}})
=\sigma^2(\mathbf{X}^\top\mathbf{X})^{-1}
\]

2개 설명변수의 경우 독립변수행렬곱의 구성

\[
\mathbf{X}^\top\mathbf{X}=
\begin{bmatrix}
n & \sum_i X_{i1} & \sum_i X_{i2}\\
\sum_i X_{i1} & \sum_i X_{i1}^2 & \sum_i X_{i1}X_{i2}\\
\sum_i X_{i2} & \sum_i X_{i1}X_{i2} & \sum_i X_{i2}^2
\end{bmatrix}
\]

정리하면, 다중선형회귀에서 오차 공분산은 $\sigma^2 I_n$, 계수 추정량의 분산–공분산행렬은 $\sigma^2 (\mathbf{X}^\top \mathbf{X})^{-1}$ 입니다.

Fig. 2.은 독립변수 2개를 가진 다중회귀(Multiple Regression)의 시각화입니다. 빨간 점은 실제 관측값이고, 주황색 평면은 추정된 회귀모형을 나타냅니다. 이처럼 두 독립변수 $X_1, X_2$의 결합 효과가 종속변수 $Y$에 선형적으로 영향을 주며, 평면의 기울기와 절편이 회귀계수 $\beta_0, \beta_1, \beta_2$에 해당합니다.
$$\quad \epsilon_i \sim \mathcal{N}(0, \sigma^2)$$