회귀분석

두 변수 사이의 관계를 직선으로 나타내어 한쪽으로 다른 쪽을 예측하는 방법이다. 공부 시간과 점수, 키와 몸무게처럼 함께 변하는 자료를 분석할 때 쓴다. ‘회귀’라는 이름은 골턴이 아버지와 아들의 키를 연구하며 ‘평균으로 돌아가는’ 현상을 발견한 데서 왔다.

핵심 개념

  • 산점도: 자료 $(x_i,y_i)$를 좌표평면에 찍은 그림
  • 공분산: $s_{xy}=\frac1n\sum(x_i-\bar x)(y_i-\bar y)$
  • 상관계수: $r=\frac{s_{xy}}{s_xs_y}$, $-1\le r\le1$. $|r|$이 $1$에 가까울수록 직선 관계가 강하다.
  • 회귀직선: $\hat y=a+bx$, $b=\frac{s_{xy}}{s_x^2}$, $a=\bar y-b\bar x$
산점도와 최소제곱 회귀직선, 평균점과 잔차
잔차(점선)의 제곱의 합이 가장 작은 직선이 회귀직선이다

핵심 정리 (최소제곱법)

잔차의 제곱합 $Q(a,b)=\sum(y_i-a-bx_i)^2$을 최소로 하는 직선은 $b=\frac{s_{xy}}{s_x^2}$, $a=\bar y-b\bar x$이다. 따라서 회귀직선은 평균점 $(\bar x,\bar y)$를 지난다.

증명 보기

1단계: $a$ 정하기. $b$를 고정하면 $Q$는 $a$에 관한 이차식이다. $u_i=y_i-bx_i$라 하면 $Q=\sum(u_i-a)^2$이고, 이것은 $a=\bar u=\bar y-b\bar x$일 때 최소이다. (편차의 제곱합은 평균에서 최소: $\sum(u_i-a)^2=\sum(u_i-\bar u)^2+n(\bar u-a)^2$)

2단계: $b$ 정하기. $a=\bar y-b\bar x$를 넣으면 $Q=\sum\{(y_i-\bar y)-b(x_i-\bar x)\}^2=n(s_y^2-2bs_{xy}+b^2s_x^2)$이다. $b$에 관한 이차식이므로 꼭짓점 $b=\frac{s_{xy}}{s_x^2}$에서 최소이다.

상관계수의 범위. 이때의 최솟값은 $n s_y^2\left(1-\frac{s_{xy}^2}{s_x^2s_y^2}\right)=ns_y^2(1-r^2)$이고, 제곱합은 $0$ 이상이므로 $r^2\le1$이다. $r=\pm1$이면 모든 점이 직선 위에 있다. $\blacksquare$

주의

상관관계는 인과관계가 아니다. 아이스크림 판매량과 물놀이 사고 수는 상관계수가 높지만, 둘 다 ‘기온’이라는 제3의 요인 때문이다.

확인 문제

자료 $(1,2)$, $(2,3)$, $(3,5)$, $(4,6)$의 회귀직선을 구하시오.

풀이 보기

$\bar x=2.5$, $\bar y=4$이다. 편차 곱의 합 $\sum(x_i-\bar x)(y_i-\bar y)=(-1.5)(-2)+(-0.5)(-1)+(0.5)(1)+(1.5)(2)=3+0.5+0.5+3=7$, $\sum(x_i-\bar x)^2=2.25+0.25+0.25+2.25=5$이므로 $b=\frac75=1.4$, $a=4-1.4\times2.5=0.5$이다. 회귀직선은 $\hat y=0.5+1.4x$이다.

정리

  • 회귀직선의 기울기 $b=\frac{s_{xy}}{s_x^2}$, 평균점을 지난다.
  • 상관계수 $|r|\le1$, 상관은 인과가 아니다.
알림: 보호된 콘텐츠입니다.