[급질]선형회귀분석 해석에 관한 조언 부탁드려요~~(내공있죠~~!!!)

통계관련 질문은 수식이 많아서 잘 답변 안하던데..

 

질문을 너무 정중하게 하셔서 답변을 안해드릴수 없네요..^^

 

 

1. 회귀분석은 관찰데이터에서 회귀식을 만들어내는 것입니다.

 

따라서 실제 관찰값과 추정회귀식과는 오차가 존재하게 되는데

 

이를 잔차라고 합니다.

 

추정식에 의한 추정값이 실제값보다 클수도 있고 작을 수도 있는데

 

이 오차를 최소화하는데, 이 오차들은 모두 더하면 0 이 되도록 회귀식이

 

추정되거든요 그래서 사용하는 방법이, 모든 관찰값에 대해 실제 추정값과

 

실제값의 차를 제곱해서 더한 잔차제곱합 이란걸 만들어내요.

 

이런 형태가 되겠지요..

                                           

여기서 Y는 실제 모형식 만드는데 사용된 목적변수의 실제값이고 Y 햇은 추정값입니다

 

결국 이걸 최소화시키는 식이 회귀방정식이 되는 거예요.

 

그럼 이 잔차제곱합의 전체 중에서 각 독립변수에 의해서 설명되는 부분(결국 단순회귀

 

에서라면 기울기) 도 있고, 결국 설명하지 못하는 부분-우연에 의해 발생하는-이 있어요.

 

이제 F통계량은 이런 이거예요. 

 

전체 잔차 제곱합/(전체 잔차제곱합-독립변수에 의해 설명되는 제곱합)

 

그럼 분모는 설명할수 없는 부분의 제곱합이니까  작으면 작을수록 F통계량의 값은

 

작아집니다.  그럼 통계량의 값이 커지면 p-값은 훨씬 작아질거구,

 

이때 "추정모형은 의미없다" 라는 귀무가설을 기각할 수 있게 됩니다.

 

 

2. 단순회귀분석에서의 결정계수 R제곱은 물론 독립변수와 목적변수(종속변수)의

 

상관계수 R의 제곱이 맞아요. 그러니까 당근 음수가 나올수 없지요.

 

 추정회귀식이 자료를 100% 설명하길 바라지만 실제 그렇지 않아요 아까 말씀드렸던

 

오차항때문인데요.  회귀식은 수학이나 물리에서 나오는

 

속도=이동거리/시간

 

이런것 처럼 등식으로 이루어지지는 않습니다. 등식이 되려면 항상 이렇게 써야해요.

 

Y=a+ bX+e (여기서 a는 절편, b는 회귀계수, e는 오차항)

 

이때 결정계수의 역할은 Y값의 변화를 a와 b같이 결정된 상수가 설명하는 부분이 있고

 

오차항에 의해 우연히 발생하는 경우가 있는데 이를 나타내는 것이라고 생각하시면되요..

 

(오차항이 우연히 발생한다함은 경제학에서 오차항에 대한 가정있잖아요.

 

오차항은 표준정규분포를 따른다. 독립이다.  그래서 white noise 이렇게 얘기하구요.)

 

얼마나 되면 좋다라는 이야기는 딱 잘라 얘기할수는 없으며 특히 경제학에서는 그 수치가

 

작다고 무조건 버릴수 있는건 아니며 그렇다고 크다고 무조건 좋다고 할수도 없어요.

 

통계학에서는 결정계수의 유의성 검정도 하구요.

 

그리고 다중회귀에서는 다중공선성이란 문제 때문에 결정계수 R제곱을 쓰지않고

 

조정결정계수 (adjusted R^2) 을 사용합니다.

 

5%유의수준이니까 양측검정할때 표준정규분포에서 1.96을 기준으로 쓰잖아요?

 

t통계량이 따르는 t분포의 임계값이 표준정규분포와 비슷해요.  사용된 관찰값의

 

개수가 무한히 커진다면 t분포는 표준정규분포와 같아집니다. 

 

그래서 95%신뢰수준(이건 5% 유의수준과 같은 말이예요) 에서 2를 임계치로 쓰는 겁니다.

 

 

도움이 되셨길 바랍니다.  저두 예전에 복학할때 생각이 나네요..

 

열심히 하세요.. 화이팅