4장_3절 회귀분석2

4) 회귀분석의 종류

- 단순회귀

- 다중회귀

- 로지스틱 회귀

- 다항회귀

- 곡선회귀

- 비선형회귀

 

5) 변수선택법(variable selection)

모든 가능한 조합 : 모든 가능한 독립변수들의 조합에 대한 회귀모형을 분석해 가장 적합한 모형 선택

• 전진선택법(forward selection)

절편만 있는 상수모형으로부터 시작해 중요하다고 생각되는 설명변수부터 차례로 모형에 추가

- 이해 쉬움, 많은 변수에서 활용 가능, 변수 값의 작은 변동에 결과가 달라져 안정성이 부족

 

• 후진소거법(backward selection)

독립변수 후보 모두를 포함한 모형에서 가장 적은 영향을 주는 변수부터 하나씩 제거

- 전체 변수들의 정보를 이용 가능, 변수가 많은 경우 활용이 어려움, 안정성 부족

 

• 단계별방법(stepwise method)

전진선택법에 의해 변수를 추가하면서 새롭게 추가된 변수에 기인해 기존 변수가 그 중요도가 약화되면 해당 변수를 제거하는 등 단계별로 추가 또는 삭제되는 변수를 검토해 더 이상 없을 때 중단

 

벌점화된 선택 기준 : 모형의 복잡도에 벌점을 주는 방법으로 AIC 방법과 BIC 방법이 주로 사용된다

- 가장 최적화된 모형을 선택하기 위해서는 AIC와 BIC가 최소가 되는 모형을 선택해야함