[모델 학습] 다중공선성(Multicollinearity)

다중공선성(Multicollinearity)

다중공선성(Multicollinearity)은 회귀 분석에서 독립 변수들 간에 강한 상관관계가 존재하는 현상을 말합니다. 이는 독립 변수들이 서로 독립적이지 않고, 하나 이상의 독립 변수가 다른 독립 변수의 선형 조합으로 설명될 수 있다는 것을 의미합니다. 다중공선성은 회귀 모델의 해석과 예측 성능에 부정적인 영향을 미칠 수 있습니다.

다중공선성의 문제점

1. 회귀 계수의 불안정성:
   • 다중공선성이 존재하면 회귀 계수의 추정치가 매우 불안정해져서 작은 데이터 변화에도 크게 변할 수 있습니다.
2. 회귀 계수의 해석 어려움:
   • 독립 변수들 간의 상관 관계로 인해 개별 독립 변수가 종속 변수에 미치는 영향을 명확하게 해석하기 어렵습니다.
3. 모델의 예측 성능 저하:
   • 다중공선성은 모델의 예측 성능을 저하시킬 수 있으며, 특히 새로운 데이터에 대한 예측 성능이 떨어질 수 있습니다.

다중공선성의 탐지 방법

1. 상관 행렬(Correlation Matrix):
   • 독립 변수들 간의 상관 계수를 계산하여 다중공선성을 탐지할 수 있습니다. 상관 계수가 0.9 이상인 변수들이 있다면 다중공선성을 의심할 수 있습니다.
2. 분산 팽창 인수(Variance Inflation Factor, VIF):
   • VIF는 특정 독립 변수가 다른 독립 변수들로 얼마나 잘 설명되는지를 나타내는 지표입니다. 일반적으로 VIF 값이 10 이상이면 다중공선성이 있다고 판단합니다.

다중공선성 해결 방법

1. 변수 제거:
   • 다중공선성을 일으키는 변수를 제거함으로써 문제를 해결할 수 있습니다.
2. 주성분 분석(Principal Component Analysis, PCA):
   • 독립 변수들을 주성분으로 변환하여 다중공선성을 줄일 수 있습니다.
3. 릿지 회귀(Ridge Regression):
   • 릿지 회귀는 회귀 계수에 페널티를 부여하여 다중공선성을 완화하는 방법입니다.
4. 변수 결합:
   • 다중공선성을 일으키는 변수들을 결합하여 새로운 변수를 만들 수 있습니다.

예제: VIF를 사용한 다중공선성 탐지

아래는 pandas와 statsmodels 라이브러리를 사용하여 VIF를 계산하고 다중공선성을 탐지하는 예제입니다:

import pandas as pd
import numpy as np
from statsmodels.stats.outliers_influence import variance_inflation_factor

# 데이터프레임 예시
data = {
    'X1': [1, 2, 3, 4, 5],
    'X2': [2, 4, 6, 8, 10],
    'X3': [5, 7, 9, 11, 13],
    'Y': [1, 2, 3, 4, 5]
}

df = pd.DataFrame(data)

# 독립 변수 설정
X = df[['X1', 'X2', 'X3']]

# VIF 계산
vif_data = pd.DataFrame()
vif_data['feature'] = X.columns
vif_data['VIF'] = [variance_inflation_factor(X.values, i) for i in range(X.shape[1])]

print(vif_data)

 

이 예제에서는 X1, X2, X3 변수 간의 VIF 값을 계산하여 다중공선성을 탐지합니다. VIF 값이 10 이상인 경우 해당 변수가 다중공선성 문제를 일으키고 있음을 의미합니다.

X1과 X2가 완전한 선형관계를 이룸

 

다중공선성 문제를 해결하면 회귀 모델의 안정성과 해석 가능성을 높일 수 있으며, 모델의 예측 성능 또한 향상될 수 있습니다.