[boston 데이터 분석] 1. 차원축소 (PCA) 파이썬 예제

러닝스푼즈 수업 정리 

 

 

---

 라이브러리 & 데이터 불러오기 

- 라이브러리 불러오기 

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

 

- 데이터 불러오기 

data = pd.read_csv('./data/boston.csv')

data.head()

 

- 데이터 살펴보기 

data.info()

506개의 row가 존재하고, 결측값은 없는 것을 알 수 있다. 

data.columns

총 14개의 컬럼이 있다. 각 컬럼의 의미는 다음과 같다. 

• crim: 범죄율
• zn: 25,000 평방피트를 초과 거주지역 비율
• indus: 비소매상업지역 면적 비율
• chas: 찰스강의 경계에 위치한 경우는 1, 아니면 0
• nox: 일산화질소 농도
• rm: 주택당 방 수
• age: 1940년 이전에 건축된 주택의 비율
• dis: 직업센터의 거리
• rad: 방사형 고속도로까지의 거리
• tax: 재산세율
• ptratio: 학생/교사 비율
• b: 인구 중 흑인 비율
• lstat: 인구 중 하위 계층 비율
• medv : 보스턴 506개 타운의 1978년 주택 가격 중앙값 (단위 1,000 달러)

---

 Feature Selection : 상관계수와 공분산 

- 범주형 변수 제거 

del data['chas']

상관계수와 공분산은 연속형 자료를 분석하므로 범주형 변수를 제거한다. 실제 변수를 제거하는 것은 신중하게 행해야 하지만 , 학습을 위하여 제거한다.

 

가설 세우기 

1. 범죄율이 높은 곳의 집값은 낮을까? 

2. 방의 개수가 많은 곳의 집값은 높을까? 

3. 일산화질소 농도가 높을수록 집값은 낮을까? 

4. 재산세율이 높을수록 집값을 높을까?

 

1. 범죄율이 높은 곳의 집값은 낮을까? 

sns.jointplot(data=data, x='crim', y='medv', kind='reg')

극단적인 음의 관계는 아니지만 , 범죄율이 높아질 수록 집값이 낮아지는 추세를 볼 수 있다. 

 

 

- 공분산

data['crim'].cov(data['medv'])

음의 관계를 갖고 있음을 알 수 있다. 

 

 

- 상관계수 

data['crim'].corr(data['medv'])    # 피어슨상관계수 0.3 ~ 0.6 강한 상관계수

---

r이 -1.0과 -0.7 사이이면, 강한 음적 선형관계,

r이 -0.7과 -0.3 사이이면, 뚜렷한 음적 선형관계,

r이 -0.3과 -0.1 사이이면, 약한 음적 선형관계,

r이 -0.1과 +0.1 사이이면, 거의 무시될 수 있는 선형관계,

r이 +0.1과 +0.3 사이이면, 약한 양적 선형관계,

r이 +0.3과 +0.7 사이이면, 뚜렷한 양적 선형관계,

r이 +0.7과 +1.0 사이이면, 강한 양적 선형관계

 

출처 - https://ko.wikipedia.org/wiki/%EC%83%81%EA%B4%80_%EB%B6%84%EC%84%9D

---

위와 같은 피어슨 상관계수 해석을 보았을 때 범죄율과 집값은 뚜렷한 음적 선형관계라는 것을 알 수 있다. 

 

[ 가설1 : True ] 

 

 

2. 방의 개수가 많은 곳의 집값은 높을까? 

sns.jointplot(data=data, x='rm', y='medv', kind='reg')

그래프를 보면, 방의 개수가 많을수록 집값이 높아지는 경향이 있다는 것을 볼 수 있다. 

 

- 공분산

data['rm'].cov(data['medv'])

공분산을 보았을 때 양의 관계를 갖는 것을 알 수 있다. 

 

 

- 상관계수 

data['rm'].corr(data['medv'])

상관계수를 보니 강한 양적 선형관계에 가까운 뚜렷한 양적 선형관계라는 것을 알 수 있다. 여기서 공분산의 허점을 볼 수 있다. 가설2의 상관계수는 가설1에서 상관계수보다 더 뚜렷한 관계이지만, 공분산은 가설2가 더 높다. 

 

[ 가설2 : True ] 

 

 

3. 일산화질소 농도가 높을수록 집값은 낮을까?

sns.jointplot(data=data, x='nox', y='medv', kind='reg')

data['nox'].corr(data['medv'])

-0.4273207723732824

뚜렷한 음적 상관관계인 것을 알 수 있다. 일산화질소 농도가 높을 수록 집값은 낮아지는 경향을 보인다.

 

[ 가설3 : True ] 

 

 

4. 재산세율이 높을수록 집값을 높을까?

sns.jointplot(data=data, x='tax', y='medv', kind='reg')

data['tax'].corr(data['medv'])

-0.46853593356776696

뚜렷한 음적상관관계를 갖고 있고, 재산세율이 높을수록 집값이 낮아지는 것을 볼 수 있다. 

 

[ 가설4 : False ] 

 

 

- 모든데이터의 상관계수 알기 - heatmap 

plt.figure(figsize=(10, 7))
sns.heatmap(data.corr(), cmap='RdBu_r', annot=True, fmt='0.1f')

lstat와 rm 의 집값과의 상관계수가 가장 높은 것을 알 수 있다.  인구 중 하위 계층 비율(lstat)와는 음의 상관관계, 방의 개수(rm) 과는 양의 상관관계를 띈다. 반면 dis(직업센터의 거리), b(인구 중 흑인 비율) 와 집값은 낮은 상관관계를 보인다. 

 

 

 

 

 

---

 Feature Extraction 

- 상관관계 비교하여 몇개의 변수를 몇개로 줄일 것인지 결정 

corr_bar = []

for column in data.columns:
    print(f"{column}과 집값의 상관관계: {data[column].corr(data['medv'])}")
    corr_bar.append(abs(data[column].corr(data['medv'])))

각 컬럼별 집갑과의 상관계수를 출력해보고, corr_bar 리스트에는 절댓값을 취하여 추가해준다. 

corr_bar

sns.barplot(data.columns, corr_bar)

막대그래프를 그려보니 dis, b 가 다른 컬럼들보다 상관계수가 작은 것을 한눈에 볼 수 있다. 

 

x = data[['dis', 'b']]

data에서 두 변수를 선택하여 x에 저장한다. 

x.head()

 

PCA 사용 

from sklearn.decomposition import PCA

PCA(n_components)

• n_components : 몇가지의 변수를 만들지 개수를 정한다.
• 객체를 생성하는 개념

PCA.fit(x)

• x의 데이터를 학습시킴으로써 앞에서 생성한 객체가 데이터를 공부하는 개념

PCA.components_

• 앞서 학습한 내용을 바탕으로 만들어진 변수속에 담긴 이 전 변수의 분산이 담긴 정도

PCA.explained_variance_ratio_

• 새로운 변수가 설명하는 분산의 비율

PCA.transform

• 학습한 내용을 바탕으로 만들어진 학습기로 x의 데이터를 변환

 

- 2개의 변수 -> 1개의 변수 

pca = PCA(n_components=1)

n_components 에 생성할 변수를 작성해준다. 

pca.fit(x)

데이터를 학습킨다. 

pca.components_

새로운 변수에 담긴 각 변수의 분산을 확인해 본다. 그런데 오른쪽 (b) 의 분산이 너무 크다. 이는 오른쪽 변수의 정보만 많이 담겼다고 해석할 수 있다. ( -> 정규화가 필요한 이유 / 뒤에서 학습 ) 

pca.explained_variance_ratio_

새로운 변수가 설명하는 분산의 비율이다. 

data['pc1'] = pca.transform(x)

학습시킨 pca를 이용하여 x의 데이터를 변환한 데이터를 data의 pc1이라는 컬럼에 추가한다. 

data

추가 완료된 데이터프레임. 

sns.jointplot(data=data, x='pc1', y='medv', kind='reg')

data['pc1'].corr(data['medv'])

새로운 컬럼과 집값의 상관관계를 보면 전에 b변수의 상관계수와 별 차이가 없다. 정규화를 진행하여 다시 학습해 보자. 

 

정규화

from sklearn.preprocessing import StandardScaler

StandardScaler()

• 정규화 객체 생성

scaler.fit(x)

• 정규화 객체로 학습

scaler.transform(x)

• 학습된 학습기로 변수 x의 데이터를 변환

 

scaler = StandardScaler()

정규화 객체를 생성한다. 

scaler.fit(x)
scaler_x = scaler.transform(x)

x데이터를 학습시킨 후, 정규화 된 x로 데이터를 변환하여 scaler_x 에 저장해준다. 

scaler_x

 

 

- 정규화된 데이터로 pca 실행 

# 변수 1개로 설정 
pca = PCA(n_components=1)
# 데이터를 학습
pca.fit(scaler_x)
# 새로운 변수에 담긴 각 변수의 분산을 확인
# 위와 달라진 분산의 정도를 확인
pca.components_

정규화된 데이터로 pca를 진행하니 새로운 변수에 두가지의 변수의 분산이 동일하게 담긴 것을 볼 수 있다. 

pca.explained_variance_ratio_

새로운 변수가 설명하는 분산의 비율은 줄어들었지만 , 두가지 변수의 각 분산이 동일하게 담긴것이 더 중요하다. 

data['pc1'] = pca.transform(scaler_x)

data.head()

정규화된 데이터를 pca 변환하여 pc1 컬럼에 넣어주었다. 

 

 

- 상관계수 비교

sns.jointplot(data=data, x=data['pc1'], y=data['medv'], kind='reg')

data['pc1'].corr(data['medv'])

data['b'].corr(data['medv'])

이처럼 새로운 변수 pc1과 집값의 상관계수가 예전 두 변수의 상관계수보다 더 높아진 것을 확인할 수 있다. 

 

 

 

---

상관성이 없는 두 가지의 변수를 상관성이 더 높아지도록 하는 변수를 생성하는 pca를 학습하였다. 다음시간에는 오늘 학습한 pca를 사용하여 차원을 축소하고, 군집화, 시각화를 하는 실습을 한다. 

---