🤍

러닝스푼즈 수업 정리 

< 이전 글 > 

https://silvercoding.tistory.com/62

 라이브러리 & 데이터 불러오기 

import pandas as pd 
import matplotlib.pyplot as plt
import seaborn as sns

data = pd.read_csv('./data/boston.csv')
data.head()

 군집화 Clustering 

del data['chas']

연속형 데이터만 다루기 위하여 범주형 데이터는 제거한다. 

medv = data['medv']
del data['medv']

타겟변수를 복사해 놓고, 타겟변수 컬럼을 지워준다. ( pca를 위하여 )

차원 축소 (PCA) : 12차원 -> 2차원 

from sklearn.preprocessing import StandardScaler
from sklearn.decomposition import PCA

차원 축소에 필요한 라이브러리를 import 해준다. 

- 정규화

scaler = StandardScaler()

정규화 객체를 생성한다. 

# 데이터 학습
scaler.fit(data)
# 변환
scaler_data = scaler.transform(data)

data 전체를 정규화하여 scaler_data에 저장해 준다. 

- PCA

pca = PCA(n_components = 2)

PCA 객체를 생성한다. 2차원 시각화를 위하여 변수는 2개로 설정한다. 

pca.fit(scaler_data)

pca로 scaler_data를 학습시킨다. 

data2 = pd.DataFrame(data = pca.transform(scaler_data), columns=['pc1', 'pc2'])

pca로 변환한 데이터를 데이터 프레임으로 data2에 저장한다. 

data2.head()

군집의 개수 정하기 - Elbow Point 지정 

from sklearn.cluster import KMeans

KMeans(n_cluster = k)

• k개의 군집화를 하겠다는 객체 생성

Kmeans.fit()

• 학습시키기

KMeans.inertia_

• 학습된 KMeans의 응집도를 확인
• 응집도란 각 데이터로부터 자신이 속한 군집의 중심까지의 거리를 의미
• 즉, 낮을수록 군집화가 더 잘되어있음.

KMeans.predict(data)

• 학습된 데이터를 바탕으로 데이터를 변환시켜줌

x = []   # k 가 몇개인지 
y = []   # 응집도가 몇인지 

for k in range(1, 30):
    kmeans = KMeans(n_clusters = k)
    kmeans.fit(data2)
    
    x.append(k)
    y.append(kmeans.inertia_)

1부터 30까지 군집화를 해보고, 가장 적절한 응집도의 군집개수를 정해주기 위하여 그래프를 그려본다. 

plt.plot(x, y)

군집의 개수 별 응집도 그래프를 그려보니 3~5개 정도가 적당할 것 같다. Elbow Point를 4로 지정하고 군집화를 해보도록 한다. 

군집화

kmeans = KMeans(n_clusters=4)

군집의 개수를 4로 설정하여 객체를 생성한다. 

kmeans.fit(data2)

위에서 생성해 놓은 data2를 학습한다. 

data2['labels'] = kmeans.predict(data2)

각각의 예측된 군집 종류를 labels 컬럼에 넣어준다. 

data2.head()

lebels가 1이라는 것은 해당 데이터가 1번 군집에 포함되었다는 의미이다. 

sns.scatterplot(x='pc1', y='pc2', hue='labels', data=data2)

위와 같이 군집이 형성되었음을 확인할 수 있다. 

결과 해석 

- 어떤 그룹의 집 값이 가장 높을까 ? : 평균으로 비교

data2['medv'] = medv

각 그룹의 집값 평균을 구하기 위해 처음에 저장해 주었던 medv 컬럼을 data2의 medv 컬럼으로 추가해 준다. 

data2.head()

data2[data2['labels']==0]['medv'].mean()

0번 군집의 집값의 평균은 다음과 같이 구한다. 이를 활용하여 모든 군집의 집값의 평균을 그래프로 그려보도록 한다. 

medv_list = []

for i in range(4):
    medv_avg = data2[data2['labels']==i]['medv'].mean()
    medv_list.append(medv_avg)

sns.barplot(x=['group_0', 'group_1', 'group_2', 'group_3'], y=medv_list)

집값의 평균 최상위 그룹 : group_2

집값의 평균 최하위 그룹 : group_0

---> 최상위 그룹과 최하위 그룹을 비교하여 집값의 평균이 높거나 낮은 이유에 대하여 확인해 본다. 

* 원본 데이터 사용하여 원인 분석해보기 

data['labels'] = data2['labels']

원본데이터에 그룹 labels를 추가해 준다. 

group = data[(data['labels']==0) | (data['labels']==2)]

그룹0, 그룹2 만 선택하여 group 변수에 저장한다. 

group = group.groupby('labels').mean().reset_index()

gropuby를 사용하여 labels 컬럼 별로 모든 컬럼의 평균값을 구하고, groupby로 인하여 인덱스가 되었던 labels를 reset_index()를 이용하여 다시 컬럼으로 변경해 준다. 

group

각 그룹별 평균이 구해진 것을 볼 수 있다. 이를 시각화 하여 비교해 보도록 한다. 

결과 해석 - 시각화 

column = group.columns
fig, ax = plt.subplots(2, 6, figsize=(30, 13))

for i in range(12):
    sns.barplot('labels', column[i+1], data=group, ax=ax[i//6, i%6])

두개의 막대가 그려져 있는 막대그래프로, 왼쪽이 높으면 집값이 낮은 이유의 근거가, 오른쪽이 높으면 집값이 높은 이유의 근거가 된다고 해석한다. 

결론

- (0,0) 위치의 그래프를 보면 crim( 범죄율 )이 0번 그룹에서 월등히 높다. 이는 범죄율이 높을수록 집값이 낮다고 해석할 수 있다. 

- (0, 1) 위치의 그래프에서는 zn( 25,000 평방비트를 초과하는 거주지역 비율 ) 이 높을수록 집값이 높다고 해석된다.

- 그다음으로 차이가 적어 보이는 것은 (1, 1) 위치의 그래프이다. rad( 방사형 고속도로까지의 거리 ) 가 높을수록 ( 방사형 고속도로까지의 거리가 멀수록 ) 집값이 낮다는 것을 알 수 있다.

이와 같이 여러 해석을 해볼 수 있다. 

러닝스푼즈 수업 정리 

 라이브러리 & 데이터 불러오기 

- 라이브러리 불러오기 

import pandas as pd
import matplotlib.pyplot as plt
import seaborn as sns

- 데이터 불러오기 

data = pd.read_csv('./data/boston.csv')

data.head()

- 데이터 살펴보기 

data.info()

506개의 row가 존재하고, 결측값은 없는 것을 알 수 있다. 

data.columns

총 14개의 컬럼이 있다. 각 컬럼의 의미는 다음과 같다. 

• crim: 범죄율
• zn: 25,000 평방피트를 초과 거주지역 비율
• indus: 비소매상업지역 면적 비율
• chas: 찰스강의 경계에 위치한 경우는 1, 아니면 0
• nox: 일산화질소 농도
• rm: 주택당 방 수
• age: 1940년 이전에 건축된 주택의 비율
• dis: 직업센터의 거리
• rad: 방사형 고속도로까지의 거리
• tax: 재산세율
• ptratio: 학생/교사 비율
• b: 인구 중 흑인 비율
• lstat: 인구 중 하위 계층 비율
• medv : 보스턴 506개 타운의 1978년 주택 가격 중앙값 (단위 1,000 달러)

 Feature Selection : 상관계수와 공분산 

- 범주형 변수 제거 

del data['chas']

상관계수와 공분산은 연속형 자료를 분석하므로 범주형 변수를 제거한다. 실제 변수를 제거하는 것은 신중하게 행해야 하지만 , 학습을 위하여 제거한다.

가설 세우기 

1. 범죄율이 높은 곳의 집값은 낮을까? 

2. 방의 개수가 많은 곳의 집값은 높을까? 

3. 일산화질소 농도가 높을수록 집값은 낮을까? 

4. 재산세율이 높을수록 집값을 높을까?

1. 범죄율이 높은 곳의 집값은 낮을까? 

sns.jointplot(data=data, x='crim', y='medv', kind='reg')

극단적인 음의 관계는 아니지만 , 범죄율이 높아질 수록 집값이 낮아지는 추세를 볼 수 있다. 

- 공분산

data['crim'].cov(data['medv'])

음의 관계를 갖고 있음을 알 수 있다. 

- 상관계수 

data['crim'].corr(data['medv'])    # 피어슨상관계수 0.3 ~ 0.6 강한 상관계수

r이 -1.0과 -0.7 사이이면, 강한 음적 선형관계,

r이 -0.7과 -0.3 사이이면, 뚜렷한 음적 선형관계,

r이 -0.3과 -0.1 사이이면, 약한 음적 선형관계,

r이 -0.1과 +0.1 사이이면, 거의 무시될 수 있는 선형관계,

r이 +0.1과 +0.3 사이이면, 약한 양적 선형관계,

r이 +0.3과 +0.7 사이이면, 뚜렷한 양적 선형관계,

r이 +0.7과 +1.0 사이이면, 강한 양적 선형관계

출처 - https://ko.wikipedia.org/wiki/%EC%83%81%EA%B4%80_%EB%B6%84%EC%84%9D

위와 같은 피어슨 상관계수 해석을 보았을 때 범죄율과 집값은 뚜렷한 음적 선형관계라는 것을 알 수 있다. 

[ 가설1 : True ] 

2. 방의 개수가 많은 곳의 집값은 높을까? 

sns.jointplot(data=data, x='rm', y='medv', kind='reg')

그래프를 보면, 방의 개수가 많을수록 집값이 높아지는 경향이 있다는 것을 볼 수 있다. 

- 공분산

data['rm'].cov(data['medv'])

공분산을 보았을 때 양의 관계를 갖는 것을 알 수 있다. 

- 상관계수 

data['rm'].corr(data['medv'])

상관계수를 보니 강한 양적 선형관계에 가까운 뚜렷한 양적 선형관계라는 것을 알 수 있다. 여기서 공분산의 허점을 볼 수 있다. 가설2의 상관계수는 가설1에서 상관계수보다 더 뚜렷한 관계이지만, 공분산은 가설2가 더 높다. 

[ 가설2 : True ] 

3. 일산화질소 농도가 높을수록 집값은 낮을까?

sns.jointplot(data=data, x='nox', y='medv', kind='reg')

data['nox'].corr(data['medv'])

-0.4273207723732824

뚜렷한 음적 상관관계인 것을 알 수 있다. 일산화질소 농도가 높을 수록 집값은 낮아지는 경향을 보인다.

[ 가설3 : True ] 

4. 재산세율이 높을수록 집값을 높을까?

sns.jointplot(data=data, x='tax', y='medv', kind='reg')

data['tax'].corr(data['medv'])

-0.46853593356776696

뚜렷한 음적상관관계를 갖고 있고, 재산세율이 높을수록 집값이 낮아지는 것을 볼 수 있다. 

[ 가설4 : False ] 

- 모든데이터의 상관계수 알기 - heatmap 

plt.figure(figsize=(10, 7))
sns.heatmap(data.corr(), cmap='RdBu_r', annot=True, fmt='0.1f')

lstat와 rm 의 집값과의 상관계수가 가장 높은 것을 알 수 있다.  인구 중 하위 계층 비율(lstat)와는 음의 상관관계, 방의 개수(rm) 과는 양의 상관관계를 띈다. 반면 dis(직업센터의 거리), b(인구 중 흑인 비율) 와 집값은 낮은 상관관계를 보인다. 

 Feature Extraction 

- 상관관계 비교하여 몇개의 변수를 몇개로 줄일 것인지 결정 

corr_bar = []

for column in data.columns:
    print(f"{column}과 집값의 상관관계: {data[column].corr(data['medv'])}")
    corr_bar.append(abs(data[column].corr(data['medv'])))

각 컬럼별 집갑과의 상관계수를 출력해보고, corr_bar 리스트에는 절댓값을 취하여 추가해준다. 

corr_bar

sns.barplot(data.columns, corr_bar)

막대그래프를 그려보니 dis, b 가 다른 컬럼들보다 상관계수가 작은 것을 한눈에 볼 수 있다. 

x = data[['dis', 'b']]

data에서 두 변수를 선택하여 x에 저장한다. 

x.head()

PCA 사용 

from sklearn.decomposition import PCA

PCA(n_components)

• n_components : 몇가지의 변수를 만들지 개수를 정한다.
• 객체를 생성하는 개념

PCA.fit(x)

• x의 데이터를 학습시킴으로써 앞에서 생성한 객체가 데이터를 공부하는 개념

PCA.components_

• 앞서 학습한 내용을 바탕으로 만들어진 변수속에 담긴 이 전 변수의 분산이 담긴 정도

PCA.explained_variance_ratio_

• 새로운 변수가 설명하는 분산의 비율

PCA.transform

• 학습한 내용을 바탕으로 만들어진 학습기로 x의 데이터를 변환

- 2개의 변수 -> 1개의 변수 

pca = PCA(n_components=1)

n_components 에 생성할 변수를 작성해준다. 

pca.fit(x)

데이터를 학습킨다. 

pca.components_

새로운 변수에 담긴 각 변수의 분산을 확인해 본다. 그런데 오른쪽 (b) 의 분산이 너무 크다. 이는 오른쪽 변수의 정보만 많이 담겼다고 해석할 수 있다. ( -> 정규화가 필요한 이유 / 뒤에서 학습 ) 

pca.explained_variance_ratio_

새로운 변수가 설명하는 분산의 비율이다. 

data['pc1'] = pca.transform(x)

학습시킨 pca를 이용하여 x의 데이터를 변환한 데이터를 data의 pc1이라는 컬럼에 추가한다. 

data

추가 완료된 데이터프레임. 

sns.jointplot(data=data, x='pc1', y='medv', kind='reg')

data['pc1'].corr(data['medv'])

새로운 컬럼과 집값의 상관관계를 보면 전에 b변수의 상관계수와 별 차이가 없다. 정규화를 진행하여 다시 학습해 보자. 

정규화

from sklearn.preprocessing import StandardScaler

StandardScaler()

• 정규화 객체 생성

scaler.fit(x)

• 정규화 객체로 학습

scaler.transform(x)

• 학습된 학습기로 변수 x의 데이터를 변환

scaler = StandardScaler()

정규화 객체를 생성한다. 

scaler.fit(x)
scaler_x = scaler.transform(x)

x데이터를 학습시킨 후, 정규화 된 x로 데이터를 변환하여 scaler_x 에 저장해준다. 

scaler_x

- 정규화된 데이터로 pca 실행 

# 변수 1개로 설정 
pca = PCA(n_components=1)
# 데이터를 학습
pca.fit(scaler_x)
# 새로운 변수에 담긴 각 변수의 분산을 확인
# 위와 달라진 분산의 정도를 확인
pca.components_

정규화된 데이터로 pca를 진행하니 새로운 변수에 두가지의 변수의 분산이 동일하게 담긴 것을 볼 수 있다. 

pca.explained_variance_ratio_

새로운 변수가 설명하는 분산의 비율은 줄어들었지만 , 두가지 변수의 각 분산이 동일하게 담긴것이 더 중요하다. 

data['pc1'] = pca.transform(scaler_x)

data.head()

정규화된 데이터를 pca 변환하여 pc1 컬럼에 넣어주었다. 

- 상관계수 비교

sns.jointplot(data=data, x=data['pc1'], y=data['medv'], kind='reg')

data['pc1'].corr(data['medv'])

data['b'].corr(data['medv'])

이처럼 새로운 변수 pc1과 집값의 상관계수가 예전 두 변수의 상관계수보다 더 높아진 것을 확인할 수 있다. 

상관성이 없는 두 가지의 변수를 상관성이 더 높아지도록 하는 변수를 생성하는 pca를 학습하였다. 다음시간에는 오늘 학습한 pca를 사용하여 차원을 축소하고, 군집화, 시각화를 하는 실습을 한다.