[IRIS 데이터 분석] 1. Python KNN 분류

러닝스푼즈 수업 정리 

 

 

< 이전 글 > 

https://silvercoding.tistory.com/63?category=967543 

[boston 데이터 분석] 2. PCA, 군집화를 사용한 집값 분석

 

 

 

 

---

KNN 개념 정리

* 1그룹 vs 2그룹 KNN 분류 과정

1. k 설정 : 가장 가까운 k개의 점을 선택 

2. k 개의 점 중 1그룹이 많은지 2그룹이 많은지 확인 

3. 더 많은 그룹의 범주로 분류한다.

 

 

* K를 찾아내는 과정

1. 학습데이터를 이용하여 각 K별로 KNN 모델 학습 

2. 만들어진 모델을 이용해 검증 데이터(테스트 데이터) 에서의 에러율 측정 

3. 에러율이 가장 작은 k 선택 

 

 

* 적절한 k를 찾아내어야 한다!

- k가 매우 작으면 노이즈에 민감한 과적합 우려 

- k가 매우 크면 지역적 구조를 파악할 수 있는 능력을 잃게 됨 

 

 

 

 

---

 데이터 살펴보기 

본 포스팅에서 사용할 데이터셋은 캐글의 다음링크에서 다운받을 수 있다. 

< Iris Flower Dataset >

https://www.kaggle.com/arshid/iris-flower-dataset

Iris Flower Dataset

 

import pandas as pd
import os

os.chdir('../data')   # 본인 데이터셋이 존재하는 폴더 경로

iris = pd.read_csv("IRIS.csv")

iris.head()

(참고) sepal : 꽃받침 / petal : 꽃잎 

꽃받침의 크기와 꽃잎의 크기를 근거로 setosa, versicolor, virginica 총 3종류를 구분해 내는 분류모델을 만들 것이다. 

iris.info()

총 150개의 데이터가 들어 가 있고 , 결측값은 존재하지 않는다. 

iris['species'].value_counts()

value_counts() 함수를 이용하여 각 종류가 몇가지씩 있는지 확인해볼 수 있다. 각 종류마다 동일하게 50개씩 존재하는 것을 볼 수 있다. 

 

 

 

 

 

---

 KNN 실습 - 분류 

(ex) KNeighborsClassifier(n_neighbors=n)

---> 데이터가 많으면 느림 

---> n_neighbors=n : k의 개수 지정 (가장 가까운 K개를 볼것이라는 의미) 

 

 

iris['id'] = range(len(iris))

데이터를 식별하기 위하여 순서대로 값을 부여하여 id 컬럼에 넣어준다. 

iris = iris[['id','sepal_length','sepal_width','petal_length','petal_width','species']]

id 컬럼이 가장 첫번째에 오도록 정렬 해 준다. 

iris.head()

 

 

train & test data 분리 

train = iris.sample(100, replace=False, random_state=7).reset_index(drop=True)
train

학습 데이터셋에 랜덤으로 100개의 데이터를 추출한다. 비복원추출이고, 뒤죽박죽된 인덱스를 초기화 시켜준다. 

test = iris.loc[ ~iris['id'].isin(train['id']) ]
# test = test.reset_index().drop(['index'],axis=1)  # 밑과 같은 코드
test = test.reset_index(drop=True)

테스트 데이터셋에는 학습데이터셋에 없는 id값이 존재하는 row만 추출하여 구성한다. 마찬가지로 인덱스를 초기화 해준다. 

 

 

 

 

KNN 학습 (k=3 일 때 학습해보기) 

from sklearn.neighbors import KNeighborsClassifier

knn = KNeighborsClassifier(n_neighbors=3) # 모델 정의

k=3으로 설정한 KNN 분류기 객체를 생성한다. 

knn.fit( train[['sepal_length','sepal_width','petal_length','petal_width']] , train['species'] )

knn.fit(train_X, train_y) 와 같이 사용한다.  

predictions = knn.predict( test[['sepal_length','sepal_width','petal_length','petal_width']] )

knn.predict(test_X) 와 같이 사용한다.  test 데이터를 이용하여 예측을 하고, predictions에 저장해 준다. 

test['pred'] = predictions

test.head()

pred 컬럼에 예측 결과인 predictions를 추가해 주었다. 위의 5개를 보니 모두 정답을 맞춘 것을 볼 수 있다.  

(test['pred'] == test['species']).mean()

정답과 예측을 비교하여 정확도를 구해보니 0.94가 나왔다. 이제 여러 k값의 정확도를 구하여 최적의 k를 결정해 본다. 

 

 

 

 

최적 K 찾기 

- train & test 데이터 사용 

for k in range(1,30):
    knn = KNeighborsClassifier(n_neighbors=k)
    knn.fit( train[['sepal_length','sepal_width','petal_length','petal_width']] , train['species'] )
    predictions = knn.predict( test[['sepal_length','sepal_width','petal_length','petal_width']] )
    print((pd.Series(predictions) == test['species']).mean())

1부터 29까지의 k 의 학습을 진행하여 얻은 정확도이다. 높은 값 중에서 가장 첫번째를 고르면 k=5 (정확도 0.98) 이다. 

 

---> 최적의 K : 5

 

---

하지만 위의 방법을 사용하면 신뢰성이 하락할 수 있다. train, test 데이터를 어떻게 나누는지에 따라 결과가 크게 달라질 수도 있기 때문이다. 따라서 cross validation을 이용하여 정확도를 구해볼 수 있다. 

---

 

- cross validation 사용

from sklearn.model_selection import cross_val_score
import numpy as np

for k in range(1,30):
    knn = KNeighborsClassifier(n_neighbors=k)
    scores = cross_val_score(knn, iris[['sepal_length','sepal_width','petal_length','petal_width']], iris['species'], cv=5)
    print(f"{k} : " ,np.mean(scores))

5-fold-cross validation을 진행하였다. k=6 일때 가장 첫번째로 높은 정확도가 나온 것을 알 수 있다. 

 

 

---> 최적의 K : 6

 

 

 

 

---

 KNN 실습 - 회귀 

회귀문제에 KNN 을 사용할 수도 있다. 이러한 KNN 회귀문제를 실습을 해보기 위해 sepal_length, sepal_width, petal_length 를 이용하여 petal_width를 예측하는 모델을 생성한다. 

del train['species']
del test['species']

간단한 실습을 위하여 범주형 변수인 species 는 삭제해 준다. 그다음 분류문제와 똑같이 학습을 진행한다. 

from sklearn.neighbors import KNeighborsRegressor

knn = KNeighborsRegressor(n_neighbors=3)

knn.fit( train[['sepal_length','sepal_width','petal_length']] , train['petal_width'] )

predictions = knn.predict( test[['sepal_length','sepal_width','petal_length']] )

test['pred'] = predictions

test.head()

학습과 예측은 동일하게 진행한다.

 

 

* Mean absolute error ( MAE ) : 회귀문제에서 모델의 성능을 평가하는 방법 중 하나. 

MAE 는 다음과 같이 구할 수 있다. 

abs(test['petal_width'] - pd.Series(predictions)).mean()

정답에서 예측값을 빼고, 절댓값을 취해준 후 각각의 오류율의 평균을 구해주면 된다. 이 평가지표는 오류율이므로 작을 수록 잘 예측한 것이라 판단되어진다. 

for k in range(1,30):
    knn = KNeighborsRegressor(n_neighbors=k)
    knn.fit( train[['sepal_length','sepal_width','petal_length']] , train['petal_width'] )
    predictions = knn.predict( test[['sepal_length','sepal_width','petal_length']] )    
    print(str(k)+' :'+str(abs(test['petal_width'] - pd.Series(predictions)).mean()))

오류율이 가장 작은 k는 7임을 알 수 있다. 

 

---> 최적의 K : 7