[fashion MNIST 프로젝트] 2. fashion MNIST 전처리, 시각화

 

(본 프로젝트 코드는 패캠 딥러닝 강의를 참고한 코드이다)

 

 

<이전 글>

https://silvercoding.tistory.com/9

[fashion MNIST 프로젝트] 1. multi-label 분류, fashion MNIST 데이터 알아보기

 

 

이전 글에서 fashion MNIST에 대하여 알아보았다. MNIST와 동일한 형태를 가지고 있었다. 이번 글에서는 이러한 fashion MNIST 데이터셋을 전처리하는 시간을 가져보도록 한다. 

 

 

 

전처리 시작 

 

(1) data type 변경 (정수 -> 실수)

데이터의 이미지의 값은 0-255 인 uint8 타입 이었다. 그래서 데이터 타입을 실수형으로 바꾸어 주고, 범위를 0-1 로 바꾸어 준다. 

 

혹시 uint8 타입이 궁금하다면 이곳에서 설명을 해둔 부분을 읽어보자. 

https://silvercoding.tistory.com/3

[MNIST 프로젝트] 1. MNIST 데이터 알아보기

 

train_images = train_images.astype(np.float64)
test_images = test_images.astype(np.float64)

이렇게 astype 을 이용하여 코드를 작성해 주면 데이터 타입을 바꿔줄 수 있다. 이제 dtype을 찍어보면 uin8이 아닌 float64로 바뀌어 있을 것이다. 

 

 

 

(2) normalize 

normalize작업을 하여 0~1 의 값을 가지도록 변형해주도록 하자.
식은 다음과 같다.
normalize(x) = x - 최솟값 / 최댓값 - 최솟값
normalize(x) = x / 최댓값 (최솟값이 0일 때 : 지금 데이터셋의 경우)
현재 MNIST 는 0-255 의 숫자이므로 밑의 식을 따르면 된다.

(train_images / 255.0).min(), (train_images / 255.0).max()

이렇게 하면 바로 최솟값이 0.0, 최댓값이 1.0 으로 변화하게 된다. 

 

 

*** normalize를 함수로 구현하여 일반화 시키기 

def norm(data):
  min_v = data.min()
  max_v = data.max()

  return (data - min_v) / (max_v - min_v)

이러한 normalize 함수를 생성해 놓으면 최솟값이 0이 아닌 데이터도 손쉽게 정규화 해줄 수 있다. 

 

 

 

여기서 데이터의 shape, dtype, 범위(최댓값, 최솟값)을 다시 확인해 본다음 시각화로 넘어가자! (포스팅은 생략)

 

 

 

 

 

여러장 시각화 해보기 (ex, 5장)

이 작업도 계속 반복되므로 간단하게 작성해 나가며 마치도록 한다. 

- (5, 28, 28) ---> (28, 28 * 5) shape 변경 (hstack, transpose로 가능) 

이번에도 hstack은 생략하고, transpose 방법으로만 진행한다. 

 

이곳에서 hstack을 사용한 적이 있다. 

https://silvercoding.tistory.com/4

[MNIST 프로젝트] 2. MNIST 데이터셋 전처리, 시각화

 

train_images[:5].transpose((1, 0, 2)).reshape(28, -1).shape

(28, 140) 이 나오면 정상! 

 

이제 이걸 plt로 그려보면 (코드 생략)

이렇게 오류 없이 5장을 한번에 출력할 수 있게 되었다. 

 

 

- 종류끼리 시각화 하기 

def filter(label, count=5) :
  imgs = train_images[np.argwhere(train_labels == label)[:count, ..., 0]].transpose((1, 0, 2)).reshape(28, -1)
  plt.imshow(imgs, cmap='gray')
  plt.title(idx2label(label))
  plt.show()

filter 함수를 만들어서 보고싶은 의류 종류 라벨을 집어 넣으면, 그 종류끼리 시각화를 해볼 수 있다. 저번에 만들어 두었던 idx2label 을 이용하여 title도 지정해주었다. 

filter(레이블, 시각화 갯수) 이렇게 사용하면 된다. 

 

filter(9, 6)

9번째 라벨인 앵클부츠 6가지를 그려 보았다. 

 

 

 

 

 

다음시간에는 Data augmentation과 모델링을 하는 포스팅을 할 예정이다.