[MNIST 프로젝트] 2. MNIST 데이터셋 전처리, 시각화

(이번 프로젝트 코드는 패캠 딥러닝 강의를 참고한 코드이다)


<이전 포스팅>
https://silvercoding.tistory.com/3

[MNIST 프로젝트] 1. MNIST 데이터 알아보기

이번에는 RNN모델링을 위한 MNIST 데이터셋 전처리를 한다. 모델링도 중요하지만 이미 훌륭하신 분들이 만들어 놓은 성능 좋은 모델들을 사용하는 것이 대부분이기 때문에 요새 딥러닝에서는 전처리 또한 중요한 부분인 것 같다.


우선 중간중간에 데이터의 크기나 타입, 범위를 확인하는 것이 데이터를 다루는 데에 중요한 습관이라고 한다. 나중에 모든 분석을 끝냈는데 갑자기 손상된 데이터가 있다는 것을 알게되는 경우가 실제로 일어날 수 있고, 따라서 이를 대비해야하기 때문이다.


전처리 시작

(1) 데이터의 범위 확인
저번시간에 MNIST데이터는 0-255로 이루어져 있는 uint8 데이터임을 알았다. 따라서 맞는지 확인해 보도록 하자.
- 0이 아닌 숫자 출력

print(list(filter(lambda x: x != 0, train_images[0].reshape(-1)))[:50]) 
print(list(filter(lambda x: x != 0, test_images[0].reshape(-1)))[:50]) 

MNIST이미지에서 배경부분은 모두 0이었다. 그렇기에 0이 아닌 숫자들만 출력하여 데이터를 확인해보자. 너무 많으니 50개까지만 출력하여 확인했다.

- 최댓값, 최솟값 출력

print(max(train_images.reshape(-1)), min(train_images.reshape(-1)) ) 
print(max(test_images.reshape(-1)), min(test_images.reshape(-1)) )

이번엔 train과 test이미지 전체 숫자중에서 최댓값과 최솟값을 출력해보았다. 둘다 255 0 이 나온다면 이상없음!



(2) data type 변경하기 (정수형 -> 실수형)
딥러닝은 대부분 0과 1사이의 실수형으로 이루어져 있는게 효율적이므로 정수형이었던 MNIST데이터를 실수형으로 바꾸어주는 절차가 필요하다.

test_images = test_images.astype(np.float64) 
train_images = train_images.astype(np.float64)

astype 함수로 타입을 바꾸어줄 수 있다. 위와같이 작성하여 uint8 -> float64 데이터 형변환을 해보았다.
다시 위에서 해보았던 dtype으로 찍어보면 float64로 바뀐 것을 알 수 있다.



(3) normalize (정규화) 하기
normalize작업을 하여 0~1 의 값을 가지도록 변형해주도록 하자.
식은 다음과 같다.
normalize(x) = x - 최솟값 / 최댓값 - 최솟값
normalize(x) = x / 최댓값 (최솟값이 0일 때 : 지금 데이터셋의 경우)
현재 MNIST 는 0-255 의 숫자이므로 밑의 식을 따르면 된다.

train_images = train_images / 255 
test_images = test_images / 255

간단히 최댓값으로 나누어주면 0-1사이의 데이터 값으로 변형이 될 것이다.
이쯤에서 앞에서 작성했던 코드들을 복붙하여 범위, 데이터크기, 데이터 타입을 모두 확인하고 넘어가자!
범위 0-1, 데이터크기 앞과 동일, 이미지 데이터 타입 float64, 라벨 데이터 타입 uint8 이면 모두 정상.





***이미지 여러장 시각화
저번시간에도 했듯이 이미지 하나를 시각화 하는 것은 어렵지 않았다. 그냥 (28, 28) 이미지 한 장이었기 때문이다. 그런데 한번에 5장을 시각화 하려고 할 때는 train_image[:5] 를 뽑아서 시각화하게 되면 오류가 난다.

plt.imshow(train_images[:5])

TypeError: Invalid shape (5, 28, 28) for image data
이렇게 하면 image data로 인식 하지 못한다는 것이다.

따라서 (28, 5 * 28) 형태로 변환해주어야 한다. (이 형태 변환에 대해서는 나중에 자세히 포스팅해야겠다.)

- numpy 의 hstack 사용

np.hstack(train_images[:5]).shape

- transpose 함수 사용

train_images[:5].transpose( (1, 0, 2) ).reshape(28, -1)

hstack이 더 간결해 보이지만 numpy의 함수이므로 한정적이다. tensorflow 에서 제공하는 transpose를 사용하는 것이 더 안정적이다. transpose는 위치를 바꿔주는 함수이다. transpose((1, 0, 2)) : (0, 1, 2) -> (1, 0, 2) : 1번째 자리를 0번째 자리로, 0번째 자리를 1번째 자리로, 2번째 자리는 2번째 그대로 둔다는 의미

이제 이렇게 해서 plt.imshow()에 넣어주면

오류없이 시각화가 잘 된다!




이번에는 MNIST 데이터셋 전처리, 여러장 시각화 하는 방법을 알아보았다. 다음에는 이미지에 노이즈 추가한 후 대망의 모델링을 하여 손글씨를 분류해보는 작업까지 마치도록 하겠다.