🤍

(이번 프로젝트 코드는 패캠 딥러닝 강의를 참고한 코드이다)


<이전 포스팅>
https://silvercoding.tistory.com/3

이번에는 RNN모델링을 위한 MNIST 데이터셋 전처리를 한다. 모델링도 중요하지만 이미 훌륭하신 분들이 만들어 놓은 성능 좋은 모델들을 사용하는 것이 대부분이기 때문에 요새 딥러닝에서는 전처리 또한 중요한 부분인 것 같다.


우선 중간중간에 데이터의 크기나 타입, 범위를 확인하는 것이 데이터를 다루는 데에 중요한 습관이라고 한다. 나중에 모든 분석을 끝냈는데 갑자기 손상된 데이터가 있다는 것을 알게되는 경우가 실제로 일어날 수 있고, 따라서 이를 대비해야하기 때문이다.


전처리 시작

(1) 데이터의 범위 확인
저번시간에 MNIST데이터는 0-255로 이루어져 있는 uint8 데이터임을 알았다. 따라서 맞는지 확인해 보도록 하자.
- 0이 아닌 숫자 출력

print(list(filter(lambda x: x != 0, train_images[0].reshape(-1)))[:50]) 
print(list(filter(lambda x: x != 0, test_images[0].reshape(-1)))[:50]) 

MNIST이미지에서 배경부분은 모두 0이었다. 그렇기에 0이 아닌 숫자들만 출력하여 데이터를 확인해보자. 너무 많으니 50개까지만 출력하여 확인했다.

- 최댓값, 최솟값 출력

print(max(train_images.reshape(-1)), min(train_images.reshape(-1)) ) 
print(max(test_images.reshape(-1)), min(test_images.reshape(-1)) )

이번엔 train과 test이미지 전체 숫자중에서 최댓값과 최솟값을 출력해보았다. 둘다 255 0 이 나온다면 이상없음!



(2) data type 변경하기 (정수형 -> 실수형)
딥러닝은 대부분 0과 1사이의 실수형으로 이루어져 있는게 효율적이므로 정수형이었던 MNIST데이터를 실수형으로 바꾸어주는 절차가 필요하다.

test_images = test_images.astype(np.float64) 
train_images = train_images.astype(np.float64)

astype 함수로 타입을 바꾸어줄 수 있다. 위와같이 작성하여 uint8 -> float64 데이터 형변환을 해보았다.
다시 위에서 해보았던 dtype으로 찍어보면 float64로 바뀐 것을 알 수 있다.



(3) normalize (정규화) 하기
normalize작업을 하여 0~1 의 값을 가지도록 변형해주도록 하자.
식은 다음과 같다.
normalize(x) = x - 최솟값 / 최댓값 - 최솟값
normalize(x) = x / 최댓값 (최솟값이 0일 때 : 지금 데이터셋의 경우)
현재 MNIST 는 0-255 의 숫자이므로 밑의 식을 따르면 된다.

train_images = train_images / 255 
test_images = test_images / 255

간단히 최댓값으로 나누어주면 0-1사이의 데이터 값으로 변형이 될 것이다.
이쯤에서 앞에서 작성했던 코드들을 복붙하여 범위, 데이터크기, 데이터 타입을 모두 확인하고 넘어가자!
범위 0-1, 데이터크기 앞과 동일, 이미지 데이터 타입 float64, 라벨 데이터 타입 uint8 이면 모두 정상.





***이미지 여러장 시각화
저번시간에도 했듯이 이미지 하나를 시각화 하는 것은 어렵지 않았다. 그냥 (28, 28) 이미지 한 장이었기 때문이다. 그런데 한번에 5장을 시각화 하려고 할 때는 train_image[:5] 를 뽑아서 시각화하게 되면 오류가 난다.

plt.imshow(train_images[:5])

TypeError: Invalid shape (5, 28, 28) for image data
이렇게 하면 image data로 인식 하지 못한다는 것이다.

따라서 (28, 5 * 28) 형태로 변환해주어야 한다. (이 형태 변환에 대해서는 나중에 자세히 포스팅해야겠다.)

- numpy 의 hstack 사용

np.hstack(train_images[:5]).shape

- transpose 함수 사용

train_images[:5].transpose( (1, 0, 2) ).reshape(28, -1)

hstack이 더 간결해 보이지만 numpy의 함수이므로 한정적이다. tensorflow 에서 제공하는 transpose를 사용하는 것이 더 안정적이다. transpose는 위치를 바꿔주는 함수이다. transpose((1, 0, 2)) : (0, 1, 2) -> (1, 0, 2) : 1번째 자리를 0번째 자리로, 0번째 자리를 1번째 자리로, 2번째 자리는 2번째 그대로 둔다는 의미

이제 이렇게 해서 plt.imshow()에 넣어주면

오류없이 시각화가 잘 된다!




이번에는 MNIST 데이터셋 전처리, 여러장 시각화 하는 방법을 알아보았다. 다음에는 이미지에 노이즈 추가한 후 대망의 모델링을 하여 손글씨를 분류해보는 작업까지 마치도록 하겠다.

(이번 프로젝트 코드는 패캠 딥러닝 강의를 참고한 코드이다)

오늘 알아볼 데이터는 딥러닝 입문 때 무조건 배우는 유명한 이미지 데이터인 MNIST 데이터셋이다. 

사진과 같이 손으로 직접 쓴 숫자들로 이루어진 대형 데이터베이스이다. 이번 딥러닝 첫 프로젝트로는 RNN으로 MNIST데이터를 분류해내는 작업을 진행할 것이다. 

<MNIST 데이터 다운받기>

http://yann.lecun.com/exdb/mnist/

여기서 데이터를 다운받을 수 있다.

나는 사이트에서 다운받지 않고, keras의 dataset에서 지원해주는 여러 데이터들 중 MNIST도 있기 때문에 코드로 데이터를 불러올 것이다. 

(1) mnist 데이터 불러오기 

mnist = keras.datasets.mnist
((train_images, train_labels), (test_images, test_labels) = mnist.load_data()

(2) MNIST 데이터 크기 알아보기 

print(f"train_images: {train_images.shape}")
print(f"train_labels: {train_labels.shape}")

print(f"test__images: {test_images.shape}")
print(f"test_labels: {test_labels.shape}")

데이터 크기는 shape으로 알아볼 수 있다. 위와같이 출력하면 train image는 총 60000장, test image는 총 10000장으로 구성된 것을 알 수 있다.  

이미지가 (60000, 28, 28) 인 것은 총 60000장, 크기가 28x28인 이미지라는 뜻이다. 

 (3) 사진 출력해보기 

plt.figure()
plt.imshow(train_images[7777], cmap='gray') # 이미지 시각화, 흑백으로 출력
plt.colorbar() # 우측 컬러바 생성
plt.grid(True) # grid 생성 
plt.show()
print(train_labels[7777]) # 라벨 출력

7을 좋아하기 때문에 7777번째 사진을 출력해 봤다. 

그랬더니 이런 그림이 나왔다. 8처럼 생겼고, 라벨을 출력한 결과도 8이 나왔다. 

(4) MNIST 데이터셋의 data type 알아보기

print(train_images.dtype)
print(train_labels.dtype)
print(test_images.dtype)
print(test_labels.dtype)

data의 type을 알기 위해 dtype을 사용해준다. 위와 같이 출력하면 모두 uint8 이 나오는 것을 알 수 있다. uint8이 무슨 타입인지 궁금해서 구글링 해보았더니 unsigned interger 이므로 양수만 표현하는 타입이며, 0-255 사이의 정수형 타입이다. 2^8 개수만큼 표현이 가능하다. 

numpy관련 data type 참고자료

https://numpy.org/doc/stable/user/basics.types.html

여기까지 MNIST데이터에 대하여 알아보았다. 총 정리하자면 train 60000장 크기 28x28, test 10000장 크기 28x28 인 손글씨 데이터셋이다. 기본 data type은 uint8임을 알 수 있다. 

딥러닝 프로젝트를 진행을 하며 여러 데이터셋을 분석해 볼것이지만 데이터셋과 친해지는 것도 중요한 부분인 것 같아 따로 포스팅을 했다. 이제 다음에는 MNIST 데이터를 더 자세히 알아보고 전처리 하며 모델링을 할 수 있는 상태로 만들어주는 포스팅을 할 예정이다. 

오늘은 딥러닝이 무엇인가에 관한 내용을 적어볼 것이다.
학부생활을 하면서 딥러닝을 여러번 배워오긴 했지만 모델을 만들고 코드를 짤 때도 깊게 들어가본 적이 없는 것 같아
딥러닝을 실습 하면서도 이게 맞는 건가 의문이 들 때가 많았다. 이번기회에 딥러닝이 무엇인지 정확히 알고 써먹어야 겠다는 생각을 했고, 그 후에는 딥러닝과 관련된 여러 프로젝트를 진행할 예정이다.


오늘은 딥러닝에 대하여 아주 가볍게 알아보는 시간으로 딥러닝의 개념과 원리에 대한 내용을 포스팅 할것이다.
(패스트 캠퍼스의 강의내용 + 개인적인 자료조사 의 도움을 받았다 + 개인적인 의견)

• 딥러닝 도입의 초장기 시절

패캠 강의에서 딥러닝 기사를 넣어놓으신 걸 보고 나도 직접 기사를 찾아봤다. 딥러닝을 치고 오래된 순으로 정렬해보니 2013년이 가장 첫 기사였다. 2014년 경 부터는 딥러닝에 관한 긍정적인 기사들이 많았다. 딥러닝이 모든 문제의 해결방안이 될것이라는 기대감이 있었으며 언론에서도 그렇게 소개를 했다고 한다. 이때까지만 해도 딥러닝은 추상적인 개념이었고, 딥러닝이 무엇인지는 잘 알려져있지 않았으나 점점 이슈가 되고 있고 외국에서 사용하고 있기 때문에 이 기술을 꼭 사용해야만 한다는 느낌으로 조명을 받았다고 한다. 과거 퍼셉트론과 같은 뉴럴넷이 망해본 적이 있었기에 당시 몇몇의 일부 현업 개발자들은 반신반의 하며 거리를 조금 두기도 했다고 한다.


그로부터 5 - 6년 뒤 최근에는 이러한 딥러닝 기술을 도입하여 시장을 만들어내고 있고 여러 성과를 거두었으며, 여러 연구사례들이 존재하게 되어 이제 우리나라도 추상적인 개념에서 점점 실체화, 구체화 되어가고 있는 추세이다. 실제로 현재는 딥러닝 기술로 음성인식, 뉴스분석 등 대기업에서도 주로 사용하는 기술이 되었으니 과거처럼 망할 일은 없겠다! 취업문은 아직 넓다고 할 수는 없다고 하지만 핫한 분야인 건 확실하다.


현재의 딥러닝에 이르기 까지의 여러 방법들. neural network(1960년대 perceptron 문제가 생겨서 망함, 이 후MLP는 perceptron을 모방하였지만 문제가 다시 생김 -> 그 후 현재 딥러닝), decision Tree(효과적으로 if문 사용, 현재도 잘 나가고 있음 ), Support Vector Machine(강력한 모델임), Logistic Regression 등등 정말 많다.

• 그래서 딥러닝이 뭘까

지식백과 : 다층구조 형태의 신경망을 기반으로 하는 머신 러닝의 한 분야로, 다량의 데이터로부터 높은 수준의 추상화 모델을 구축하고자 하는 기법이다.

인공지능이 가장 큰 개념, 그다음 머신러닝, 그다음 딥러닝
엄밀히 말하자면 딥러닝은 인공지능의 일부이면서 머신러닝의 여러 기법중의 하나이다.


그러면 도대체 머신러닝이 뭔데 어떠한 원리로 기계 학습을 한다는 건지?

*** 간단한 딥러닝의 원리 *** (이건 다음 글에 자세하게)
ML (Machine Learning) : 주어진 데이터나 과거 용례를 통하여 문제에 대한 해결 성능을 최대화 하는 것
Role of Statistics : Inference from samples
Role of Computer Science : 최적화 문제 해결, 추론을 위한 모델을 구성하고 평가
----> 그러니까 과거의 데이터를 이용해서 기계를 학습시키는 것이다! 통계 + 컴퓨터 사이언스인데, 통계의 역할은 샘플을 추론하는 것, 컴퓨터 사이언스의 역할은 모델을 어떻게 최적화시킬 것인지를 해결하고, 추론을 하기 위해서 모델을 구현해내는 것이다. 나는 머신러닝이라는 것을 데이터셋을 이용하여 최적화된 모델(알고리즘)을 만들어내는 것? 찾아내는 것? 정도로 이해하고 있다.

조금 더 말하면 우리가 해야할 것은 computation을 어떻게 구현해 내는가 이다.
여기서 computation -> 손으로 8을 쓰면 사람은 숫자 8이다! 라며 알아보지만 컴퓨터는 알아보지 못한다. 여기서 어떤 computation을 취해야 컴퓨터가 인식을 할 수 있는가? 이걸 해결하고 싶은 것이다.



이때 computation 을 구현하는 데 있어서 프로그래밍 vs 딥러닝
-> 프로그래밍 : 규칙을 코딩한다. (if문을 엄청 복잡하게써야함. ) ex. 만약 위에도 둥그런 모양 밑에도 동그런 모양이면 -> 3또는 8 ,,,, 이런식으로! 이 rule을 유지보수하고 방대한 양의 if문을 사용해야 하기에 기각.
-> 딥러닝 : 모델을 디자인한다. 모델을 만들어내고, 이 모델에 input(데이터)이 들어가서 모델을 거치면 output(예측값)이 나온다.





*** 딥러닝이 주로 다루는 문제들 ***
딥러닝이 주로 다루는 문제들에 대하여 알아보자.

Association Rule Mining
- 이름대로 연관 규칙을 찾아주는 기법이다. ex, 핸드폰을 구입하는 사람은 핸드폰 케이스도 함께 주문하지 않을까. 술을 사면 안주도 함께 사지 않을까. 와 같은 느낌. 연관이 있지만 우리가 미처 발견하지 못했던 그런 규칙을 찾아내는 방법이다.

Supervised Learning
- 학습셋이 주어짐
- 학습셋에 정답이 labeled되어있음
- 주어진 학습셋을 근거로 학습
- 새로운 데이터가 들어오면 정답을 예측

----> 문제와 정답이 함께 주어지는 것이다!
대표적으로 - classification (분류/ 앞서 말했던 숫자 8을 예측하는 것처럼 카테코리컬한 데이터)
- Regression (회귀/보통 연속적인 값을 맞추려고 할 때)

Unsupervised Learning
- 데이터가 주어짐 (unlabeled, labelled)
- 주어진 데이터의 정보를 활용, 패턴을 추출하거나 관계를 구성
- 명확하게 정해진 정답은 없음

----> 문제 자체로 학습, 정답을 참조하지 않는다!
대표적으로 - Clustering
- Feature Extraction -> 문제가 주어질때 문제의 핵심 요소들이 무엇인지 추출
- Dimensionality Reduction -> 차원을 줄여준다

Reinforcement Learning
: 과거 머신러닝이 못했던 것이며, 현재 딥러닝이 잘하는 기법, 최근에 알파고에 적용되었던 기술로 조명받음!
- Unsupervised Learning 의 일종
- 그러나 정해진 데이터에 의해 학습되어지는 것은 아님
- 보상/ 벌점의 개념을 모델링
- 그 후 모델의 행위에 맞게 일어나는 경험을 학습

----> Agent가 Action을 하면 변화된 Environment를 보고 잘했다 못했다 평가해서 보상(reward)을 주는것 반복하여 학습