[celeba 프로젝트] 3. 모델링, 멀티 아웃풋 모델링

(본 프로젝트 코드는 패캠 딥러닝 강의를 참고한 코드이다)


<이전 포스팅>
https://silvercoding.tistory.com/7

[celeba 프로젝트] 2. celeba 데이터셋 전처리, 시각화

저번 포스팅까지 celeba 데이터셋에 대한 전처리를 모두 마쳤다. 이제 모델링 하는일만 남았다.
그런데 바로 이전 프로젝트였던 mnist 모델은 어느 숫자인지 맞추는 1개의 아웃풋이 나오는 분류기였다.

이번에는 성별과, 웃음 여부 두가지를 맞추어야 한다. 그래서 첫번째로 이를 따로따로 각각 모델을 만들어 보고,  두번째로는 weights는 공유하면서 아웃풋만 다르게 해주는 모델을 만들어 볼 것이다.





각각 모델링 하기
(1) simple model 구현

from keras.models import Model 
from keras.layers import Conv2D, MaxPool2D, Input, Dense, Flatten 
def simple_model(): 
	inputs = Input((72, 59, 3)) 
    x = Conv2D(32, 3, activation='relu')(inputs) 
    x = MaxPool2D(2)(x) 
    x = Conv2D(64, 3, activation='relu')(x) 
    x = MaxPool2D(2)(x) 
    x = Conv2D(64, 3, activation='relu')(x) 
    x = MaxPool2D(2)(x) 
    x = Flatten()(x) 
    x = Dense(64, activation='relu')(x) 
    
    outputs = Dense(2, activation='softmax')(x) 
    model = Model(inputs, outputs) 
    
    return model

두개를 똑같은 모델로 구현할 것이기 때문에 효율적으로 사용하기 위해 함수를 구현해 놓는다.








(2) 모델 생성 및 요약정보 출력
- 모델 생성

gender_model = simple_model() 
smile_model = simple_model()

각각에 대하여 모델을 생성한다.


- 모델 요약 정보 출력

gender_model.summary() 
smile_model.summary()

이렇게 생긴 모델이 2개가 나오게 된다.








(3) loss, optimizer, metrics 설정

gender_model.compile(loss = 'categorical_crossentropy', optimizer = 'adam', metrics = ['accuracy']) 
smile_model.compile(loss = 'categorical_crossentropy', optimizer = 'adam', metrics = ['accuracy'])

이것 또한 동일하게 작성해준다. compile 함수를 이용하여 손실함수는 categorical crossentropy, optimizer는 adam, 평가지표는 정확도로 설정을 해주었다.

-- 두 model 의 weight 확인 해보기

gender_model.get_weights()[0][0][0][0] 
smile_model.get_weights()[0][0][0][0]

두 모델의 weight들을 얻어와보면 다른 것을 알 수 있다. 구조만 같은 모델이고, 서로 독립적으로 학습이 진행된다는 의미이다.







(4) 학습 시키기

gender_hist = gender_model.fit(train_images, train_male_labels, validation_data=(test_images, test_male_labels), epochs=15, verbose=1) 
smile_hist = smile_model.fit(train_images, train_smile_labels, validation_data=(test_images, test_smile_labels), epochs=15, verbose=1)

학습도 역시 각각 따로 시킨다. 라벨 빼고는 이미지 데이터를 비롯해 모두 동일하다.
이 시점에서 weight를 또 불러와 보면 아까와 달라져 있을 것이다. 당연히 두 모델의 weight도 여전히 다를 것이다.


참고로 verbose에 관련된 설명은 여기에 있다
https://silvercoding.tistory.com/5

[MNIST 프로젝트] 3. Noise 추가, RNN 모델링

(5) 학습 결과 확인
- 학습 결과 시각화

plt.plot(gender_hist.history['accuracy'], label = 'gender_accuracy') 
plt.plot(gender_hist.history['loss'], label = 'gender_loss') 
plt.plot(gender_hist.history['val_accuracy'], label = 'gender_val_accuracy') 
plt.plot(gender_hist.history['val_loss'], label = 'gender_val_loss') 

plt.plot(smile_hist.history['accuracy'], label = 'smile_accuracy') 
plt.plot(smile_hist.history['loss'], label = 'smile_loss') 
plt.plot(smile_hist.history['val_accuracy'], label = 'smile_val_accuracy') 
plt.plot(smile_hist.history['val_loss'], label = 'smile_val_loss') 

plt.legend(loc='uppder left') 
plt.show()

히스토리에 저장된 accuracy와 loss를 꺼내서 그래프를 그려보면

나름 괜찮은 모양을 띈다!


--- test image 한장으로 결과 확인해보기

gender_res = gender_model.predict(test_images[77:78]) 
smile_res = smile_model.predict(test_images[77:78]) 

77번째 사진으로 결과를 확인 해보자.

우선 77번째 사진은 위와 같다. 여자 웃음O 일 것으로 추정된다.
결과도 각각 해주어야 한다.

- gender

plt.bar(range(2), gender_res[0], color='red') 
plt.bar(np.array(range(2)) + 0.3, test_male_labels[77]) 
plt.xticks(range(2), ['female', 'male']) 
plt.show()

print(gender_res)

red가 예측, blue가 정답이다. 잘 맞추었다!

- smile

(코드 생략) gender_res ---> smile_res, test_male_labels ---> test_smile_labels 로 바꿔주면 된다.
아주 조금은 unsmiling으로 예측하고 거의 잘 맞춘 것으로 보인다!








(6) 모델 평가
모델 평가도 두개를 따로 해주어야 한다.

gender_model.evaluate(test_images, test_male_labels, verbose=2) 
smile_model.evaluate(test_images, test_smile_labels, verbose=2)

각각 정확도 94%, 89% 로 모델 평가까지 마친다.






그런데 아주 번거롭다. 두개라서 할만했지 만약 더 많은 속성을 분류하고자 했다면 정말 힘들었을 것이다. 모델 생성, 학습, 결과 확인, 평가까지 모두 따로따로 해주어야 한다. 그래서 멀티 아웃풋 모델링으로 학습을 해보려고 한다.



멀티 아웃풋 모델링
우선 아이디어는 output 이전까지는 다 같으니 똑같이 작성하고, output만 다르게 작성해준다는 것이다.

- 방법 1

from keras.models import Model 
from keras.layers import Conv2D, MaxPool2D, Input, Dense, Flatten, Concatenate 
def multi_model(): 
	inputs = Input((72, 59, 3)) 
    l1 = Conv2D(32, 3, activation='relu')(inputs) 
    l2 = MaxPool2D(2)(l1) 
    l3 = Conv2D(64, 3, activation='relu')(l2) 
    l4 = MaxPool2D(2)(l3) 
    l5 = Conv2D(64, 3, activation='relu')(l4) 
    l6 = MaxPool2D(2)(l5) 
    l7 = Flatten()(l6) 
    latent_vector = Dense(64, activation='relu')(l7) 
    
    gender_outputs = Dense(2, activation='softmax')(latent_vector) 
    smile_outputs = Dense(2, activation='softmax')(latent_vector) 
    
    outputs = Concatenate(axis=1)([gender_outputs, smile_outputs]) 
    model = Model(inputs, outputs) 
    
    return model

(1) 모델 생성 및 요약정보 출력

# 모델 생성
model = multi_model() 
# 모델 요약정보 
model.summary()

(None, 4)로 최종 아웃풋이 1개


(2) loss, optimizer, metrics 설정

model.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

전과 같이 해준다.

(3) 모델 학습

hist1 = model.fit(train_images, train_labels2, validation_data=(test_images, test_labels2), epochs=15, verbose=1)

(4) 결과 그래프

그래프가 굉장히 이상하다. loss가 accuracy 보다 높다. 오!



(5) 예측 확인 (테스트 데이터셋 사진 한장 확인해보기)

res = model.predict(test_images[77:78]) print(res2.shape)

res의 shape 은 (1, 4) 가 나온다.

77번째 사진은

이분이시고, 잘 예측하는지 시각화하여 확인을 해보자.

plt.bar(range(4), res[0]) 
plt.bar(np.array(range(4)) + 0.3, test_labels2[77]) 
plt.show()

 

77번째 이미지는 예상과 다르게 잘 맞춘 것 같다. 결과 그래프는 아주 이상했는데 꽤 맞추긴 하나보다.

(6) 모델 평가

model.evaluate(test_images, test_labels2, verbose=2)

엄청난 loss와 정확도 60%로 방법 1의 모델 평가까지 마쳤다. 한번에 합쳐서 모델링을 하려면 다른 조치가 더 필요해 보인다.






-방법 2

from keras.models import Model 
from keras.layers import Conv2D, MaxPool2D, Input, Dense, Flatten, Concatenate 
def multi_model(): 
	inputs = Input((72, 59, 3)) 
    l1 = Conv2D(32, 3, activation='relu')(inputs) 
    l2 = MaxPool2D(2)(l1) 
    l3 = Conv2D(64, 3, activation='relu')(l2) 
    l4 = MaxPool2D(2)(l3) 
    l5 = Conv2D(64, 3, activation='relu')(l4) 
    l6 = MaxPool2D(2)(l5) 
    l7 = Flatten()(l6) 
    latent_vector = Dense(64, activation='relu')(l7) 
    
    gender_outputs = Dense(2, activation='softmax')(latent_vector) 
    smile_outputs = Dense(2, activation='softmax')(latent_vector) 
    
    model = Model(inputs, [gender_outputs, smile_outputs]) 
    
    return model

여기서는 gender_outpus와 smile_outputs를 concatenate해주지 않고, model에 리스트로 묶어 바로 넣어준다. 파라미터의 개수는 절반으로 줄여주면서 처음에 했던 각각 모델링과 같은 형태의 결과가 나오게 해준다.


(1) 모델 생성 및 요약정보 출력

# 모델 생성 
model2 = multi_model() 
# 모델 요약정보 
model2.summary()

(None, 2) (None, 2) 로 최종 아웃풋이 2개


(2) loss, optimizer, metrics 설정

model2.compile(loss='categorical_crossentropy', optimizer='adam', metrics=['accuracy'])

똑같이 설정!



(3) 모델 학습

hist2 = model2.fit(train_images, [train_male_labels, train_smile_labels], validation_data=(test_images, [test_male_labels, test_smile_labels]), epochs=15, verbose=1)

(4) 결과 그래프

각각 모델링 했을 때와 비슷한 형태로 나옴을 알 수 있다.


(5) 예측 확인 (테스트 데이터셋 사진 한장 확인해보기)
아까와 같은 77번째 이미지를 예측해본다.

res2 = model2.predict(test_images[77:78]) print(res[0].shape, res[1].shape)

여기서는 아웃풋이 2개이기 때문에 각각 출력해주면 (1, 2) (1, 2) 이러한 형태가 나오게 된다.
res2를 출력해보면,
[array([[9.999993e-01, 6.897806e-07]], dtype=float32),
array([[0.01424873, 0.9857512 ]], dtype=float32)] 이러한 형태가 나오게 되는 것이다.

코드는 위에서 살짝 바꿔주면 되니 생략하고, 각각 그래프를 그려보면

성별은 여자, 100%는 아니지만 웃는 사람으로 잘 판별 하는 것을 볼 수 있다.



(6) 모델 평가

model2.evaluate(test_images, [test_male_labels, test_smile_labels], verbose=2)

너무 길어서 짤렸다. 결과는 두 성별, 웃음 모델 모두 정확도 91% 정도로 나왔다. 제일 높게 나왔다!


(7) 모델 분리 해보기

gender_model2 = Model(inputs = model2.input, outputs = model2.get_layer('dense_5').output) 
gender_model2.summary()

smile_model2 = Model(inputs = model2.input, outputs = model2.get_layer('dense_6').output) 
smile_model2.summary()

model2에서 input과 gender_outputs, smile_oupts에 해당했던 layer를 get_layer를 통해 얻어와서 모델을 생성해주면 된다.
summary를 해보면 가장 처음에 했던 각각 모델링에서의 형태와 같게 나온다.


- weights 확인 해보기

smile_model2.get_weights()[0][0][0][0] 
gender_model2.get_weights()[0][0][0][0]

각각모델링에서 weights를 확인해 보았을 때는 서로 달랐다. 하지만 model2에서 weights를 공유하고 분리를 해준 위의 모델은 weights가 같은 것을 알 수 있다.



(8) 모델 저장 및 불러오기

# 모델 저장
model2.save("./multimodel.h5")

# 모델 불러오기 
model3 = tf.keras.models.load_model('./multimodel.h5')

이름 설정하고 h5로 저장하고 불러오기!


--- 코랩을 사용했다면 컴퓨터에 모델 저장하는 코드

from google.colab import files 
files.download('./multimodel.h5')

결론적으로
파라미터 개수 => 각각 모델링 (총 약 40만개) > 멀티 아웃풋 모델링 (약 20만개)
절반이 줄어들기 때문에 같은 형태의 모델의 아웃풋만 달리 해줄 때는 멀티 아웃풋 모델링이 더 효율적이라고 생각한다.


방법1 vs 방법2
방법 1 은 아웃풋이 1개 (None, 4) , 방법2는 아웃풋이 2개 (None, 2) (None, 2) (각각 모델링과 같음)
방법1은 이미지 한장은 잘 분류한 것 같은데, loss나 accuracy가 이상해서 조치를 더 취해주거나, 조금 더 알아볼 필요가 있을 것 같다.