11주차

10주차 - 제주도 휴가

100,000번 iteration으로 학습된 weight (W1~W19)와 bias(B1~B19)를 한번 더 학습시키기 위해 vgg3_retrain.py 파일에 구성하였음.

saver = tf.train.Saver() saver.restore(sess, tf.train.latest_checkpoint('./vgg3/3')) print("Model restored.")

checkpoint로 마지막 weight 와 bias를 받아와서 재학습. - 재학습 시스템 잘 작동함.

<2018.03.26. 월>

Cost func. Euclidean, L1 norm으로 변경시켜보기

softmax loss가 아닌 Euclidean, L1 norm을 loss func. 으로 사용하여 cost의 변화를 비교해보면 좋을 것 같다. 왜냐하면 softmax loss는 label 픽셀 값이 97인데 prediction 값이 98인 것과 251인 것의 차이가 없기때문에 (즉, '맞았거나 틀렸다' 만 학습정보로 사용) 98로 prediction되면 cost 값을 낮추고 251로 prediction 되면 cost 값을 높이자는 취지이다.

학습상태

같은 영역에서 Blur image의 pixel 값과 original image의 pixel 값 차이가 5이하로 나는데 학습 후에 픽셀값 오차가 대부분 5 내외에서 분포하게 된다면 prediction image가 그냥 대부분 뿌옇게 나오는 현상이 발생하여 학습이 제대로 되지 않았다고 생각 할 수 있지 않냐는 교수님의 추측이 있었다. 정확한 것은 이미지를 띄워서 보아야 할 것이다.

실제로 블러이미지와 원래이미지들 사이의 픽셀값을 비교했을 때 원래 흐리거나 배경영역은 5 내외의 차이를 보였고 Edge가 있는 부분에서는 30~50 같은 큰 값으로 차이가 났다.

<2018.03.27. 화>

Deblur result

<그림 1. 왼쪽 상단: Latent image, 오른쪽 상단: Blurred image, 가운데 하단: Deblurred result>

Vgg19로 학습을 시킨 파라미터들을 불러와서 디블러시킨 이미지를 띄워 봤는데 결과가 좋지 않다. 학습이 되지 않은 것이다. 이후 첫번째 시도해야 할 방법으로는 softmax가 아닌 Euclidean 또는 L1 norm을 사용하여 학습시키는 것이고 두번째 시도해야할 방법은 Network 구조를 LISTA 처럼 바꾸는 것이다. LISTA 논문은 Yann lecun 그룹에서 나온 논문인데 Proximal gradient가 수차례의 iteration 과정을 거쳐 optimal point에 수렴하는 과정을 Deep Network에서 비슷하게 작동하도록 Deep Network 구조를 바꾼 것이다.

Pixel values

<그림 2. 상단: Latent image, 가운데: Blurred image, 하단: 두 이미지 사이의 픽셀 값 차의 히스토그램>

위 그림에서 히스토그램을 보면 원래이미지와 블러이미지 간의 차이가 어떻게 나는지 통계적으로 볼 수 있는데 이미지의 픽셀값 차이가 대부분 10 또는 20 내외이다. 이 말은 블러가 되어도 대부분의 픽셀 값 차이는 많이 나지 않으므로 픽셀 값을 정확하게 추정하지 못한다면 똑같이 블러된 이미지를 만들게 된다는 이야기이다.

지금까지 학습해 보았을 때 픽셀값의 차이가 70%는 10 내외로 차이가 나서 학습이 잘 된줄 알았으나 정확한 픽셀 값을 찾지 못하였기 때문에 블러를 지우지 못하고 그림 1. 결과이미지에서 보듯 블러된 이미지를 더 블러시킨 결과가 나오지 않았나 라고 추정된다.

<2018.03.30. 금>

Cost func. 변경

softmax loss가 아닌 L2 norm을 loss func. 으로 사용하여 학습시켰을 때의 결과 이미지들이 아래에 나와있다.

<그림 3. 왼쪽 상단: Latent image, 오른쪽 상단: Blurred image, 가운데 하단: Deblurred result>

L1 norm을 loss func. 으로 사용하여 학습시켰을 때의 결과 이미지들이 아래에 나와있다.