save the world

Model Output Check 학습모델의 최종결과인 l5를 확인하기위해 l5를 numpy.array로 받았는데 몇번의 iteration 후 모든 픽셀의 값이 0으로 나왔다. 원인을 찾기위해 weight 값 (커널)을 확인하려고 tensorboard를 사용했다(아래문단).Tensorboard: Weight Histogram 텐서보드에서 첫번째 레이어의 weight값이 한번 학습했을 때 아주 크게 변하는 것을 확인하고 이를 장기적인 측면에서 확인하고자 텐서보드를 사용하여 그래프로 보고싶었다. weight값을 텐서보드로 넘기기 위해서 모든 weight값을 저장하기위해 tf.summary.histogram("w1_summ", w1) 명령어를 사용하고 실행하였더니 InvalidArgumentError: Nan..

Step Size Step size를 N/2회까지는 alpha로 하고 0.75N까지는 alpha/10로하고 N까지는 alpha/100으로 한다. 이렇게 step size를 유동적으로 만들면 처음에 Stochastic Gradient Descent의 랜덤성으로 인한 효과로 대략적인 수렴구간을 찾게되고 이후 값이 진동하는 것을 막기위해 step size를 줄인다. for j in range(100): for i in range(100): sess.run(train_op, feed_dict={learning_rate: stepSize, p_keep_conv: 0.8, p_keep_hidden: 0.5}) if (i+1)*(j+1) == 10000 / 2: stepSize = 0.1 * stepSize elif..