Dl04

DL04

DNN

• DNN이란 hidden layer가 많이 있는 NN을 말한다.
• hidden layer가 1개만 있어도 node가 많으면 어느정도 성능이 보장된다.

Vanishing gradient, Exploding Gradient

• 층이 많아졌을 때의 발생하는 문제
• 기울기가 사라지거나 폭발적으로 증가한다.
• ReLU를 Activation function으로 쓰면서 해결

Overfitting

• 과적합되는 문제
• Drop-out, Regularization 등을 통해서 해결할 수 있다.

To Slow to optimize

• 최적화 하기까지 굉장히 오랜 시간이 걸린다.
• SGD(Stochastic Gradient Descent), Adaptive learning rate, Momentum 등을 이용하여 해걸한다.

feedforward

• 모든 parameter들에 대해서 weight들과 곱해준 다음 activation function을 통과시킨 값을 다음 층으로 전달해주는 방식의 학습