chain rule1 [CS231n] Lecture 4 | Introduction to Neural Networks {지난 시간} ... score function에 대해서 SVM의 loss인 hinge loss에 대해서 softmax의 loss인 cross entropy loss에 대해서 규제(regularizaiton)에 대해서 최적화(optimization)에 대해서 경사하강법에 대해서 ... 배웠다! 일반적으로 계산하는 방법은 numerical 방법이다. 근데 이건 속도가 느리고 정확하지 않다는 단점이 있다. 그래서 우리는 해석적 방법(분석적 방법)인 analytic 방법을 많이 사용하고 보통 gradient check를 할 때 numerical gradient를 사용한다고 배웠다. 앞에서 배웠던 것을 그림으로 표현하면 이와 같이 된다. Wx가 곱해져서 들어오고 그 score 값을 function에다가 넣고 거.. 2020. 11. 14. 이전 1 다음
