생각날때마다 올리는 블로그

과제 제출용으로 작성하였습니다. 문의사항 / 정정사항등은 댓글로 달아주세요.

Proof는 모두 비워놓았고, 한 페이지에 정리나 정의를 하나씩 넣음으로써 필기나 기록하기 좋게 해놓았습니다. 학교 수업 혹은 개인 공부 때 사용하시면 좋을 듯 합니다. 예제는 일부 작성하였습니다.

Motivation 학교에서 딥러닝 수업을 수강하고 있던 도중, $$\dfrac{\partial L}{\partial W}=\dfrac{\partial L}{\partial z} x^T,\quad \dfrac{\partial L}{\partial \mathbf{x}}=W^T \dfrac{\partial L}{\partial z}$$ 라는 내용을 보게 되었다. 일반적으로 Chian rule은 $\dfrac{\partial y}{\partial x}=\dfrac{\partial y}{\partial z}\cdot\dfrac{\partial z}{\partial x}$로 작성하는데, 아래에 있는 것 때문에 순서가 바뀐다는 것 자체가 좀 이상하지 않나?라는 생각이 들었다. 물론 gradient descent 과..