생각날때마다 올리는 블로그

Introduction CS231n 과제 1번의 두번째가 Linear SVM을 구현하는 것입니다. 편의상 Delta=1로 두고 구현을 하고 있고, 이거 감안해서 봐주시면 감사하겠습니다. Forward Pass와 Backpropagation을 구현하는 것이 핵심 토픽인데, 반복문 버전이랑 벡터화 버전이 있습니다. 반복문 버전은 뭐... 쉽게 할 수 있으니 넘어가고, 벡터화버전에 대해서 알아보도록 하겠습니다. Forward Pass (Using iteration) 먼저, 반복문 버전의 코드부터 봅시다. 일단 loss는 Margin들의 합임을 알 수가 있고, margin을 계산하기 위해서는 정답의 값이 필요함을 알 수 있습니다. 코드를 보면, class 개수만큼 반복문을 돌면서 margin을 계산하는 것을 알..

Introduction 이 글을 읽는 분들께서는 Batch Normalization이 무엇인지, 어디 쓰는지, 어떻게 쓰는지 등에 대해 기초적인 것은 알고 있다고 생각하고 skip 하도록 하겠습니다. Forward Pass와 Backpropagation 식을 Trace trick을 활용하여 유도하고, 실제 구현을 해보겠습니다. 대부분 CS231n assignment2의 expression을 따라갑니다. (변수, 표기 등을 의미합니다.) Forward Pass 뭐.. 유명한 그림 있죠? 논문의 그림 그대로 긁어오겠습니다. 국룰 공식입니다. 근데, 이거 보면 잘 이해가 안 될 수 있으니(저만 그럴수도 ㅎ) 조금 더 보충설명을 하겠습니다. 이쪽 보충설명을 해야, 추후 gradient 유도할 때 안 헷갈립니다...

Proof는 모두 비워놓았고, 한 페이지에 정리나 정의를 하나씩 넣음으로써 필기나 기록하기 좋게 해놓았습니다. 학교 수업 혹은 개인 공부 때 사용하시면 좋을 듯 합니다. 예제는 대부분 적지 않았습니다. 오타 및 지적 사항 있으시면 댓글 주세요.

과제 제출용으로 작성하였습니다. 문의사항 / 정정사항등은 댓글로 달아주세요.

Proof는 모두 비워놓았고, 한 페이지에 정리나 정의를 하나씩 넣음으로써 필기나 기록하기 좋게 해놓았습니다. 학교 수업 혹은 개인 공부 때 사용하시면 좋을 듯 합니다. 예제는 일부 작성하였습니다.

Motivation 학교에서 딥러닝 수업을 수강하고 있던 도중, $$\dfrac{\partial L}{\partial W}=\dfrac{\partial L}{\partial z} x^T,\quad \dfrac{\partial L}{\partial \mathbf{x}}=W^T \dfrac{\partial L}{\partial z}$$ 라는 내용을 보게 되었다. 일반적으로 Chian rule은 $\dfrac{\partial y}{\partial x}=\dfrac{\partial y}{\partial z}\cdot\dfrac{\partial z}{\partial x}$로 작성하는데, 아래에 있는 것 때문에 순서가 바뀐다는 것 자체가 좀 이상하지 않나?라는 생각이 들었다. 물론 gradient descent 과..

뭐 물론 solution이 있지만... 과제 제출용으로 작성하였습니다. 문의사항 / 정정사항등은 댓글로 달아주세요.

Proof는 모두 비워놓았고, 한 페이지에 정리나 정의를 하나씩 넣음으로써 필기나 기록하기 좋게 해놓았습니다. 학교 수업 혹은 개인 공부 때 사용하시면 좋을 듯 합니다. 예제는 적지 않았습니다. 실제 학교 해석학II의 진도에 맞게 Chapter 7 ~ 8까지 작성 예정입니다. 오타 및 지적 사항 있으시면 댓글 주세요.

Proof는 모두 비워놓았고, 한 페이지에 정리나 정의를 하나씩 넣음으로써 필기나 기록하기 좋게 해놓았습니다. 학교 수업 혹은 개인 공부 때 사용하시면 좋을 듯 합니다. 예제는 적지 않았습니다. 현재 5-1까지 작업했으며, 추후 5-3까지 작업 예정입니다. (학교 진도에 따라 더 많이 할수도, 더 적게 할 수도 있습니다.) LA 2를 오랜만에 하시는분들은 LA 1의 내용을 까먹을 수도 있어 가장 중요한 2단원에 대한 몇몇 내용들은 증명 없이 Remark로 작성해두었습니다. 오타 및 지적 사항 있으시면 댓글 주세요.

과외용으로 작성했었던 문제풀이집입니다. 참고하실 분들은 참고하세요.