생각날때마다 올리는 블로그

Introduction CS231n 과제 1번의 두번째가 Linear SVM을 구현하는 것입니다. 편의상 Delta=1로 두고 구현을 하고 있고, 이거 감안해서 봐주시면 감사하겠습니다. Forward Pass와 Backpropagation을 구현하는 것이 핵심 토픽인데, 반복문 버전이랑 벡터화 버전이 있습니다. 반복문 버전은 뭐... 쉽게 할 수 있으니 넘어가고, 벡터화버전에 대해서 알아보도록 하겠습니다. Forward Pass (Using iteration) 먼저, 반복문 버전의 코드부터 봅시다. 일단 loss는 Margin들의 합임을 알 수가 있고, margin을 계산하기 위해서는 정답의 값이 필요함을 알 수 있습니다. 코드를 보면, class 개수만큼 반복문을 돌면서 margin을 계산하는 것을 알..

Introduction 이 글을 읽는 분들께서는 Batch Normalization이 무엇인지, 어디 쓰는지, 어떻게 쓰는지 등에 대해 기초적인 것은 알고 있다고 생각하고 skip 하도록 하겠습니다. Forward Pass와 Backpropagation 식을 Trace trick을 활용하여 유도하고, 실제 구현을 해보겠습니다. 대부분 CS231n assignment2의 expression을 따라갑니다. (변수, 표기 등을 의미합니다.) Forward Pass 뭐.. 유명한 그림 있죠? 논문의 그림 그대로 긁어오겠습니다. 국룰 공식입니다. 근데, 이거 보면 잘 이해가 안 될 수 있으니(저만 그럴수도 ㅎ) 조금 더 보충설명을 하겠습니다. 이쪽 보충설명을 해야, 추후 gradient 유도할 때 안 헷갈립니다...

Proof는 모두 비워놓았고, 한 페이지에 정리나 정의를 하나씩 넣음으로써 필기나 기록하기 좋게 해놓았습니다. 학교 수업 혹은 개인 공부 때 사용하시면 좋을 듯 합니다. 예제는 대부분 적지 않았습니다. 오타 및 지적 사항 있으시면 댓글 주세요.