Batch normalization Forward Pass & Backpropagation
Introduction 이 글을 읽는 분들께서는 Batch Normalization이 무엇인지, 어디 쓰는지, 어떻게 쓰는지 등에 대해 기초적인 것은 알고 있다고 생각하고 skip 하도록 하겠습니다. Forward Pass와 Backpropagation 식을 Trace trick을 활용하여 유도하고, 실제 구현을 해보겠습니다. 대부분 CS231n assignment2의 expression을 따라갑니다. (변수, 표기 등을 의미합니다.) Forward Pass 뭐.. 유명한 그림 있죠? 논문의 그림 그대로 긁어오겠습니다. 국룰 공식입니다. 근데, 이거 보면 잘 이해가 안 될 수 있으니(저만 그럴수도 ㅎ) 조금 더 보충설명을 하겠습니다. 이쪽 보충설명을 해야, 추후 gradient 유도할 때 안 헷갈립니다...
개인 공부
2023. 1. 2. 14:29
최근에 올라온 글
공지사항
- Total
- Today
- Yesterday
최근에 달린 댓글
링크
TAG
- 선형대수학
- Derivate
- 해석학
- 세그먼트 트리
- mathematics
- 백준
- 해석학II
- PMA Ch5
- joi
- 수(상)
- 해석학 Chapter 5
- LInear SVM
- Machine Learning
- PMA
- Differentation
- 미분
- 해석학 Ch5
- JOI 2021
- 연습문제
- PMA 연습문제
- Deep learning
- 수학
- icpc.me/17411
- 17411
- 백준 17411
- Backprop
- 로피탈
- cs231n assignment1
- Trace trick
- Trace tirck
일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
글 보관함