Backpropagation - 경사하강법

Chain Rule

 

Upstream Gradient = Loss를 output variable에 대해서 미분한 값

 $$\frac{\partial L}{\partial z}$$

 

Local Gradient = Output에 대해서 input으로 미분한 값

$$ \frac{\partial z}{\partial x}$$

 

 

Downstream Gradient = Upstream Gradient  x  Local Gradient

 

$$ \frac{\partial L}{\partial x} = \frac{\partial L}{\partial z} \times \frac{\partial z}{\partial x}$$

 

 

 

Gradient Flow 패턴

add gate                                                            mul gate

 

 

 

copy gate                                                      max gate