[파라미터 수 계산법] conv layer 파라미터 계산법

convolution layer 간단 설명

컨볼루션 연산을 하게 되면 input 의 1개의 channel에 대해서는 1개의 convolution filter로만 연산하게 된다.

따라서 해당 filter가 강조하고자 하는 특징이 활성화돼서 output channel로 나가게 된다.

 

그렇기 때문에 여러개의 convolution filter를 사용해서 연산하는건데 이런 과정을 거치면 output channel여러개는 각각 서로 다른 특징에 대해서 활성화 된다.

 

예시

human pose estimation을 위해 convolution을 적용할것이고 하나의 convolution layer를 거치고 난 output channel들을 살펴본다고 가정하자.

 

이 때 output channel들은 서로 다른 특징에 대해 활성화 될것이므로 각각 hand, head, shoulder, upper body, lower body, right knee, left knee, right elbow, left elbow등 이 될것이다.

 

---

파라미터계산

거두절미하고 본론으로 넘어가서 파라미터 계산법은 다음과 같다.

W = kernel size^2 * input channel * output channel

B = output channel

 

param = W + b

---

이미지사이즈가 224 x 224이든, 28 x 28이든간에 input channel, output channel수가 같으면 parameter 수는 같다.

convolution 연산은 파라미터가 공유되기 때문에 파라미터가 FC보다 적다고 하는게 바로 이런 이유이다.