[CV] ResNext

 

 

1. Group Conv, STM (Split Transform Merge)

 

resnet과 resnext의 shortcut 구조가 상이함을 볼 수 있다.

(a) channel 4개인 32개의 path 가 병렬로 실행된 후 add

(b) channel 4개인 32개의 path 가 병렬로 실행되고concatenation 한 후 1x1 conv를 수행한다.

(c) group convolution을 한다.

 

여러개의 path를 multi branch라고도한다

res net에서 나온 net이니 만큼 short cut을 가져간다

세가지가 모두 동일한 역할을 한다. 이때 path 의 개수 = cardinality 이다.

 

 

 

group conv는 그룹을 만들어서 그 안에서 conv를 수행한다고 이해하면 편하다.

병렬로 처리하면서 자연스럽게 연산량이 줄 수 있다.

 

알렉스넷에서 두개의 gpu에서 서로 다른 특징들을 학습했던 느낌으로 피처가 다양하지는 것 같다.

 

 

 

2. architecture

 

7x7로 nonlinearity를 줄이고 선이나 면같은 부분을 빠르게 학습, 메모리소모 down

 

일반 resnet에 비해 파라미터 수는 비슷한 것에 반에 성능은 좋은 것을 확인할 수 있다.

cardinality에 따라서 성능이 달라지는 것을 확인할 수 있다. 여기서 d = depth이다.