Motivation
- DNN의 깊이가 깊어지면 단점이 많음 → 레이턴시가 길어지기 때문에 빠른 반응을 필요로 하는 애플리케이션이 부적합
- 어떻게 하면 얕은 깊이의 DNN으로도 충분한 성능을 낼 수 있을까? → 해답은 패러렐한 뉴럴넷 구성으로 성능을 낼 수 있다.
Related Works
생략
Contribution
구체적으로 ~10 레이어, ~12 레이어까지 적절함을 말한다.
VGG 스타일의 블록을 사용한다. (구체적으로 Rep-VGG을 빌리지만, 목적에 맞게 조금 수정)
제한된 네트워크 깊이로 receptive field가 좁다. 이를 해결하기 위해, Squeeze-Exicitation 레이어에 기반한 SSE 레이어를 추가하였다.Non-DNN은 비선형성이 약할 수 있다. 이를 해결하기 위해 ReLU대신 SILU를 사용하였다.
다운샘플링, 퓨전 블록
Experiments
- 깊은 네트워크인 ResNet과 비교해서 성능이 조금 우위에 있거나 비등함을 보임
- 저자들은 패러렐 네트워크가 성능에 우위를 준다고 주장하나, RepVGG 모델 자체의 기여도가 더 크지 않을까?
- 제안된 방법은 오히려 계산량화 파라미터수가 레즈넷보다 크다. 주장에 위배되는 것 아닌가?
Conclusion
병렬 구조에서 성능이 좋음을 표로 보이곤 있지만, 인과관계가 어떻게 되는지는 밝히지 않음