1. Motivation

FlowNet의 후속작으로, 기존 FlowNet의 정확도를 크게 향상시키는 것이 목표다. CVPR 2017에 발표된 이 논문은 여러 개의 FlowNet을 쌓는 stacking 구조, image warping, 데이터셋 스케줄링, 그리고 small displacement 처리를 핵심 기여로 제안한다.

기존 FlowNet(S, C)은 end-to-end 학습이 가능했지만, 당시 SOTA 방법인 EpicFlow 등에 비해 정확도가 떨어졌다. 특히 작은 변위(small displacement)와 세밀한 구조의 flow 추정에서 약점을 보였다.

데이터셋 측면에서도 FlyingChairs 하나만으로는 다양한 scene에 대한 일반화가 부족하다는 문제가 있었다.

3. Proposed Method

Network Stacking with Warping

여러 개의 FlowNet을 직렬로 쌓는다(stacking). 첫 번째 네트워크에서 추정한 coarse flow를 이용해 두 번째 이미지를 warping하고, 나머지 residual flow를 다음 네트워크에서 추정하는 방식이다. 이를 통해 점진적으로 정확한 Flow를 추정할 수 있다.

Dataset Scheduling

학습 데이터의 순서가 성능에 중요한 영향을 미침을 발견하였다. FlyingChairs → FlyingThings3D 순으로 학습하는 curriculum learning 전략이 효과적이다.

Small Displacement Handling

작은 변위에 특화된 별도의 서브네트워크(FlowNet-SD)를 도입하고, 이를 최종 앙상블에 포함하여 작은 움직임 추정 성능을 개선하였다.

4. Experiments

Sintel, KITTI, Middlebury 등 표준 벤치마크에서 평가하였다. FlowNet 2.0은 기존 FlowNet 대비 크게 향상된 정확도를 보이며, 당시 SOTA 방법들과 견줄만한 수준에 도달하였다. 특히 stacking과 warping을 통한 점진적 refinement의 효과가 ablation study로 입증되었다.

5. Conclusion & Limitation

FlowNet 2.0은 여러 FlowNet 모듈의 stacking, image warping, dataset curriculum scheduling을 조합하여 정확도를 크게 향상시켰다. 그러나 여러 네트워크를 직렬로 쌓는 구조상 파라미터 수와 계산 비용이 크게 증가한다는 단점이 있다. 이후 PWC-Net은 이 문제를 해결하기 위해 경량화된 구조를 제안한다.