1. Motivation

3D scene flow는 3D geometry(구조)와 3D motion 정보를 동시에 추정하는 것이다. Mono-SF는 단안(monocular) 이미지로부터 3D structure와 motion을 추정하는 방법을 제안한다. 핵심 아이디어는 multi-view geometry 원리와 single-view depth 추정을 결합하는 것이다.

기존 방법들의 한계:

  1. 움직이는 물체가 주변 환경에 부착되어 있다(static)는 가정 하에 동작하여, dynamic object를 제대로 처리하지 못함
  2. Single-view depth 추정과 multi-view geometry는 두 개의 별도 태스크로 각각 다루어져 왔음
  3. Static scene 가정에서만 적용 가능하다는 근본적인 한계

이를 단안 카메라로 dynamic traffic scene에서 3D scene flow를 추정하는 통합 프레임워크로 극복하고자 한다.

3. Proposed Method

Multi-View Geometry 기반 Supervision

3D geometry와 6DoF motion을 동시에 추정하여, multi-view geometry 기반의 warping supervision을 적용한다. 인접한 두 프레임 사이에서 3D 포인트들의 대응 관계를 multi-view geometry 제약으로 enforce하여 학습을 안정화시킨다.

Depth Probability Distribution

Single-view depth 추정에서 결정적인(deterministic) 값을 출력하는 대신, depth 값의 확률 분포를 출력한다. 이를 통해 depth 추정의 불확실성을 명시적으로 모델링하며, 확률적 출력이 multi-view geometry와의 결합을 보다 유연하게 만든다.

Dynamic Object 처리

Dynamic traffic scene에서 움직이는 차량과 보행자를 explicit하게 고려한다. 각 물체에 대한 6DoF rigid body motion을 추정하여 scene flow를 구성한다.

4. Experiments

KITTI Scene Flow 벤치마크에서 평가하였다. Mono-SF는 stereo 기반 방법들과 비교하여 단안 카메라만으로 경쟁력 있는 3D scene flow 추정 성능을 보인다. Multi-view geometry와 single-view depth의 결합이 단안 방법의 한계를 극복하는 데 기여함을 보였다.

5. Conclusion & Limitation

Mono-SF는 단안 카메라로 dynamic traffic scene에서 3D scene flow를 추정하는 새로운 접근법을 제안한다. Multi-view geometry와 확률적 single-view depth 추정을 결합하여 static scene 가정의 한계를 극복한다. 다만 depth 확률 분포의 표현 방식과 6DoF motion 추정의 정확도는 복잡한 traffic scenario에서 여전히 도전적인 과제이며, 실험 결과의 심층적인 분석과 인과적 검증이 추가적으로 필요하다.