1. Motivation

자율주행처럼 카메라 모션이 제약되는 환경에서는 depth estimation(DE) 태스크의 문제 복잡도가 상대적으로 낮다. 그러나 드론처럼 6-DoF 자유도를 가진 환경에서도 동일한 방식이 잘 동작할 것이라고 보장하기 어렵다.

Temporal 정보를 활용하는 경우, DE 문제는 삼각 측량(triangulation) 문제로 볼 수 있다. 이때 카메라 모션 정보를 적극적으로 활용한다면 더 정확한 뎁스 추정이 가능하다는 것이 이 논문의 핵심 동기다.

이전의 실험들은 대부분 KITTI와 같은 자율주행 데이터셋에 한정되어 있었다. 자율주행 환경은 카메라 모션이 전진 방향으로 제약되므로 문제 자체의 복잡도가 낮다. 반면 드론처럼 6-DoF의 자유로운 모션을 갖는 환경에서의 연구는 부족했다.

3. Proposed Method

ConvLSTM을 사용하여 이전 프레임의 정보를 현재 프레임으로 propagation하는 방식을 제안한다. 카메라 모션 정보를 explicit하게 활용하여 depth estimation에 통합함으로써, 비디오 시퀀스에서의 temporal consistency를 높인다.

  • ConvLSTM 기반 temporal feature propagation
  • 카메라 모션 정보를 depth estimation에 직접 활용
  • 비디오 시퀀스에서의 일관된 뎁스 추정

4. Experiments

실험은 드론 데이터셋으로 수행되었다. 드론 환경에서는 카메라 모션 추정이 자율주행에 비해 훨씬 다이나믹하다. 뎁스 및 광학 흐름(optical flow) 지표로 평가하였으며, 시각적으로도 성능이 안정적으로 나타났다.

5. Conclusion & Limitation

자율주행에 편향된 기존 연구와 달리, 드론 환경과 같이 모션이 자유로운 상황에서도 동작하는 monocular depth estimation을 제안한 점에서 의미가 있다. ConvLSTM을 통한 temporal 정보 활용은 비디오 기반 뎁스 추정의 일반적인 접근법으로서 가치가 있다.

다만, 논문의 실험 범위가 드론 데이터셋에 집중되어 있어 다양한 도메인에서의 일반화 성능은 추가 검증이 필요하다.