1. Motivation

Unsupervised Domain Adaptation(UDA)은 레이블링된 소스 도메인 데이터와 레이블 없는 타겟 도메인 데이터를 사용하여 타겟 도메인에서의 task 성능을 높이는 문제다.

Semantic segmentation의 domain adaptation에서, depth estimation과 같은 보조 정보를 활용하면 도움이 된다. Depth가 제공하는 기하학적 prior(하늘은 멀고, 차로와 보도는 flat하다 등)는 어느 도메인에서든 robust한 feature를 제공하기 때문이다.

기존 연구들은 소스 도메인(합성 데이터)의 depth GT를 적극 활용했다. 합성 데이터에서는 depth GT를 쉽게 얻을 수 있기 때문이다. 그러나 타겟 도메인(실제 데이터)의 depth GT는 얻기 어렵기 때문에, 타겟 도메인의 뎁스 정보를 활용하는 연구는 부족했다.

이 논문은 타겟 도메인의 depth를 self-supervised 방식으로 획득하고 이를 segmentation adaptation에 활용한다.

3. Proposed Method

SSL Depth Estimation for Target Domain

타겟 도메인에 대해 self-supervised depth estimation을 수행하여 depth pseudo label을 생성한다. 이를 통해 타겟 도메인의 기하학적 구조 정보를 추가적인 annotation 없이 활용할 수 있게 된다.

Depth-guided Semantic Pseudo Label Refinement

Self-supervised depth 정보를 활용하여 segmentation의 semantic pseudo label을 refine한다. Pseudo label에는 노이즈가 포함되어 있는데, depth 정보가 제공하는 기하학적 일관성을 이용하여 이 노이즈를 제거한다.

Cross-domain Correlation

도메인 간의 correlation을 계산하여 각 도메인이 공유하는 feature를 찾고, 이를 segmentation 성능 향상에 활용한다.

4. Experiments

  • 소스: 합성 데이터(GTA5, SYNTHIA 등)의 labeled segmentation
  • 타겟: 실제 데이터(Cityscapes 등)의 unlabeled segmentation

SSL depth estimation으로 얻은 타겟 도메인의 depth 정보가 pseudo label refinement에 기여하는 효과를 ablation으로 확인한다.

5. Conclusion & Limitation

Semantic segmentation의 UDA 문제에 self-supervised depth estimation을 보조 정보로 활용한다는 아이디어가 핵심이다. 타겟 도메인의 depth GT 없이도 SSL 방식으로 기하학적 정보를 획득하고, 이를 통해 noisy pseudo label을 정제하는 파이프라인이 실용적이다.

SSL depth estimation의 품질이 segmentation adaptation 성능에 직접 영향을 미치므로, depth 추정의 정확도에 따른 성능 편차가 한계로 작용할 수 있다.