Motivation

  • 기존 뎁스 추정은 correspondence estimation으로 풀었다. 그러나 이 과정에는 문제가 있음
    Conventional 방법은 텍스쳐가 약하거나, non-Lambertian 표면에서 문제가 생김
  • 딥러닝 기반은 뎁스 consistency가 일정하지 않고, photometric consistency에서 3D 정보를 제대로 반영하지 못하는 문제
  • 이 논문은 NeRF의 힘을 빌려, 멀티 뷰 스테레오 뎁스 추정을 하고자 함
    correspondence estimation과 corr view depth reprojection 최적화 대신에, 이 논문은 다이렉트로 부피를 최적화함 → 그런데 NeRF에서는 shape-radiance ambiguity 문제가 있음. 이를 해결하기 위해 뎁스 프라이어 기반의 NeRF 훈련 가이던스를 제안함
  • Conventional 방법은 textuless, non-lambertian 표면에서 문제가 발생
  • Learning based 방법은 depth consistency 일정하지 않고, photometric loss가 3D 정보를 반영하지 못함

Contribution

Depth consistency를 해결하기 위한 제안 방법

  • 기존의 SfM, MVS 재구성 방법을 통해 테스트 장면에 monocular depth network를 finetuning 한다.
  • 대강 적응시킨 뎁스 프라이어를 사용하여, NeRF를 위한 볼륨 렌더링의 샘플링 프로세스에 가이드를 준다.
  • RGB 이미지로부터 렌더링된 NeRF 이미지에서 신뢰도 맵을 얻는다. 그리고 필터링을 거쳐 깊이 맵을 개선한다.

요약하면 NeRF의 볼륨 렌더링을 통해 Depth를 더 정확하게 개선하겠다는 방법을 보여준듯

Experiments

생략

Conclusion

생략