1. Motivation

LiDAR 등 sparse signal은 dense depth prediction을 위한 가이던스로 활용될 수 있지만, 두 가지 근본적인 문제가 있다:

  1. Raw sparse signal의 무시 문제: RGB로 추측한 depth value와 sparse signal이 현저하게 다를 때, 네트워크는 sparse signal을 무시하는 경향이 있다. 이는 sparse signal의 본질적인 low density에 기인한다.

  2. Imbalance 문제: 뉴럴 네트워크는 signal density가 비교적 큰 영역에 초점을 맞추고, low density 영역(LiDAR scanning line 사이 영역)은 가까스로 예측한다. 이로 인해 결과가 매끄럽지 않게 된다.

중요한 것은, density가 낮은 영역이 중요성이 떨어지거나 신뢰도가 낮다는 의미가 아니라는 점이다. 균일한 분포의 신호를 가정하고 문제를 푸는 것은 불균형 분포의 실제 문제에 적용할 수 없다.

관련 선행 연구:

  • 2020 Pseudo-LiDAR++: Accurate Depth for 3D Object Detection in Autonomous Driving
  • 2019 Guided Stereo Matching

이 연구들은 sparse signal을 가이던스로 활용하는 데 성공했으나, 위의 두 가지 문제를 충분히 해결하지 못했다.

3. Proposed Method

Sparse Signal Superdensity (S3) 방법을 제안한다. Sparse signal과 그 depth value를 활용하여 더 확신이 드는 주변 영역으로까지 depth value를 expanding한다.

Sparse Signal Expansion

아이디어: 동일한 이미지 라인에서 같은 RGB 값(similar color intensity)을 가지는 영역은 동일한 depth value를 가질 수 있다.

과정:

  1. Image intensity map과 sparse signal map으로 Expanding signal map을 만든다
  2. 중심 픽셀 (i, j)의 RGB 값을 참조하고, 해당 위치의 sparse map G(i, j)으로부터 이웃 영역으로 같은 signal을 할당한다
  3. 확장 중지 기준: 기준점 color intensity와 확장하려는 영역의 color intensity 차이가 임계값보다 커지면 확장을 멈춘다

이 과정으로 sparse signal의 density를 높일 수 있지만, occlusion이 있는 경우 잘못된 확장이 발생할 수 있다. 따라서 확장된 signal map에 confidence map을 적용한다.

Confidence Map

2L+1 × 2L+1 크기의 이미지 패치를 S3 네트워크에 입력하여 confidence map을 출력한다. 이 confidence map을 sparse signal이 있는 각 픽셀 위치마다 곱하여 expanding map을 생성한다.

$$G’(i’, j’) = \frac{1}{|S_k|} \sum_k C(i’, j’) \cdot G(i_k, j_k)$$

  • 주변 sparse signal에 대한 confidence를 곱해서 모두 더하고, 간섭한 픽셀 수 |Sk|로 normalize
  • 가장 큰 confidence 값을 해당 위치의 최종 confidence로 결정
  • C = 0: 확장된 signal 없음 / C = 1: (i', j') = (ik, jk) (신호 위치 자체)

최종 Depth 계산

$$D_{out} = G_{exp} \cdot C + D \cdot (1 - C)$$

확장한 영역(C에 가중)과 원래 dense prediction 영역(1-C에 가중)을 합산하여 완전한 depth를 구성한다.

4. Experiments

  • Sparse depth completion 벤치마크에서 평가
  • Low density 영역에서의 depth 정확도 향상 확인
  • Confidence map이 occlusion 및 imbalance 문제 완화에 기여

5. Conclusion & Limitation

Sparse signal의 density와 confidence를 학습 가능한 방법으로 높여 guided depth estimation의 성능을 개선했다. Color intensity 기반의 영역 확장은 직관적이고 효과적이지만, 색상이 다르면서 같은 depth를 가지는 영역(예: 서로 다른 재질의 평면)이나 심한 occlusion 상황에서는 잘못된 확장이 발생할 수 있다.