1. Motivation

FlowNet3D는 Scene Flow를 추정할 때 단순히 Lp Loss를 사용하는 것이 단점으로 지적된다. 구체적으로, FlowNet3D는 motion vector의 예측값과 GT 사이의 방향 차이를 고려하지 않는다.

이 논문은 다음 두 가지 geometric loss를 제안하여 이 한계를 극복한다:

  1. ICP (Iterative Closest Point) 알고리즘에 영감을 받은 Plane-to-Plane (P2P) Loss
  2. 코사인 유사도 기반의 motion vector alignment loss
  • FlowNet3D: 3D point cloud 기반의 scene flow 추정 네트워크. L2 loss를 이용해 학습하지만, motion vector의 방향 정렬이 고려되지 않는다.
  • ICP (Iterative Closest Point): 두 포인트 클라우드를 정합하는 고전적 알고리즘. Plane-to-Plane 변형에서 local surface의 법선 벡터를 활용한다.

3. Proposed Method

Plane-to-Plane Loss

ICP 알고리즘의 Point-to-Plane 개념을 확장하여, 예측한 flow가 GT의 local plane과 일치하도록 제약을 준다. 이를 통해 단순한 Euclidean 거리 기반 loss가 놓치는 기하학적 정보를 보완한다.

Cosine Similarity Loss

예측한 motion vector와 GT motion vector 사이의 코사인 유사도를 계산하여 벡터의 방향이 일치하도록 학습한다. L2 loss만으로는 방향 오차를 충분히 패널티로 줄 수 없는 문제를 해결한다.

전체 Loss

$$\mathcal{L} = \mathcal{L}{L2} + \lambda_1 \mathcal{L}{P2P} + \lambda_2 \mathcal{L}_{cos}$$

기존 FlowNet3D의 L2 loss에 P2P Loss와 Cosine Similarity Loss를 추가하는 형태로 구성된다.

4. Experiments

FlowNet3D의 기존 L2 loss 대비, P2P Loss와 Cosine Similarity Loss를 결합했을 때 scene flow 추정 성능이 향상됨을 실험적으로 확인한다. 기하학적 제약을 loss에 명시적으로 부과하는 것이 유효함을 보여준다.

5. Conclusion & Limitation

FlowNet3D에 geometric loss (P2P + cosine similarity)를 추가함으로써 scene flow 추정 성능을 추가로 개선하였다. Motion vector의 방향 정렬을 loss에 반영하는 것이 핵심 기여이다.

한계점으로는, 제안한 loss들이 FlowNet3D의 아키텍처 변경 없이 loss 수준에서의 개선이므로, 네트워크 구조 자체의 한계는 그대로 남아 있다.