Motivation

Scene Flow prior를 신경망으로 강력하게 regularizaion할 수 있는 식을 주장

지도 학습 기반의 SF 추정은 많은 GT가 필요 → 그러나 prior가 강한 regularizer라서 필요 없음
SSL 기반 SF 추정은 도메인 스페시픽하고, 일반화 성능이 떨어짐 그리고 충분히 많은 양의 데이터가 필요함 → regularization이 약함

Contribution

MLP로 구성된 네트워크에 S1, S2 간의 Forward, Backward optimazation 식을 제안
이 식의 목적은 S1, S2 사이의 distance를 최소화하는 MLP 파라미터를 찾는 것 (regularization 텀은 Laplacian regularizer)

  • S1에 F=f(S1)를 계산해서 S1 + F = S2를 최소화하는 파라미터를 계산
  • S1’ = S1 + F이고, S1’에 F_bwd = f(S1’)를 계산해서 S1’ + F_bwd = S1를 최소화하는 파라미터 계산

1과 2는 bidirectionally한 계산 1과 2의 모델 구조는 같지만 파라미터는 다름

왜 Scene Flow Prior가 필요한가?

딥러닝 기반 방법이 많은 학습 데이터가 필요하면서도, 통계적으로 다른 환경에 대해서 struggle이 있음.
Scene Flow prior는 이러한 struggle에 강력한 implicit regularizer를 제공할 수 있음

Experiments

저자의 주장은 제안한 모델 구조와 최적화 식을 도입하면 Scene Flow의 성능을 더 끌어올릴 수 있다고 주장

  • 제안한 모델 구조는 단순한 MLP 구조인데, MLP 히든 레이어의 갯수에 따라 어떻게 성능이 변하는지 관찰
  • 러닝 베이스드, 논 러닝 방법론들과 비교했을때 모든 면에서 성능이 우위, 단 FlyingThings3D같은 경우는 성능이 낮았음

Conclusion

  • 실시간 애플리케이션을 위한 추론 시간은 아직 부족
  • 오클루션이나 bad correspondence에서는 estimation이 나쁨