Motivation

  • 호모그래피는 스테레오 비전의 근본이다.
    1. 영상이 대략 회전 모션이거나 장면이 평면 표면에 가까우면 호모그래피 행렬을 근사할 수 있다.
    2. 장면이 제약 조건을 만족하면 직접 호모그래피를 계산할 수 있다.
  • 시맨텍 어웨어하고 러버스트한 호모그래피 추정 딥러닝 알고리즘을 개발

생략

Contribution

  • 두 이미지를 인코더
    레즈넷34 백본을 받아서 3x3, 8DoF의 호모그래피 행렬을 추정

  • 호모그래피 추정을 위해 Triplet Loss를 사용

    1. 호모그래피 추정이 완벽하다면 호모그래피를 통한 와핑이 잘 되어야 함
    2. 그래서 와핑한 피처 혹은 이미지가 타겟 피처 또는 이미지와 잘 얼라인 되어야 함
    3. 두 번째 로스 텀은 잘 모르겠음
    4. 호모그래피 a→b에서 b→a는 identity로 레귤라이저를 추가함

  • Content-aware prob map
    마스크를 출력하는 네트워크는 이미지 피처맵에서 어디가 중요한지를 표현한다. 이는 마치 어텐션과 같다. 그리고 RANSAC을 통해 아웃라이어를 미리 제거한 것과 같다

Experiments

생략

Conclusion

슈퍼포인트 같은 네트워크, 키포인트를 직접 출력하는 네트워크가 이 논문의 앞단 두 브랜치를 대체할 수 있지 않을까?