Conclusion

Contrastive Learning이 언제 유효하고, 또 언제 성능이 안 좋은지에 대해서 4가지 관점으로 고민
데이터 양, 데이터 도메인, 데이터 품질, 태스크 세분화

  1. 50만 장을 넘는 데이터 이점은 그리 많지 않음
  2. 다른 도메인으로부터 pretraining image를 추가하는 것은 general representation을 이끌어내지 않음
  3. corrupted pretraining image → disparate impact on supervised pretraining
  4. CL lags far behind SL on fine-grained visual task