https://arxiv.org/abs/2011.10566
Exploring Simple Siamese Representation Learning
Siamese networks have become a common structure in various recent models for unsupervised visual representation learning. These models maximize the similarity between two augmentations of one image, subject to certain conditions for avoiding collapsing sol
arxiv.org
https://www.youtube.com/watch?v=Z1Os54oND8s&ab_channel=SungchulKim
같은 class의 input은 같은 공간에 있게 하겠다고 거리 개념으로 차이를 좁히게 하는 방법인데 보통 이렇게만 하면 모델이 걍 특정한 상수만 나오게 예측해서 loss가 0이 되더라. 다른 constrative 로 nagative loss를 쓰는 SimCLR이나 SwAV과 다르게 우린 그런거 안쓰고 잘 나온다.
stop gradient만 잘 걸어주면 되는데 정확한 원인을 몰라 여러 실험을 해봤지만 어쨋든 잘 모르겠음.
...
stop gradient 이 대단한건줄 알았는데 그냥 출력값 x에 .detach() 해가지고 grad_fn 필요없게 때어놓는거임. 그래서 backpropagation할 때 포함 안됨.
'논문 읽기 연습 > 그냥 메모' 카테고리의 다른 글
| Representation Learning with Contrastive Predictive Coding (CPC) (0) | 2022.02.08 |
|---|