P-stage3 [Day6] meta pseudo label, cv2.Canny

목표

meta pseudo label 해보기, cv2.Canny 섞어보기

행동

meta pseudo label 대충 구현했는데 잘 안되는듯.

pytorch로 구현되어 있던거는 확률이 매우 낮아도 hard pseudo label 로 해서 저렇게 된 거 같음. 그래서 soft label로도 바꿔서 해봤는데 test data epoch 2했을 때 PB 0.007 내려감. 여기 문제에선 안맞거나 내가 잘못했거나..

soft pseudo label을 했을 때 첫번째 데이터의 최대 정답 확률이 0.0644였다. 정답 레이블치곤 너무 낮게 나와 soft pseudo label에서 * 10 을 가중치를 둬서 학습하게 해봤는데 PB 가 0.01 더 내려갔다. 그냥 안되는건가..

cv2.Canny 섞는것도 미묘하게 성능이 PB 0.3~0.4 내려갔다.

회고

내가 생각했던게 잘 안되서 좀 슬프다. 근데 papaerswithcode 보니 pytorch를 쓴 다른 논문이 상위권에 있다.

Papers with Code - Emerging Properties in Self-Supervised Vision Transformers

자기가 알아서 데이터 생성해서 학습하는 거인듯. 진작 이런걸 보고 할껄.. pseudo label에 너무 꽃혀있었다.

근데 저 사이트가 진짜 좋은 것 같다. 나중에라도 혼자서 공부할 땐 저 사이트를 참고해야겠다.