P-stage4 정리

피어세션

모델 automl NAS로 찾음 Neural Architecture Search
MultiLabelSoftMarginLoss()
feature마다 loss를 적용해줘서
모델 다 뜯어서 global average pooling 하면 된다. mse loss로 feature vector를 학습시켰는데 일반화가 안됨. normal distillation을 했는데.
고해상도를 저해상도로 바꾸는 실험들
Tensor 찢고(decomposition) knowledge distillation
colab 해결? 구글 드라이브에 저장하면 느리다. 알집파일만 올려놓고 컨텐츠에 올려넣고 풀어야 한다. 코랩 local이라. 어차피 알집 푸는데 30초 밖에 안걸리니까
tensorflow lite를 쓰면 가볍고, prouning, quantization 등 알아서 다 해주는데...
대회때 할게 없어서 사이드 프로젝트 여러개 했다.
NAS가 좋은듯. 로망이 있다.
레이어 앞부분은 대략적인 지식같은 것이니까 좋지 않을까? 근데 효과는 별로.. 하지만 넣어주려면 모듈이 같아야 하는건 당연
시행착오 위주로 발표하는것도 괜찮을듯
대회가 재밌어서
잠은 대회에서
시간을 효율적으로 쓰는건가?
대회능력이랑. 대회는 아이디어, 뽀록.
대회를 잘한다고 개발능력, AI 능력이 좋다? 는건 아닌것 같음.
아이디어는 연구자들이 하겠지. 대회하는건 별개인듯.
AI 솔루션을 위주로 하는 회사, AI를 이용해서 상품을 만드는 회사는 구현능력이지 않을까.
upstage는 AI는 솔루션 제공회사고, 스캐터랩은 상업적이니 개발능력이 더 중요한게 아닐까.

마스터세션

솔루션 영상 보자...
각 layer마다 knowledge distillation도 가능한듯.
Arcface loss?
GPT-3 경량화가 수요가 엄청 늘어날듯. 어필할 수 있는 기회가 있으면 좋을 것 같다.