피어세션
optuna로 하이퍼 파라미터를 찾아라.
모델마다 이상적인 파라미터는 모두 다를 것 같음. 논문보고 파악해서 알고 쓰는게 좋지않을까.
pretrained model에서 어떤걸 뭘보고 어덯게 가져오는게 좋을까.
만약 내가 하는 작업이 pretrained model이 했던거랑 비슷하면 파라미터도 별로 안바꿔도 되고, 잘 되지 않을까.
모든 파라미터를 고정하고 모델만 바꿔서 판단하는거는 조금 위험하지 않을까. 각 모델마다 이상적인 파라미터 값이 있다면?
early stopping도 있고.. 이런 보조장치를 달아주면 예쁘게 비교할 수 있지않을까.
진짜 하나만 고정시키고 하는건 안좋은듯. 서로간의 영향이 있을 수 있고 서로간의 영향에 따라 이상적인 설정값이 있을 수 있으니.
사실 하이퍼파라미터를 나중에 하는거고 성능을 올리는 다른 방법을 찾는게 좋은듯. 이런구조 저런구조도 해보고 데이터도 추가나 조정하거나 해보고..
찾는거 바예시안. 수렴하면서 최적의 방향을 찾아가는 방식.
QA 방식으로 해봤는데 안좋았음. NTT. 아마 tokenizer가 잘못된듯. 성능이 안나왔지만 정말 좋을 것 같음. 위치문제로 하면 어쨌든 찾아서 정답이 되니까.
label이 42개라 하나의 문장당 41개의 질문을 물어보고 했으면 더 좋지 않았을까? 이거 자체가 augmentation으로 알아서 되지 않을까.
k-fold도 좋지만 a-fold. fold수를 늘리면 또 잘된다. 일반화가 미친듯이 잘된다.
자급제 + 알뜰폰이 훨씬 낫다. 중고꺼 사서 베터리만 갈고. 삼성은 3.5~4만. 애플은 8만. 갤럭시 S10, 아이폰10부터 오버스펙인듯.
블랙프라이데이때 미리 사놓기.
왠만하면 직거래. 성능지표 떼달라. 수리점에서 평가지표 떼달라고 하자. 요즘건 이렇게 산다고 함.
마스터세션
정답이 많은 label에 weight. Cosine Annealing LR Scheduler 써보기.
원래 모델 뒤에 나의 모델도 추가해보는 참신함을 가지자.
문제제기.
먼 미래지향적인거.
메타버스
기업에서 원하는 ㅗ자형 인재..
랩업 리포트, 피어세션 발표
'과거의 것들 > AI Tech boostcamp' 카테고리의 다른 글
| P-stage3 [Day2] (0) | 2021.12.01 |
|---|---|
| P-stage3 [Day1] 역사, metric 등 (0) | 2021.11.30 |
| P-stage2 [Day9] 외부 데이터 (0) | 2021.11.30 |
| P-stage2 [Day8] 외부 데이터, smooth, ner (0) | 2021.11.30 |
| P-stage2 [Day7] focal loss, 다른 tokenizer들 (0) | 2021.11.30 |