P-stage2 [Day5]

수업내용

한국어 자연어 이해 벤치마크(Korean Language Understanding Evaluation, KLUE)

정말 거의 모든 경우에 대비한 데이터셋들이 들어있다.

의존 구문 분석. 영어 문법시간에 배운 형용사 목적어 구분 그런거 같다. 복잡한 형태의 자연어를 그래프로 구조화해서 표현이 가능하고 각 대상의 정보추출이 가능해진다.

단일문장 구분 task는 여러 종류가 있음.

1. 감정분석(Sentiment Analysis)
2. 주제 라벨링(Topic Labeling)
3. 언어감지(Language Detection)
4. 의도 분류(Intent Classification)

자세한 설명은 pdf를 참조하자.

문장 분류를 위한 데이터

Kor_hate, Kor_sarcasm, Kor_sae, Kor_3i4k

단일 문장 분류 모델 학습

실습

Day5_실습자료0단일문장분류.ipynb의 사본

Google Colaboratory

huggingface에서 네이버 제공 영화 평가 댓글로 훈련시키는 거. Trainer 안쓰고 전에 했던것처럼 하는 방법들도 들어있다.

피어세션

토론글. config 어쩌구 했던거 정답 있음. 알고보니 훈련 제대로 안가져온거.
pooler output은 hidden layer output 0번째꺼에 fc하고 tanh 거친거다. 문서에 나와있음.
computing loss 클래스 상속받아서 사용해야함.
default는 그냥 cross entropy인듯.
factor만 넣어주면 loss function 바꿀 수 있는듯. Train의 argument로 넣어라.
loss label smoothing 하면 오르는듯.
넵튠도 좋은듯.
wandb sweep 하는 방법이 config 파일 저장하는 방법. yarm 파일 만들어서 하는 방법도 있음.

마스터세션

이루다 만든 팀이랑 ~~이랑 합작해서 만든 코드가 있는데 모든 변인이 같은 환경에서 모델만 다르게 해서 실험한 게 있음.
KLUE에서 특정 task에서 small 모델이 large 모델보다 성능이 더 좋은것도 나왔음.
점수 1점이라도 올릴려고 하이퍼파라미터조절, automl 이런거보다는 새로운 아이디어로 문제해결 해보려는 시도가 지금 발전에 더 좋다.
한국은 형태소 분석하고 word piece한게 좋더라. 그럼 무조건 잘게 쪼개는게 좋지 않느냐? 그렇진 않음. 형태소로 의미있는 단어로 쪼개긴 했지만 그걸 의미있게 더 쪼개는것도 성능 잘 나오더라. 카카오 논문 있다.

목표

오늘까지 배운 실습 내용을 토대로 대회 제출해보기

wandb로 AutoML 돌리게 하고 자기

행동

여차저차 해서 wandb sweep 환경 설정 완료해서 지금 막 돌리기 시작했다. 자고 일어나고 다른거 하다보면 어느정도 되어있겠지..