AITech P-stage1 [Day 7] 단일 모델 실험 끝, 앙상블 실험중..

=======================

피어세션

나이를 제일 빡센(깊은) layer. resnetnext 같은거

adamw

crossentropy에도 weight를 줄 수가 있다.

================================

마스터세션

vscode 방법들.

tumx. 꺼지더라도 실행하는 거인듯. 꼭 알아야 겠다.

dracula theme

image-tile-viewer

잘 안되면 reload

 

pytorch snippets. pytorch 코드 그냥 만들어주네

extract method. refactoring이 쉽다.

device checking.. train도 그냥 만들어주고..

 

디버깅 서버 

jedi, pylance.

jedi는 느리다. pylance빠르다.

근데 pylance는 자동완성 못찾아서 사용하기 힘듬.

보통 pip install 보면 jedi 설치되어 있음.

디버깅시 justMyCode. 디버깅까지 빠른데 라이브러리 까지 못들어감. 종단점을 걸어도 안들어감. justmycode를 false로 하면 라이브러리 까지 들어감. 이래야 에러가 나타나게 된 data input type을 볼 수 있음. 어디서 에러가 났는지 확인 가능.

 

pytorch template. configuration file로 주는것도 가능.

 

power mode

 

 

================================

목표

어제 못끝낸 IDLE 끝내서 일단 단일모델 vgg19 하도록 만들기, efficientnet 해보기, 앙상블 해보기

================================

행동

일단 단일 모델로 돌리는 코드는 만드는데 성공했다. 모델도 클래스만 바꾸고 나머진 건드리지 않아도 동작하고, 저장한 모델을 불러오는데 불러올 때 어떤 모델을 사용해서 학습한건지 json에 들어있는 정보를 통해 알맞은 모델을 자동으로 불러온다. 또 단순히 저장된 모델을 불러오는게 아니라 몇번째 시도에서 몇번째 epoch로 저장된 checkpoint를 단순히 args 를 통해 설정할 수 있다. 내가 봐도 정말 잘 만들었다.

근데 문제는 앙상블이다. 단일모델용으로 만든 train 코드를 복사 붙여넣기로 만들긴 했지만 현재 GPU 메모리 초과 문제에 닥쳐있다. 각각 따로 학습시키거나 GPU를 매번 초기화하는 함수가 있나 등을 살펴봐야겠다.

 

==========================

회고

늦게 일어났다. 늦게 자서 그렇다.

GPU 메모리 문제에 닥칠 줄은 몰랐다. 코드에만 신경써서 그런 것 같다. 그래도 대략적인 틀은 짜놨으니 약간 안심한다. 그래도 내일모래가 끝이다. 사실상 내일이 끝이라고 생각해야 할 듯.

단일모델로는 

15 sub_EfficientNet_b4_21y04m06d09_03_55_0.03_0.97_40.csv 76.7302% 0.7067

로 이게 최대인것 같다.