전체 글

전체 글

    과거의 것들/AI Tech boostcamp

    P-stage3 [day6]

    피어세션 사랑애 돈가스 이비가짬뽕 나가사키 짬뽕 제주도 그리운바다. 회는 농협에서 떠먹어라. 하나로마트 농협 회 생선. 제주도 귤 와플 댕규리네. Notes Draft

    P-stage3 [day5]
    과거의 것들/AI Tech boostcamp

    P-stage3 [day5]

    수업내용 resnet50에 fasterRcnn에 FPN 이 붙어있는 모델을 base model을 주로 사용하는 편. 여기서 yolo를 사용해보는등 다양하게 확장해봄. ETC Deformable Convolution backbone type에 DCN 추가해주기. Switchable Atrous Convolution 다양한 크기에 대비하기 위해 resolution 을 늘렸다 줄였다 하면서 학습함. S랑 1-S부분. pretrained는 건들이지 않고 pretrained weight에 더해주면서 작동하는 방식이라 자물쇠 그림이 있음. Data image augmentation Cutmix 이 cutmix를 활용한 좋은 model을 가져와서 활용하는 방법 직접 잘라서 cut하는 방법. box의 width 와 h..

    P-stage3 [day4]
    과거의 것들/AI Tech boostcamp

    P-stage3 [day4]

    수업내용 Efficient Object Detection EfficientNet EfficientDet efficientnet의 모토는 어차피 사이즈 키우면 성능이 늘어나니까 얘를 좀 더 효율적으로 늘릴 순 없을까? 하는거. 각종 Scale up 하는 방법들. Scale factor, Better Accuracy, Better Efficiency 위 식을 만족하면서 모델 구조를 바꾸자. EfficientDet node가 연결점이 하나인건 의미 없는것 같으니까 없애자! 이런식으로 효율적으로. 잘 보면 repeatable 하게 만들었음. 그래서 뒤에 보면 여러개를 반복해서 붙일거다. Further 1) ResNet 4 Stages, EfficientDet 5 Stages 2) Repeated BiFPN 3)..

    과거의 것들/AI Tech boostcamp

    P-stage3 [day3]

    피어세션 / 마스터세션 python tools/train.py configs/trash/faster_rcnn/faster_rcnn_r50_fpn_1x_trash.py 23:23 with_segmentation=True backbone custom은 document 검색하니까 잘 나오는듯. transform 안되는거 stage 고려해야 하는듯. ResNet 보니까 18, 34, 50, 101, 152.. 쫙 있네. 또 2 stage model에선 focal loss를 안써서 적용이 안되는 듯.

    P-stage3 [day2]
    과거의 것들/AI Tech boostcamp

    P-stage3 [day2]

    수업내용 object detection을 위한 library가 Detection2와 mmdetection이 있지만 mmdetection이 더 많은듯. Detection2 Facebook AI Research pytorch 2 Stages MMDetection OpenMMLab Pytorch 2 Stages & 1 Stages Pipelining MMDetection은 pipelining에 중점을 둔 library라서 모델 구조를 바꿔끼는게 편리하게 구성되어 있음. 그런데 backbone에 보면 Neck이란게 있다. 이게 뭐고 왜 이걸 중간에 꼭 거쳐야만 하는가. cnn을 너무 많이 거치면 큰 물체는 감지 잘하지만 detail한 작은 물체들은 잘 감지 못하는 문제가 발생해서 중간과정을 하나 만든거고, 이 ..

    P-stage3 [day1] mmdetection
    과거의 것들/AI Tech boostcamp

    P-stage3 [day1] mmdetection

    하기전에.. 이제 2주간 하는건 object detection 수업내용 고전적인 방법들. 초기에는 물체의 위치를 RoI로 찾고, 그 그림 위치에 대한 Classification을 진행한 2 stages가 있었고 나중엔 1 stages로 모두 한번에 끝내는 방법이 개발됨. 2 stages Fast RCNN. 그냥 한번에 CNN에 다 넣고 RoI 구해서 그 부분에 대한 classification을 한다고 함. Faster RCNN은 anchor box 이용. 그래서 loss 보면 각 box에 물체가 들어있냐 마느냐도 들어있음. 중복되는 영역은 NMS를 이용해 제거함. 1 stages Yolo는 각각의 grid에 대한 결과를 하나의 열로 정리해서 모두 한번에 해결하는 거인듯. 위치, object가 들어있을지,..

    과거의 것들/AI Tech boostcamp

    P-stage3 img seg 마지막 정리

    피어세션 삼성 GSAT 너무 public overfitting된건 아닌가. 앙상블을 너무 많이 넣어서 편향된듯. Unet을 안된다고 생각한 부분 뜯어고쳤더니 더 잘나왔더라 모델 개조하면 pretrained weight 어떻게 불러오지? loaddict할려면 이름 일일이 맞추던가 아예 그냥 불러와서 선언하던가. sota인 HRnet을 더 팠었으면 좋지 않았을까.. 파라미터수랑 계산속도랑 정확하게 비례하지 않는 듯. 다른 요인이 뭔지 물어보자. 앙상블할 때 다양한 모델로 하는게 좋은 듯. 우린 거의 다 DeepLab V3+로만 했으니까.. 다양하게 해야 일반화가 잘 될듯. 점수를 높이는것 보다 왜 성능이 좋은지 알아야 하지않을까? 자연스럽게 점수도 올라가고 얻는것도 더 많을듯. 랩업 레포트 P-stage3%..

    P-stage3 [Day9] 앙상블 끌어모으기
    과거의 것들/AI Tech boostcamp

    P-stage3 [Day9] 앙상블 끌어모으기

    목표 어제부터 시작한 각자 팀원끼리 k-fold 훈련 맡아서 한거 결과 보기. 피어세션 서브웨이 빵: 먹고싶은거 패티: 빵 행사, 에그마요 치즈: 슈레드 넣어주시고 양파 같이 구워주세요. 직원이 생양파가 있는지 모를 수 있으니 확인. 채소는 원하는거 넣고 소스는 바베큐가 맛있더라. (렌치, 스위트어니언, 허니머스타드, (후추 ox)) 제로콜라, 더블초코칩 쿠키오래가노? 핫칠리, 후추비빔참치마요 (편집됨) 행동 qubvel/ttach tta라고 테스트할때 여러 사진을 이용해 자체 앙상블 하는게 있는데 이걸 이용해서 테스트했다. 같은 팀원분의 강력 추천으로 해봄. 실험해 본 결과 transform을 Horizenflip, Scale 두개를 넣는게 낫다는 의견과 실제로 봐도 그래서 이렇게 했고, 여러 옵션 중..

    과거의 것들/AI Tech boostcamp

    P-stage3 [Day7]

    피어세션 supervised 는 미래예측 불가능. 강화학습 슬슬 시도하는것 같아 이쪽도 공부하는게 좋을듯. 지금 주식하는건 강화학습으로 해보고 있음. 시가, 주가, 거래량, ... 기본 데이터와 기본적인 기술과. 강화학습은 최적화 목적이지 supervised 처럼 정답을 찾는게 목적이 아니라. '잘했다'라는걸 label 하는게 힘들었음. 그래서 reward 개념으로 label 없이 할 수 있다는게 좋은듯. 애초에 강화학습 자체가 markov chain. 요새 강화학습은 다 딥러닝 써서 이거 끝나고 쉽게 할 수 있을듯. 딥러닝이랑 강화학습이 결합된 DeepRL. CV랑 강화학습 결합한 쿠키런 자동으로 해주는거. TTA는 test data에도 train data 보내줘서 평가하는 data 2개를 만들고 같이..

    P-stage3 [Day6] meta pseudo label, cv2.Canny
    과거의 것들/AI Tech boostcamp

    P-stage3 [Day6] meta pseudo label, cv2.Canny

    목표 meta pseudo label 해보기, cv2.Canny 섞어보기 행동 meta pseudo label 대충 구현했는데 잘 안되는듯. pytorch로 구현되어 있던거는 확률이 매우 낮아도 hard pseudo label 로 해서 저렇게 된 거 같음. 그래서 soft label로도 바꿔서 해봤는데 test data epoch 2했을 때 PB 0.007 내려감. 여기 문제에선 안맞거나 내가 잘못했거나.. soft pseudo label을 했을 때 첫번째 데이터의 최대 정답 확률이 0.0644였다. 정답 레이블치곤 너무 낮게 나와 soft pseudo label에서 * 10 을 가중치를 둬서 학습하게 해봤는데 PB 가 0.01 더 내려갔다. 그냥 안되는건가.. cv2.Canny 섞는것도 미묘하게 성능이..

    티스토리툴바