과거의 것들

    P-stage4 [day4] 모델최적화 기법(1); Automl 실습
    과거의 것들/AI Tech boostcamp

    P-stage4 [day4] 모델최적화 기법(1); Automl 실습

    수업내용 수업이 그냥 optuna 설명과 yaml에서 하는거 알려주는 건데 내용이 너무 방대해 pdf 보는게 낫겠다. pdf에서 안적고 말로 설명하는데 기억할만한거 적어놓음. 반복횟수 제어하는건 depth_multiple. 원래 모델은 이 모듈을 3번 반복한다, 4번 반복하는걸로 구성되어 있는게 그 갯수를 2배로 들리거나 0.5배로 줄이거나.. 를 할 수 있다. 그래도 최소한 1개는 있어야 하니까 max(..., 1)로 만든듯. width_multiple은 input에서 output으로 나가는 channel값을 배수로 조정함. 예를들어 width_multiple이 2라면 첫번째 모듈 [1, Conv, [64, 7, 2]] 가 아니라 [1, Conv, [128, 7, 2]]로 채널수가 배수로 늘어남. ou..

    P-stage4 [day3] 모델최적화 기법(1); Automl 이론
    과거의 것들/AI Tech boostcamp

    P-stage4 [day3] 모델최적화 기법(1); Automl 이론

    강의내용 (3강) 모델최적화 기법(1); Automl 이론 이 반복을 통채로 기계가 알아서 다 하게 하자! 진정한 AutoML Conditional은 말 그대로 조건에 따라 추가되는 config. SGD는 momentum이 있는데 adam에는 없거나 하는거. 수업목적 목적에 따라 함수가 다르고, 그 함수를 최대화(최소화) 할 수 있는 람다를 계속 시도하면서 찾아나간다. 실선이 예측해서 알아낸(알아낼)영역, 보라색이 가수시안으로 추측하는 불확실성 영역, 밑에 초록색이 앞으로 어디를 예측할지 결정하는 영역. 그래서 불확실성 중 큰 쪽으로 다음을 예측하는 것 같다. 어떻게 가우시안으로 하는건지 알려주는데 잘 모르겠다.. 자세히 더 알고싶으면 pdf 보고 밑의 페이지를 보자. A Visual Exploratio..

    P-stage4 [day1] 경량화 분야 소개 & 강의 소개
    과거의 것들/AI Tech boostcamp

    P-stage4 [day1] 경량화 분야 소개 & 강의 소개

    강의 내용 (1강) 경량화 분야 소개 & 강의 소개 경량화를 왜 하냐 베터리, 램, 저장공간, 성능 latency, throughput. 더 작은 latency와 더 큰 throughput을 만들고 싶다. 새로운 모델이 생길수록 성능은 좋아지지만 배로 뛰는 연산량.. (멘토님의) 경량화 종류 관점 네트워크구조관점 Efficient Architecture Design (+AutoML;Neural Architecture Search(NAS)) Network Pruning Knowledge Distillation Matrix/Tensor Decomposition … Hardware관점 Network Quantization Network Compiling Efficient Architecture Design 처..

    과거의 것들/AI Tech boostcamp

    프로그래머스 뎁매칭 정리

    NFnet inference가 잘못된듯. 잘 됬는지 확인하려면 val dataset을 test형태로 넣어보기. 머리속에서 timeline 정해놓고. 몇시까지 뭘하고 몇시까진 뭘할거고. 앙상블은 마감하기 2시간전쯤에 하는게 좋음. 1등했던것들은 시간들이 다양했었다. 코랩 한번에 여러개 ipynb를 열어서 사용하기. 꼬일수도 있으니 조심. 3~4개까지는 한번에 킬 수있음. 램 고용량은 상관없음. 로더 쓰면 거의 안터짐. torch.data imagefolder 하면 폴더 이름을 클래스로 불러오는 것까지 다 해줌. 웨이드 에버리징. (SWA?) 아뇨 그건 안 좋아여 써봤는데 어렵고 무겁고 웨이트 애버리징은 n개의 동일 모델의 웨이트를 평균네는 앙상블 기법이에요 네는 > 내는 모델에 dropout 써보기. 좋은..

    과거의 것들/AI Tech boostcamp

    P-stage3 img obd 마지막 정리

    네트워킹 데이 약간 설명 단순히 프로젝트 해봤다 x. 문제해결과정을 더 적어주면 좋지않을까. 제출제한 없지만 나에게 중요한게 뭔지.. 코테하다가 지침. 꼬일수도 있고. 나한테 선택권이 있을때 중요한게 뭔지 자신이 제일 잘 아니까. stage 1,2는 난이도가 비교적 낮으니까 3,4로 어필하는걸 추천. 랜덤 피어세션 데이터에서 너무 못맞춘걸 데이터 갯수 자체를 늘려서 사용해서 학습했더니 성능 향상이 있엇음. 언노운 라벨을 제너럴로 바꿔서 했었는데 public 점수는 높았지만 private은 많이 감소함. 언노운을 버리기엔 작은 언노운 small box가 너무 많아서 안버리는게 나은듯. lr은 최소 코사인 써야 좋은 듯. kaggle에서 스케쥴러 튜닝한거 보면 lr를 엄청 들쑥날쑥하게 잘 하는 듯. 다른분들..

    과거의 것들/AI Tech boostcamp

    P-stage3 [day9]

    피어세션 precision 진짜 정답이 몇개인가. recall이 진짜 정답인것 중에서 내가 맞춘 정답. HTC가 segment랑 bounding box 다 사용하는건데 bounding box만 사용하면 별로인것 같다. 점수는 높긴 한데..

    과거의 것들/AI Tech boostcamp

    P-stage3 [day7]

    피어세션 EDA로 정답을 어떻게 예측하는지 실제 정답이랑 비교하는게 보니까 좋은듯. 모델마다 예측 잘하는 object가 따로 있는 듯. class마다. val에서 어떤 class를 모델마다 어떻게 생각하고 맞추는지 수치로 알 수 있었으면 .. python tools/train.py configs/trash/swin/mask_rcnn_swin_tiny_patch4_window7_mstrain_480-800_adamw_1x_coco.py python tools/test.py configs/trash/swin/mask_rcnn_swin_tiny_patch4_window7_mstrain_480-800_adamw_1x_coco.py work_dirs/mask_rcnn_swin_tiny_patch4_window7_..

    과거의 것들/AI Tech boostcamp

    P-stage3 [day6]

    피어세션 사랑애 돈가스 이비가짬뽕 나가사키 짬뽕 제주도 그리운바다. 회는 농협에서 떠먹어라. 하나로마트 농협 회 생선. 제주도 귤 와플 댕규리네. Notes Draft

    P-stage3 [day5]
    과거의 것들/AI Tech boostcamp

    P-stage3 [day5]

    수업내용 resnet50에 fasterRcnn에 FPN 이 붙어있는 모델을 base model을 주로 사용하는 편. 여기서 yolo를 사용해보는등 다양하게 확장해봄. ETC Deformable Convolution backbone type에 DCN 추가해주기. Switchable Atrous Convolution 다양한 크기에 대비하기 위해 resolution 을 늘렸다 줄였다 하면서 학습함. S랑 1-S부분. pretrained는 건들이지 않고 pretrained weight에 더해주면서 작동하는 방식이라 자물쇠 그림이 있음. Data image augmentation Cutmix 이 cutmix를 활용한 좋은 model을 가져와서 활용하는 방법 직접 잘라서 cut하는 방법. box의 width 와 h..

    P-stage3 [day4]
    과거의 것들/AI Tech boostcamp

    P-stage3 [day4]

    수업내용 Efficient Object Detection EfficientNet EfficientDet efficientnet의 모토는 어차피 사이즈 키우면 성능이 늘어나니까 얘를 좀 더 효율적으로 늘릴 순 없을까? 하는거. 각종 Scale up 하는 방법들. Scale factor, Better Accuracy, Better Efficiency 위 식을 만족하면서 모델 구조를 바꾸자. EfficientDet node가 연결점이 하나인건 의미 없는것 같으니까 없애자! 이런식으로 효율적으로. 잘 보면 repeatable 하게 만들었음. 그래서 뒤에 보면 여러개를 반복해서 붙일거다. Further 1) ResNet 4 Stages, EfficientDet 5 Stages 2) Repeated BiFPN 3)..

    티스토리툴바