전체 글
![P-stage4 [day7] (7강) 모델최적화기법(2); Tensor Decomposition 실습](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdna%2FlHSYl%2FbtrmZnfAmTP%2FAAAAAAAAAAAAAAAAAAAAABrWFqC2cYYy-flKNdDf2lqxDgkG6Zy5Ztz_5OJ_7eys%2Fimg.png%3Fcredential%3DyqXZFxpELC7KVnFOS48ylbz2pIh7yKj8%26expires%3D1759244399%26allow_ip%3D%26allow_referer%3D%26signature%3DyngkUcrf%252Fpf50d2A6uojDxr0pKU%253D)
P-stage4 [day7] (7강) 모델최적화기법(2); Tensor Decomposition 실습
강의내용 (7강) 모델최적화기법(2); Tensor Decomposition 실습 앞에서 설명 못했던 Fiber와 Slice 개념. 후엔 Tensor Unfolding, Cp decomposition, Tucker decomposition 개념 복습. C-order, Fortran-order, tensorly에서의 차이.. 등 자세한건 pdf 각자 따로 구해서 엮어줘서 Tensor를 구한다고 생각하면 된다. 예시 MSE가 0.28, 0.33정도면 많은 거라고 한다. 여기서 생각할 수 있는 이유는 rank가 적기 때문에, filter값의 분포가 1보다 엄청 큰것과 -로도 크고 해서 range가 크다보니 혼란이 있는 듯. 실제 Conv2d를 줄여보자 여기 논문에서 정의한 Tucker-2 decomposoti..
![P-stage4 [day6] (6강) 모델최적화기법(2); Tensor Decomposition 이론](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdna%2FwTH2q%2FbtrmZlPAoqi%2FAAAAAAAAAAAAAAAAAAAAADLv_AUDo2forPX6mg8RFx_tjir8oewunPKzourXTQ0l%2Fimg.png%3Fcredential%3DyqXZFxpELC7KVnFOS48ylbz2pIh7yKj8%26expires%3D1759244399%26allow_ip%3D%26allow_referer%3D%26signature%3DswCnjEY3Txj8knkbP%252FIvsNjLMko%253D)
P-stage4 [day6] (6강) 모델최적화기법(2); Tensor Decomposition 이론
강의내용 (6강) 모델최적화기법(2); Tensor Decomposition 이론 Tensor decomposition - Wikipedia tensor rank decomposition은 CPD라고 불렀던 거고 Tucker decomposition은 좀더 일반화 된거. 행렬이 diagonal해야 한다던지 같은 조건이 사라진 것 같다. decomposition에 가장 많이 쓰이는 SVD. 이 그림이 직관적으로 이해하기 좋다는데 아직은 안간다. 밑에 예시 있으니 보면서 해야할듯. 앞의 몇가지들만 tensor를 결정하는데 중요한 역할을 하고 뒤로 갈수록 중요도가 점점 떨어짐. 이는 sigma를 오름차순으로 만들어서 그럼. 그림 예시를 보면 더 알 수 있다. 앞의 10가지로만 해도 그림의 전체적인 윤곽이 다 ..
![P-stage4 [day5] (5강) 모델최적화기법(1); Data augmentation 및 AutoML 실습](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdna%2FcC2JAc%2FbtrmZnfAgsk%2FAAAAAAAAAAAAAAAAAAAAAGb9VaIMunJkDMklytYyfzpUuxhAjbOb8g_4nqyjTlZq%2Fimg.png%3Fcredential%3DyqXZFxpELC7KVnFOS48ylbz2pIh7yKj8%26expires%3D1759244399%26allow_ip%3D%26allow_referer%3D%26signature%3DYbpo4yD0Yzys7BWfHqPTTx6FA2g%253D)
P-stage4 [day5] (5강) 모델최적화기법(1); Data augmentation 및 AutoML 실습
강의내용 (5강) 모델최적화기법(1); Data augmentation 및 AutoML 실습 1. Overview: Image augmentation 은 많으니 pdf보자. 밑에는 내가 흥미 있는걸 적겠다. posterize cutout 2. Image Augmentation 논문 리뷰 어떤 augment를 사용할지도 auto ml로 찾자. 근데 진짜 모든 경우의 수를 다 넣으면 시간이 너무 많이 걸리는데 augment도 너무 많이 하면 성능도 안나오니까 한번에 하는 갯수를 낮추고 하는게 성능도 더 개선되고 훨씬 빨라진다. 3. Rand Augmentation 적용하기 는 지금 프로젝트에서 주어진 baseline 코드 설명이라 pdf 보는게 나을듯. 4. AutoML 구동 및 결과 분석 "지금까지 배운걸..
![P-stage4 [day4] 모델최적화 기법(1); Automl 실습](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdna%2FwY0sf%2Fbtrm3KHOUEh%2FAAAAAAAAAAAAAAAAAAAAADx6UQvtwdIi1a_0PVNx0l9KHs09gNmOlpXKA4iBstO5%2Fimg.png%3Fcredential%3DyqXZFxpELC7KVnFOS48ylbz2pIh7yKj8%26expires%3D1759244399%26allow_ip%3D%26allow_referer%3D%26signature%3Db0Ck5B%252BCLfLnf6MJRvHu8UOpl%252F0%253D)
P-stage4 [day4] 모델최적화 기법(1); Automl 실습
수업내용 수업이 그냥 optuna 설명과 yaml에서 하는거 알려주는 건데 내용이 너무 방대해 pdf 보는게 낫겠다. pdf에서 안적고 말로 설명하는데 기억할만한거 적어놓음. 반복횟수 제어하는건 depth_multiple. 원래 모델은 이 모듈을 3번 반복한다, 4번 반복하는걸로 구성되어 있는게 그 갯수를 2배로 들리거나 0.5배로 줄이거나.. 를 할 수 있다. 그래도 최소한 1개는 있어야 하니까 max(..., 1)로 만든듯. width_multiple은 input에서 output으로 나가는 channel값을 배수로 조정함. 예를들어 width_multiple이 2라면 첫번째 모듈 [1, Conv, [64, 7, 2]] 가 아니라 [1, Conv, [128, 7, 2]]로 채널수가 배수로 늘어남. ou..
![P-stage4 [day3] 모델최적화 기법(1); Automl 이론](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdna%2Fpnbl6%2Fbtrm3Q2xipW%2FAAAAAAAAAAAAAAAAAAAAAIbgs3VJtn8ZuvApShhHsJcsLe34uNY1CTkMRmFHJ2js%2Fimg.png%3Fcredential%3DyqXZFxpELC7KVnFOS48ylbz2pIh7yKj8%26expires%3D1759244399%26allow_ip%3D%26allow_referer%3D%26signature%3DnZKjVr%252Fmg5uNBYMtSvJiD565QZI%253D)
P-stage4 [day3] 모델최적화 기법(1); Automl 이론
강의내용 (3강) 모델최적화 기법(1); Automl 이론 이 반복을 통채로 기계가 알아서 다 하게 하자! 진정한 AutoML Conditional은 말 그대로 조건에 따라 추가되는 config. SGD는 momentum이 있는데 adam에는 없거나 하는거. 수업목적 목적에 따라 함수가 다르고, 그 함수를 최대화(최소화) 할 수 있는 람다를 계속 시도하면서 찾아나간다. 실선이 예측해서 알아낸(알아낼)영역, 보라색이 가수시안으로 추측하는 불확실성 영역, 밑에 초록색이 앞으로 어디를 예측할지 결정하는 영역. 그래서 불확실성 중 큰 쪽으로 다음을 예측하는 것 같다. 어떻게 가우시안으로 하는건지 알려주는데 잘 모르겠다.. 자세히 더 알고싶으면 pdf 보고 밑의 페이지를 보자. A Visual Exploratio..
![P-stage4 [day1] 경량화 분야 소개 & 강의 소개](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdna%2FcNNZPV%2Fbtrmxi0XLLI%2FAAAAAAAAAAAAAAAAAAAAAAFowygvurfobS-DTNEKYPcjhLpJU1TYC5yBs7LoGykz%2Fimg.png%3Fcredential%3DyqXZFxpELC7KVnFOS48ylbz2pIh7yKj8%26expires%3D1759244399%26allow_ip%3D%26allow_referer%3D%26signature%3DoJugr1W%252F8t3%252F%252Bet%252FLA%252BiuDjOqPo%253D)
P-stage4 [day1] 경량화 분야 소개 & 강의 소개
강의 내용 (1강) 경량화 분야 소개 & 강의 소개 경량화를 왜 하냐 베터리, 램, 저장공간, 성능 latency, throughput. 더 작은 latency와 더 큰 throughput을 만들고 싶다. 새로운 모델이 생길수록 성능은 좋아지지만 배로 뛰는 연산량.. (멘토님의) 경량화 종류 관점 네트워크구조관점 Efficient Architecture Design (+AutoML;Neural Architecture Search(NAS)) Network Pruning Knowledge Distillation Matrix/Tensor Decomposition … Hardware관점 Network Quantization Network Compiling Efficient Architecture Design 처..
프로그래머스 뎁매칭 정리
NFnet inference가 잘못된듯. 잘 됬는지 확인하려면 val dataset을 test형태로 넣어보기. 머리속에서 timeline 정해놓고. 몇시까지 뭘하고 몇시까진 뭘할거고. 앙상블은 마감하기 2시간전쯤에 하는게 좋음. 1등했던것들은 시간들이 다양했었다. 코랩 한번에 여러개 ipynb를 열어서 사용하기. 꼬일수도 있으니 조심. 3~4개까지는 한번에 킬 수있음. 램 고용량은 상관없음. 로더 쓰면 거의 안터짐. torch.data imagefolder 하면 폴더 이름을 클래스로 불러오는 것까지 다 해줌. 웨이드 에버리징. (SWA?) 아뇨 그건 안 좋아여 써봤는데 어렵고 무겁고 웨이트 애버리징은 n개의 동일 모델의 웨이트를 평균네는 앙상블 기법이에요 네는 > 내는 모델에 dropout 써보기. 좋은..
P-stage3 img obd 마지막 정리
네트워킹 데이 약간 설명 단순히 프로젝트 해봤다 x. 문제해결과정을 더 적어주면 좋지않을까. 제출제한 없지만 나에게 중요한게 뭔지.. 코테하다가 지침. 꼬일수도 있고. 나한테 선택권이 있을때 중요한게 뭔지 자신이 제일 잘 아니까. stage 1,2는 난이도가 비교적 낮으니까 3,4로 어필하는걸 추천. 랜덤 피어세션 데이터에서 너무 못맞춘걸 데이터 갯수 자체를 늘려서 사용해서 학습했더니 성능 향상이 있엇음. 언노운 라벨을 제너럴로 바꿔서 했었는데 public 점수는 높았지만 private은 많이 감소함. 언노운을 버리기엔 작은 언노운 small box가 너무 많아서 안버리는게 나은듯. lr은 최소 코사인 써야 좋은 듯. kaggle에서 스케쥴러 튜닝한거 보면 lr를 엄청 들쑥날쑥하게 잘 하는 듯. 다른분들..
P-stage3 [day9]
피어세션 precision 진짜 정답이 몇개인가. recall이 진짜 정답인것 중에서 내가 맞춘 정답. HTC가 segment랑 bounding box 다 사용하는건데 bounding box만 사용하면 별로인것 같다. 점수는 높긴 한데..
P-stage3 [day7]
피어세션 EDA로 정답을 어떻게 예측하는지 실제 정답이랑 비교하는게 보니까 좋은듯. 모델마다 예측 잘하는 object가 따로 있는 듯. class마다. val에서 어떤 class를 모델마다 어떻게 생각하고 맞추는지 수치로 알 수 있었으면 .. python tools/train.py configs/trash/swin/mask_rcnn_swin_tiny_patch4_window7_mstrain_480-800_adamw_1x_coco.py python tools/test.py configs/trash/swin/mask_rcnn_swin_tiny_patch4_window7_mstrain_480-800_adamw_1x_coco.py work_dirs/mask_rcnn_swin_tiny_patch4_window7_..