과거의 것들/AI Tech boostcamp

    과거의 것들/AI Tech boostcamp

    네트워킹데이 모의날 정리

    SOTA에서 모듈만 가져와서 활용한다 sliding window 각 문제, 변수마다 EDA를 모두 봤다. 이게 feature engineering 인듯. 다양한 모델 활용 결과를 hard voting하고 좋았던 모델끼리 soft voting OCR 1조꺼 git clone 해서 docker로 상용화 한 것 같다. 한번 해봐야 할듯. CIFAR-10 등으로 미리 pretrained를 했었더라면.. opt 4조 ppt 공유 부탁이랑 prouning 물어보기 프로젝트 데이터로 학습한게 아니라 CIFAR-10으로 학습함. 32*32이니까 별로 안걸려서 NAS로 10만개 정도 찾고 쓸만한 모델 1000개 정도를 찾았다. 제대로 된 모델을 찾아서 2000에폭. milestone이 다같이 하나의 목표를 가지고 하는걸..

    과거의 것들/AI Tech boostcamp

    개인적 정리

    반복적인 일중에 AI로 안된게 뭐가 있는가 핫하지 않은 분야가 핫한것. 내 관점에선 뭐가 가장 핫한것 같은가 10%의 일을 해서 90% 문제를 해결할 수 있는 일을 해라. 지금 하는게 진짜 문제를 해결하는데 있어서 좋은 방법인가.

    과거의 것들/AI Tech boostcamp

    P-stage4 정리

    피어세션 모델 automl NAS로 찾음 Neural Architecture Search MultiLabelSoftMarginLoss() feature마다 loss를 적용해줘서 모델 다 뜯어서 global average pooling 하면 된다. mse loss로 feature vector를 학습시켰는데 일반화가 안됨. normal distillation을 했는데. 고해상도를 저해상도로 바꾸는 실험들 Tensor 찢고(decomposition) knowledge distillation colab 해결? 구글 드라이브에 저장하면 느리다. 알집파일만 올려놓고 컨텐츠에 올려넣고 풀어야 한다. 코랩 local이라. 어차피 알집 푸는데 30초 밖에 안걸리니까 tensorflow lite를 쓰면 가볍고, proun..

    P-stage 4 [day13] (10강) Nvidia GPU를 위한 TensorRT, DALI
    과거의 것들/AI Tech boostcamp

    P-stage 4 [day13] (10강) Nvidia GPU를 위한 TensorRT, DALI

    강의내용 (10강) Nvidia GPU를 위한 TensorRT, DALI 내용이 많으니 기본적으로는 그냥 pdf를 보자. 여기선 그냥 메모만 함. 기본적으로 pytorch → ONMX → TensorRT의 과정을 거침. ONMX가 애초에 이런 목적으로 만들어진 프로젝트다. torch.onnx - PyTorch 1.8.1 documentation 하지만 사전 작업이 좀 필요하고 맞춰서 고쳐야 할 수도 있음. 레트론 이라는 모델 시각화 라이브러리가 있다. 특이한건 batch size도 있는데 각 환경마다 적절한 batch size를 설정해야 하기 때문인듯. DALI 갈수록 커지는 두 하드웨어의 격차.. GPU가 CPU 대신 일하게 할 수 없을까. 지금 하는 프로젝트만 해도 CPU는 항상 100%인데 GPU는..

    P-stage4 [day12] (9강) 모델최적화기법(3); Quantization 실습
    과거의 것들/AI Tech boostcamp

    P-stage4 [day12] (9강) 모델최적화기법(3); Quantization 실습

    수업내용 (9강) 모델최적화기법(3); Quantization 실습 PTQ는 사전에 바꾸는거고, QAT는 일단 float으로 학습시킨 후에 나중에 int로 바꾸는 거다. 저렇게 표기하긴 하지만 library마다 표기 방식이 다르니까 유의하자. 구글에서 제공한 flowset. 정말 보기 좋은 듯. [5]“8-BitInferencewithTensorRT.”2017GTCSanJose,gputechconf2017.smarteventscloud.com/connect/sessionDetail.ww?SESSION_ID=105897. Full integer quantization은 NVIDIA에서 잘 수행한 예시가 있는데 자세한건 pdf와 위 링크를 보자. 이론과 다른점은 bias가 없어도 성능에 별 영향 없다고 해서..

    P-stage4 [day11] (8강) 모델 최적화 기법(3) : Quantization 이론
    과거의 것들/AI Tech boostcamp

    P-stage4 [day11] (8강) 모델 최적화 기법(3) : Quantization 이론

    수업 내용 (8강) 모델 최적화 기법(3) : Quantization 이론 탄생 배경. Quantization을 하면 모델 사이즈도 줄고, 에너지 관점에서도 이득임. 정보 양이 작아지다 보니 메모리에도 더 많이 넣어서 효율적인 사용. "우린 왜 Floating point를 사용해야 하는가" What Every Computer Scientist Should Know About Floating-Point Arithmetic float 일때의 최소, 최대는 quantization의 최소, 최대 일때랑 같아야 한다는 사실과 float에서 0은 int에서도 무조건 0 이어야 한다는 사실로 만들어진 식. Quantization for Neural Networks (여기서 다 가져오셨다고 함.) Y 행렬의 한 원소를..

    과거의 것들/AI Tech boostcamp

    P-stage4 [day8]

    오늘 한거 아침 11시에 kaggle shoppingpee 대회 1등하신거 솔루션 공유하심. upstage youtube에 다시보기도 올라온다고 한다. computer vision과 NLP 처리 둘 다 이용해서 해결함. gdrive에서 돌릴 수 있도록 압축 제대로 품. 마스터세션에서 outoml db랑 연결시켜서 하는거 배움. 정말 유용하다. 완벽히 다 소화할 수 있도록.. 멘토님한테 이력서, 포트폴리오 컨설팅 받음. CosineAnnealingWarmupRestarts 추가함.

    P-stage4 [day7] (7강) 모델최적화기법(2); Tensor Decomposition 실습
    과거의 것들/AI Tech boostcamp

    P-stage4 [day7] (7강) 모델최적화기법(2); Tensor Decomposition 실습

    강의내용 (7강) 모델최적화기법(2); Tensor Decomposition 실습 앞에서 설명 못했던 Fiber와 Slice 개념. 후엔 Tensor Unfolding, Cp decomposition, Tucker decomposition 개념 복습. C-order, Fortran-order, tensorly에서의 차이.. 등 자세한건 pdf 각자 따로 구해서 엮어줘서 Tensor를 구한다고 생각하면 된다. 예시 MSE가 0.28, 0.33정도면 많은 거라고 한다. 여기서 생각할 수 있는 이유는 rank가 적기 때문에, filter값의 분포가 1보다 엄청 큰것과 -로도 크고 해서 range가 크다보니 혼란이 있는 듯. 실제 Conv2d를 줄여보자 여기 논문에서 정의한 Tucker-2 decomposoti..

    P-stage4 [day6] (6강) 모델최적화기법(2); Tensor Decomposition 이론
    과거의 것들/AI Tech boostcamp

    P-stage4 [day6] (6강) 모델최적화기법(2); Tensor Decomposition 이론

    강의내용 (6강) 모델최적화기법(2); Tensor Decomposition 이론 Tensor decomposition - Wikipedia tensor rank decomposition은 CPD라고 불렀던 거고 Tucker decomposition은 좀더 일반화 된거. 행렬이 diagonal해야 한다던지 같은 조건이 사라진 것 같다. decomposition에 가장 많이 쓰이는 SVD. 이 그림이 직관적으로 이해하기 좋다는데 아직은 안간다. 밑에 예시 있으니 보면서 해야할듯. 앞의 몇가지들만 tensor를 결정하는데 중요한 역할을 하고 뒤로 갈수록 중요도가 점점 떨어짐. 이는 sigma를 오름차순으로 만들어서 그럼. 그림 예시를 보면 더 알 수 있다. 앞의 10가지로만 해도 그림의 전체적인 윤곽이 다 ..

    P-stage4 [day5] (5강) 모델최적화기법(1); Data augmentation 및 AutoML 실습
    과거의 것들/AI Tech boostcamp

    P-stage4 [day5] (5강) 모델최적화기법(1); Data augmentation 및 AutoML 실습

    강의내용 (5강) 모델최적화기법(1); Data augmentation 및 AutoML 실습 1. Overview: Image augmentation 은 많으니 pdf보자. 밑에는 내가 흥미 있는걸 적겠다. posterize cutout 2. Image Augmentation 논문 리뷰 어떤 augment를 사용할지도 auto ml로 찾자. 근데 진짜 모든 경우의 수를 다 넣으면 시간이 너무 많이 걸리는데 augment도 너무 많이 하면 성능도 안나오니까 한번에 하는 갯수를 낮추고 하는게 성능도 더 개선되고 훨씬 빨라진다. 3. Rand Augmentation 적용하기 는 지금 프로젝트에서 주어진 baseline 코드 설명이라 pdf 보는게 나을듯. 4. AutoML 구동 및 결과 분석 "지금까지 배운걸..

    티스토리툴바