전체 글
DistributedDataParallel 관련 링크 정리
https://pytorch.org/docs/stable/notes/cuda.html?highlight=torch%20distributed%20init_process_group CUDA semantics — PyTorch 1.10.1 documentation CUDA semantics torch.cuda is used to set up and run CUDA operations. It keeps track of the currently selected GPU, and all CUDA tensors you allocate will by default be created on that device. The selected device can be changed with a torch.cuda.device c..
codecamedy의 learn SQL 1. Manipulation
https://www.codecademy.com/learn/learn-sql SQL Tutorial: Learn SQL For Free | Codecademy Learn SQL - a language used to communicate with databases using SQL and learn how to write SQL queries. www.codecademy.com Learn how to use SQL to access, create, and update data stored in a database. 딱 봐도 까먹을 각이라 적어놓는다. 1. SELECT SELECT * FROM celebs; 2. CREATE CREATE TABLE celebs ( id INTEGER, name TEXT, a..
네트워킹데이 모의날 정리
SOTA에서 모듈만 가져와서 활용한다 sliding window 각 문제, 변수마다 EDA를 모두 봤다. 이게 feature engineering 인듯. 다양한 모델 활용 결과를 hard voting하고 좋았던 모델끼리 soft voting OCR 1조꺼 git clone 해서 docker로 상용화 한 것 같다. 한번 해봐야 할듯. CIFAR-10 등으로 미리 pretrained를 했었더라면.. opt 4조 ppt 공유 부탁이랑 prouning 물어보기 프로젝트 데이터로 학습한게 아니라 CIFAR-10으로 학습함. 32*32이니까 별로 안걸려서 NAS로 10만개 정도 찾고 쓸만한 모델 1000개 정도를 찾았다. 제대로 된 모델을 찾아서 2000에폭. milestone이 다같이 하나의 목표를 가지고 하는걸..
개인적 정리
반복적인 일중에 AI로 안된게 뭐가 있는가 핫하지 않은 분야가 핫한것. 내 관점에선 뭐가 가장 핫한것 같은가 10%의 일을 해서 90% 문제를 해결할 수 있는 일을 해라. 지금 하는게 진짜 문제를 해결하는데 있어서 좋은 방법인가.
P-stage4 정리
피어세션 모델 automl NAS로 찾음 Neural Architecture Search MultiLabelSoftMarginLoss() feature마다 loss를 적용해줘서 모델 다 뜯어서 global average pooling 하면 된다. mse loss로 feature vector를 학습시켰는데 일반화가 안됨. normal distillation을 했는데. 고해상도를 저해상도로 바꾸는 실험들 Tensor 찢고(decomposition) knowledge distillation colab 해결? 구글 드라이브에 저장하면 느리다. 알집파일만 올려놓고 컨텐츠에 올려넣고 풀어야 한다. 코랩 local이라. 어차피 알집 푸는데 30초 밖에 안걸리니까 tensorflow lite를 쓰면 가볍고, proun..
![P-stage 4 [day13] (10강) Nvidia GPU를 위한 TensorRT, DALI](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdna%2FMJKWx%2Fbtrm5x9wkYJ%2FAAAAAAAAAAAAAAAAAAAAAKhEW4R39lMuo4YapdKyAb49wsYdMBWHCdBtfgg4iqB6%2Fimg.png%3Fcredential%3DyqXZFxpELC7KVnFOS48ylbz2pIh7yKj8%26expires%3D1759244399%26allow_ip%3D%26allow_referer%3D%26signature%3DHLO7SKF%252BBsBDSe1ZFSd47lCyK0k%253D)
P-stage 4 [day13] (10강) Nvidia GPU를 위한 TensorRT, DALI
강의내용 (10강) Nvidia GPU를 위한 TensorRT, DALI 내용이 많으니 기본적으로는 그냥 pdf를 보자. 여기선 그냥 메모만 함. 기본적으로 pytorch → ONMX → TensorRT의 과정을 거침. ONMX가 애초에 이런 목적으로 만들어진 프로젝트다. torch.onnx - PyTorch 1.8.1 documentation 하지만 사전 작업이 좀 필요하고 맞춰서 고쳐야 할 수도 있음. 레트론 이라는 모델 시각화 라이브러리가 있다. 특이한건 batch size도 있는데 각 환경마다 적절한 batch size를 설정해야 하기 때문인듯. DALI 갈수록 커지는 두 하드웨어의 격차.. GPU가 CPU 대신 일하게 할 수 없을까. 지금 하는 프로젝트만 해도 CPU는 항상 100%인데 GPU는..
![P-stage4 [day12] (9강) 모델최적화기법(3); Quantization 실습](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdna%2Fdn8AFc%2FbtrmYdkCkoG%2FAAAAAAAAAAAAAAAAAAAAACHlu7azE82ufnYtxKhEW15zrLvunXkE5tmdqRh_XTp5%2Fimg.png%3Fcredential%3DyqXZFxpELC7KVnFOS48ylbz2pIh7yKj8%26expires%3D1759244399%26allow_ip%3D%26allow_referer%3D%26signature%3DfukFE0NFhDsB%252BdLOtC4ZcggeyXI%253D)
P-stage4 [day12] (9강) 모델최적화기법(3); Quantization 실습
수업내용 (9강) 모델최적화기법(3); Quantization 실습 PTQ는 사전에 바꾸는거고, QAT는 일단 float으로 학습시킨 후에 나중에 int로 바꾸는 거다. 저렇게 표기하긴 하지만 library마다 표기 방식이 다르니까 유의하자. 구글에서 제공한 flowset. 정말 보기 좋은 듯. [5]“8-BitInferencewithTensorRT.”2017GTCSanJose,gputechconf2017.smarteventscloud.com/connect/sessionDetail.ww?SESSION_ID=105897. Full integer quantization은 NVIDIA에서 잘 수행한 예시가 있는데 자세한건 pdf와 위 링크를 보자. 이론과 다른점은 bias가 없어도 성능에 별 영향 없다고 해서..
![P-stage4 [day11] (8강) 모델 최적화 기법(3) : Quantization 이론](https://img1.daumcdn.net/thumb/R750x0/?scode=mtistory2&fname=https%3A%2F%2Fblog.kakaocdn.net%2Fdna%2FbWPov9%2Fbtrm9D9caC1%2FAAAAAAAAAAAAAAAAAAAAAFJPC9qeVdfT0m3DGzJo9Ze4wsYhO52FgCFwOtcjhsUS%2Fimg.png%3Fcredential%3DyqXZFxpELC7KVnFOS48ylbz2pIh7yKj8%26expires%3D1759244399%26allow_ip%3D%26allow_referer%3D%26signature%3DOXMNOIh6aW5yMj%252FFx1AQWKWx6pk%253D)
P-stage4 [day11] (8강) 모델 최적화 기법(3) : Quantization 이론
수업 내용 (8강) 모델 최적화 기법(3) : Quantization 이론 탄생 배경. Quantization을 하면 모델 사이즈도 줄고, 에너지 관점에서도 이득임. 정보 양이 작아지다 보니 메모리에도 더 많이 넣어서 효율적인 사용. "우린 왜 Floating point를 사용해야 하는가" What Every Computer Scientist Should Know About Floating-Point Arithmetic float 일때의 최소, 최대는 quantization의 최소, 최대 일때랑 같아야 한다는 사실과 float에서 0은 int에서도 무조건 0 이어야 한다는 사실로 만들어진 식. Quantization for Neural Networks (여기서 다 가져오셨다고 함.) Y 행렬의 한 원소를..
P-stage4 [day8]
오늘 한거 아침 11시에 kaggle shoppingpee 대회 1등하신거 솔루션 공유하심. upstage youtube에 다시보기도 올라온다고 한다. computer vision과 NLP 처리 둘 다 이용해서 해결함. gdrive에서 돌릴 수 있도록 압축 제대로 품. 마스터세션에서 outoml db랑 연결시켜서 하는거 배움. 정말 유용하다. 완벽히 다 소화할 수 있도록.. 멘토님한테 이력서, 포트폴리오 컨설팅 받음. CosineAnnealingWarmupRestarts 추가함.