P-stage 4 [day13] (10강) Nvidia GPU를 위한 TensorRT, DALI

강의내용

(10강) Nvidia GPU를 위한 TensorRT, DALI

내용이 많으니 기본적으로는 그냥 pdf를 보자.

여기선 그냥 메모만 함.

기본적으로 pytorch → ONMX → TensorRT의 과정을 거침. ONMX가 애초에 이런 목적으로 만들어진 프로젝트다.

torch.onnx - PyTorch 1.8.1 documentation

하지만 사전 작업이 좀 필요하고 맞춰서 고쳐야 할 수도 있음.

레트론 이라는 모델 시각화 라이브러리가 있다.

특이한건 batch size도 있는데 각 환경마다 적절한 batch size를 설정해야 하기 때문인듯.

DALI

갈수록 커지는 두 하드웨어의 격차.. GPU가 CPU 대신 일하게 할 수 없을까. 지금 하는 프로젝트만 해도 CPU는 항상 100%인데 GPU는 놀고있다.

CPU에서 전부 이루어지는 preprocessing이 가능한 연산들을 GPU에서 수행

이상적인 값만큼 빨라짐.

이미 좀 구현되어 있다.

이미지 preprocessing만으론 이만큼 차이남.

그럼 모델 훈련, inference 하는거는?

약간의 노력으로 매우 효과가 나타나니 안할 이유가 없다.

그러나?