P-stage4 [day3] 모델최적화 기법(1); Automl 이론

강의내용

(3강) 모델최적화 기법(1); Automl 이론

이 반복을 통채로 기계가 알아서 다 하게 하자! 진정한 AutoML

Conditional은 말 그대로 조건에 따라 추가되는 config. SGD는 momentum이 있는데 adam에는 없거나 하는거.

수업목적

목적에 따라 함수가 다르고, 그 함수를 최대화(최소화) 할 수 있는 람다를 계속 시도하면서 찾아나간다.

실선이 예측해서 알아낸(알아낼)영역, 보라색이 가수시안으로 추측하는 불확실성 영역, 밑에 초록색이 앞으로 어디를 예측할지 결정하는 영역. 그래서 불확실성 중 큰 쪽으로 다음을 예측하는 것 같다.

어떻게 가우시안으로 하는건지 알려주는데 잘 모르겠다.. 자세히 더 알고싶으면 pdf 보고 밑의 페이지를 보자.

A Visual Exploration of Gaussian Processes

그런데 위에서 했던게 GP라는 거고 이건 inverse matrix등을 수행하느라 시간복잡도가 많다고 한다. 그래서 새로운 방법을 쓰고 써도 된다는게 수학적으로 증명되어 있는 것 같다. 자세한 증명은 pdf.

하지만 문제가 있는데 한번 돌리는데도 막 3일씩 걸리고 그러는데 automl 할려면 100번은 돌려야 되니까 이걸 어떻게 쓰지??. 그럼에도 불구하고 여러 테크닉들을 사용하여 어떻게든 사용하려 한다.