Lecture 5: ML Projects

https://fullstackdeeplearning.com/spring2021/lecture-5/

Full Stack Deep Learning

 

85%는 실패한다.

 

개발 사이클이 서로 왔다갔다 한다. 데이터 모으다가 이건 좀 어려울것 같은데? 쉬운 데이터 없나? 하면서 데이터가 바뀌며 목적도 바꾸거나, 훈련하다가 제대로 안되면 데이터부터 다시 보거나, 배포중 새로운 요구가 생겨나거나 하면 다시 돌아오고 한다.

 

실현가능성이 좋으면서도 임팩트가 높은게 보통 하고싶은 일임. 실제로 기업이 인공지능 쓰는 이유가 코스트 감소가 주 이유이고, 소비자 분석, 순수 발전 등이 있음.

 

 

 

데이터 모으는데에서 비용이 제일 많지만, 정확도에서 잠재 조정 요소가 있는데, 막 이미 90%에 있는거 91%로 올리겠다고 비용을 너무 소모한다면 굳이 해야하나? 싶은거. 물론 조금만 틀려도 안되는 의학문제 등은 죽어라 올려야 되지만 단순 추천시스템은 1짜증만 남기고 끝나는 등의 분야 차이는 있음.

 

문제 부분에선 머신러닝으로 해결이 가능한가?에 대한 부분. 1초 이하의 단순노동은 AI로 만들수 있다 그러는데 유머이해나 번역 등은 사람은 쉽게 할 수 있어도 배경지식 등의 문제로 힘들 수 있다.

 

얜 아직 모르겠음. 주 카테고리는 이미지나 추천시스템 등이 있고, 인공지능이 선택해서 추천해준 걸로 사용자 행동에 영향을 줘서 데이터가 바뀌고 그걸로 학습해서 사용자가 또 바뀔수 있고.. 같은 사이클이 있다. ai와 실제 사용자간의 상호영향을 말하는 듯.

 

어떤 metric을 쓸 것인가? 기준은 뭐고 threshold는 얼마로? 실제 기준은 뭐로(뭔가를 잡는 기계 팔이라면 오차가 >3cm 라든지)

기계는 복잡한 일을 하는 것보다 단순한 일 하나를 하게 만드는게 성능이 더 좋다.

 

진짜 모델이 잘하고 있는가?와 앞으로 뭘 해야 하는가?는 베이스라인을 잘 잡는게 중요하다.

강의 예시에선 왼쪽과 오른쪽의 경우, 왼쪽은 이미 train error가 충분히 낮으므로 val error를 낮추는 방향으로 다음 단계를 진행할것임. 더 robust하게 만든다던가 하겠지. 반면 오른쪽은 명백한 underfitting이므로 새로운 모델을 찾던가 하는 식으로 갈듯.

 

물론 baseline은 최신일수록 좋다.

 

baseline 선정 예시.

 

데이터 질과 양의 관계. 단순한 설문조사는 양이 많아도 질이 떨어지겠지만 의사 소견등이 필요한건 양이 적은대신 전문가가 하니까 질이 좋음. 등.