AITech 학습정리-[Day 40] 행렬 분해 / 돌아보기

=================================

학습내용

(10강) 행렬 분해

https://openaccess.thecvf.com/content_CVPR_2020/papers/Kossaifi_Factorized_Higher-Order_CNNs_With_an_Application_to_Spatio-Temporal_Emotion_Estimation_CVPR_2020_paper.pdf

수치해석 시간에 배웠던 행렬분해. neural network 때문에 tensor로 확장했다고 함.

 

https://en.wikipedia.org/wiki/Low-rank_matrix_approximations
https://en.wikipedia.org/wiki/Kernel_method

행렬을 분해시켜 low rank로 만들어서 시간복잡도를 줄이려고 하는 것 같다.

 

https://en.wikipedia.org/wiki/Kernel_(linear_algebra
https://medium.com/@zxr.nju/what-is-the-kernel-trick-why-is-it-important-98a98db0961d

https://www.quora.com/What-are-kernels-in-machine-learning-and-SVM-and-why-do-we-need-them/answer/Lili-Jiang?srid=oOgT

두 점 사이의 관계된 정도를 구할 때 dot product로 구한다고 한다. 근데 원래 평면에 있는걸 정의로 해서 고차원으로 바꾸고 그걸 dot product로 해서 구하는 방식이었는데, 이렇게 하니까 계산 비용이 너무 많이 든다. 그래서 저차원인 상태에서 구하자. 하는 듯.

 

 

이를 신경망에서도 이용. weight들이 너무 많이 연결되어있어 계산량이 많을 경우 분해해서 계산한다.

https://arxiv.org/pdf/2008.05441

https://en.wikipedia.org/wiki/Matrix_decomposition#Singular_value_decomposition
http://ki-it.com/xml/16456/16456.pdf

https://intoli.com/blog/pca-and-svd/

U,V 분해로 행렬분해하는걸 넘어 자르기도 함. 아얘 파란색을 버리고 만들어서 사용함.

 

eigen value랑 vector는 affine하면서 행렬이 변해도 변하지 않는 값, 방향.

https://bkshin.tistory.com/entry/%EB%A8%B8%EC%8B%A0%EB%9F%AC%EB%8B%9D-20-%ED%8A%B9%EC%9D%B4%EA%B0%92-%EB%B6%84%ED%95%B4Singular-Value-Decomposition
https://www.quora.com/What-is-the-difference-between-PCA-and-SVD

M = UEV로 어쨋든 같은 변환.

 

https://youtu.be/L8uT6hgMt00

https://en.wikipedia.org/wiki/Higher-order_singular_value_decomposition
https://staffwww.dcs.shef.ac.uk/people/H.Lu/MSL/MSLbook-Chapter3.pdf

https://www.slideshare.net/SessionsEvents/tamara-g-kolda-distinguished-member-of-technical-staff-sandia-national-laboratories-at-mlconf-sf-2017-81995753

분해해서 쓰더라.

 

https://towardsdatascience.com/review-mobilenetv2-light-weight-model-image-classification-8febb490e61c
https://openaccess.thecvf.com/content_cvpr_2018/papers/Sandler_MobileNetV2_Inverted_Residuals_CVPR_2018_paper.pdf

mobilenet v2부터 이런 방식을 채용하더라.

https://arxiv.org/pdf/1808.05517.pdf

mobilenet 에서 직관으로 세웠던 모델을 수학적으로 증명. 관심있으면 봐라.

 

 

 

 

(11강) 돌아보기

 

ppt 보자.

 

http://egloos.zum.com/agile/v/2854698

 

https://brunch.co.kr/@laftworld/12

 

 

 

 

=============================

과제

https://colab.research.google.com/drive/14WkeOtR5Z3oaFMB0gAVdASVFCFc8meBB?usp=sharing

transfer learning 경량화 t와 sigma에 따른 차이

 

================================

피어세션

네이버. 하면서 느낀점. 코테는 비교적 쉽지만 서류, 면접이 극도로 어렵다.

상시채용보다 공채가 붙을 확률이 높음.

임원면접. 인성만 보는게 아니라 라이브코테. CS지식. 하나를 알더라도 깊게 알아야 한다. 꼬리물기.

it는 과정을 중요시 하는 듯. 수상경력 없는데도. 개발경험으로 도배했더니 되더라. 신입은.

 

=============================

후기

없음