AITech 학습정리-[Day 35] Multimodal captioning and speaking, 3D understanding - 2

(10강) 3D understanding

 

1. Seeing the world in 3D perspective

3D 공간에 대한 이해가 중요!

가상세계 경험하게 해주는, 3D 프린팅으로 제품, 건물짓기, 수학적, 화학적 활용분야(단백질 분석 등).

우린 3D 세상에 살지만 3D에 투영된 2D를 보고 산다. 카메라도 그냥 3D를 2D로 projection 한 것.

근데 극복할 점은 같은 물체 다른 각도 사진 2장을 이용하면 3D로 복구 가능. multiple view로 확장가능. 관심있으면 "Multiple view Geometry in computer vision, Richard Hartley and Andrew Zisserman." 이라는 거의 유일무이한 바이블이 있음. 난이도는 좀 있다.

 

컴퓨터에선 rgb 2D array로 봄. color가 있다면 multi channel로.

3D는 multi image로 저장하는 방법, Volumetric 형태 방법, 간단한 도형들의 집합 Part assembly, 3D point틀의 집합 Point cloud ((x,y,z) 리스트로 표현됨.), Mesh (Graph CNN) 게임에서 많이 보던 삼각형 방식. (x,y,z) 포인트로 한 삼각형 edge, vertex, Implicit shape/function 3D를 고차원의 형태로 표현하고 0과 겹치는 걸로 표현 (공간상의 구를 식으로 표현하는 형태 등을 생각하면 편할듯.).

 

3D 데이터 셋으로는

 

ShapeNet. 55개 카테고리의 51,300 물체들.

PartNet(ShapeNetPart2019). 

SceneNet.

ScanNet. 실제 스캔이라 비교적 많은거다.

Outdoor 3D 데이터셋들... 대부분은 자율주행 관련 데이터셋이다.

2. 3D tasks

 

기존에 했던 Detection, segmentation 등등.. 다 가능하다. 3D에서의 Mask R-CNN인 Mesh R-CNN도 기존에서 3D branch가 추가된것.

depth를 먼저 추가하며 물리적으로 의미있는 것을 뽑아낸다. 2.5D Sketches를 통해 사람이 인지할 수 있는 형태 추출.

그래서 이런 3D 인지는 자율주행에 매우 중요하다.

3. 3D application example

Defocusing a photo using depth map

 

after-refocusing 만드려고 함.

진행방식

 

1. 우리가 focus 하고싶은 범위를 정함. Dmin부터 Dmax까지. depth 거리. 여기 예제에선 Dmax 이후엔 focus를 다 날리겠다고 단순화함.

2. thresholding 해서 mask를 정함. Dmax 안쪽은 focusing area, 바깥쪽은 defocusing area.

3. 전체 input image blurred version 만듬.

4.  mask focus image와 masked defocused image 만듬.

5. 이 두개를 blending.

 

그냥 ppt 보고 하자.

 

 

================================

마스터세션

구체적인 모델명들 많이 조언해줌.

===========================

피어세션

수업내용 복습함.

 

============================

후기

열심히 해야겠다와 권태기가 온 것 같다. 그래도 열심히 하자.