[딥러닝/DL Basic] 딥러닝의 Key components 4가지

1) Data

이미지, 음성, 텍스트, 영상 등 목적에 따라 필요한 데이터가 달라지게 된다. 이미지의 경우도 아래처럼 그 목적에 따라 서로 다른 종류의 labeling을 필요로하기도 한다.

2) Model

input data를 내가 원하는 목적에 맞는 output data로 맵핑하는 일종의 프로그램으로, 형 변환과 각종 연산 등의 집합체이다. 동일한 input data와 아키텍쳐가 주어지더라도 그 목적에 따라 그리고 그에 맞게 설정한 loss function에 따라 그 내부 파마티더들이 달라질 수 있다. 아래와 같은 예시들이 있다.

3) Loss(Loss function)

모델을 통해 이루고자 하는 목적의 proxy로, 목적 함수(objective function)라고도 부르며 보통 이를 최소화하는 방향으로 모델을 학습시킨다. 수치를 예측하고 싶은 경우 MSE, 분류를 하고 싶은 경우 Cross Entrophy 등을 사용할 수 있다. 목적과 데이터의 특성 등에 알맞은 loss function을 잘 선정하는 것이 모델 성능에 미치는 영향이 클 수 있다.  

4) (Optimization) Algorithm

loss function을 최소화하기 위한 방법론으로, Momentum과 Adam 등 Gradient decent methods와 dropout, early stopping 등의 regularization methods를 포함한다. 자세한 내용은 아래 두 글을 참고하자.

 

① Gradient decent methods: https://mingchin.tistory.com/317

② regularization methods: https://mingchin.tistory.com/321 

 

논문을 읽거나 새로운 연구를 바라볼 때, 위의 4가지 요소를 중점으로 파악하는 것이 이해에 도움을 줄 수 있다.