DNN (Deep Neural Network; 심층신경망)

* DNN (Deep Neural Network; 심층신경망)

   - 2개 이상의 Layer 를 가진 ANN (Artifical Neural Network) 의 일종

   - 각 Layer 는 Neuron 이라고 불리는 단위로 구성되며 Weight 와 Bias 라는 매개변수를 통해 데이터를 처리함

 

* DNN 종류

   - CNN

   - RNN (LSTM, GRU)

   - MCP

   - Transformer (BERT ,GPT)

 

* Input Layer (입력 층)

   - 데이터를 받아들이는 층

 

* Hidden Layer (은닉 층)

   - 입력 데이터로부터 특징을 추출하고, 학습을 통해 패턴을 파악

   - 여러 개의 Layer 가 존재하며 이전 Layer 의 Output 을 받아 다음 Layer 에 Input 으로 전달

 

* Output Layer (출력 층)

   - 최종 예측 결과를 출력하는 층

   - 분류 문제의 경우 확률로 표현, 회귀 문제에서는 연속적인 값으로 나타낼 수 있음

   - 활성화 함수는 문제 유형에 따라 다르게 사용됨

     : 회귀 - 사용하지 않음

     : 이진 분류 - Sigmoid 함수

     : Multi Classification : Softmax 함수

 

* Fully Connected Layer (= Dense Layer; 완전 연결 층)

   - 신경망의 각 뉴런이 이전 레이어의 모든 뉴런과 완전 연결되어 있는 층

 

* Forward Propagation (순전파)

   - 인공 신경망에서 입력 데이터를 받아 출력 결과를 계산하는 과정

   - 입력 데이터에 대해 Weight 를 곱하고 Bias 를 합하여 (선형 결합), 비선형 Activation Function 에 전달

 

* Weight (가중치)

   - 각 입력 데이터의 중요도(영향력)을 의미

   - 학습 과정에서 값이 조정된다

 

* Bias (편향)

   - 가중합된 입력 데이터의 위치를 조정

   - 학습 과정에서 값이 조정된다

 

* Activation Function (활성화 함수)

 

* Loss Function (손실 함수)

 

* Backward Propagation (역전파)

   - Forward Propagation 에서 계산된 Loss 를 역으로 전파하여 각 Weight 가 Loss 에 기여한 정도를 계산

   - Weight 를 조정하여 Loss 를 줄이는 방향으로 학습 진행 (경사하강법)

   - 기울기 계산을 위해 Chain Rule 사용

      : 각 층의 출력에 대해 연쇄적으로 미분(합성 함수의 미분)을 계산

   - Learning Rate 는 매 업데이트마다 계산된 미분 값을 각 파라미터(W, B)에 얼마나 반영할지 조절

      : 너무 크면 최적화가 불안정해지고, 너무 작으면 학습이 느려질 수 있음

 

* Optimizer

   - 신경망 학습 과정에서 모델의 파라미터(W, B 등)를 업데이트하는 도구

      : Loss Function 의 출력 값을 최소화하기 위해 경사 하강법 등의 알고리즘을 사용하여 파라미터를 조정

      : Learning Rate(학습률)을 기반으로 파라미터를 얼마나 빠르게 업데이트 할지 경정

      : Momentum(모멘텀), Weight Decay (가중치 감쇠), 학습률 스케줄링 등의 기법 지원

 

* Iteration (반복 학습)

   - 데이터를 점진적으로 학습하는 과정

 

* Epoch (에폭)

   - Training 데이터셋 전체를 모델에 한 번 모두 통과시켜 파라미터(W, B)를 업데이트 하는 과정

   - Epoch 가 진행될수록 손실이 감소하고 모델의 성능 향상

   - 너무 과하면 과대적합이 발생할 수 있음.

 

* Overfitting (과대적합)

 

* Batch Normalization (BatchNorm; 배치 정규화)

   - 딥러닝 모델의 훈련을 안정화하고 가속화하기 위해 사용되는 기법

   - 각 Mini-batch 내에서 신경망의 출력 값을 정규화하여, 신경망의 각 층이 적절한 분포의 입력을 받을 수 있도록 함

   - 장점

      : 기울기 소실 문제를 완화

      : 학습 속도를 향상

      : 일반화 성능을 개선

 

* Internal Covariate Shift (내부 공변량 변화)

   - 딥러닝 모델에서 각 레이어의 입력 분포는 학습 과정 동안 변화할 수 있음

   - 내부 공변량 변화가 심할수록 학습이 불안정해지고 느려질 수 있음