기울기 소실 (Gradient Vanishing)

기울기 소실(Gradient Vanishing)은 심층 신경망(Deep Neural Network)에서 발생하는 문제 중 하나로, 역전파(backpropagation) 알고리즘을 통해 네트워크를 학습할 때 발생합니다. 이 문제는 심층 신경망이 깊어질수록 그래디언트(gradient)가 사라지거나 지수적으로 감소하여, 하위층의 가중치 업데이트가 거의 이루어지지 않게 되는 현상을 말합니다. 이러한 현상은 네트워크가 깊어질수록 더욱 심각해지며, 학습의 효율성을 저하시킵니다.

1. 원인:

• 활성화 함수의 선택: 일부 활성화 함수(예: 시그모이드, 하이퍼볼릭 탄젠트)는 입력값의 범위가 크면 그래디언트가 작아지는 경향이 있습니다. 이는 역전파 과정에서 그래디언트가 하위층으로 전달되면서 소실되는 원인이 됩니다.
• 가중치 초기화: 가중치 초기화 방법에 따라서도 기울기 소실 문제가 발생할 수 있습니다. 예를 들어, 네트워크가 깊어질수록 가중치의 초기값이 너무 작거나 너무 크면 그래디언트가 소실되는 문제가 발생할 수 있습니다.
• 망각 상태와 경사 폭발: 반대로, 일부 케이스에서는 그래디언트가 지수적으로 증가하여 경사 폭발(Gradient Explosion)이 발생할 수도 있습니다. 이는 가중치 초기화나 학습률 조정 등의 문제로 발생할 수 있습니다.

2. 해결책:

• 활성화 함수 변경: 기울기 소실 문제를 완화하기 위해 ReLU(Rectified Linear Unit)와 같은 활성화 함수를 사용할 수 있습니다. ReLU는 입력값이 양수인 경우에는 그대로 출력하고, 음수인 경우에는 0으로 출력하는 함수로, 그래디언트 소실 문제를 완화시킬 수 있습니다.
• 가중치 초기화 방법 변경: Xavier 또는 He 초기화와 같은 초기화 방법을 사용하여 그래디언트 소실 문제를 완화할 수 있습니다. 이러한 초기화 방법은 그래디언트의 분산을 일정하게 유지하여 역전파가 효과적으로 이루어지도록 돕습니다.
• Batch Normalization: 배치 정규화는 각 레이어의 활성화 값을 정규화하여 그래디언트 소실 문제를 완화할 수 있는 방법 중 하나입니다. 이는 학습 과정을 안정화시키고 학습 속도를 높일 수 있습니다.
• Skip Connections: 스킵 연결을 통해 그래디언트가 하위층으로 더 쉽게 전파되도록 도울 수 있습니다. 이는 잔차 네트워크(Residual Network)와 같은 구조에서 사용되며, 깊은 네트워크에서의 학습을 용이하게 합니다.
• 적절한 학습률 설정: 학습률을 적절히 설정하여 그래디언트 소실 문제를 완화할 수 있습니다. 너무 작은 학습률은 학습을 느리게 만들고, 너무 큰 학습률은 발산을 유발할 수 있으므로 적절한 학습률을 선택하는 것이 중요합니다.

3. 영향:

기울기 소실 문제는 심층 신경망의 학습을 어렵게 만들 수 있습니다. 특히 순환 신경망(Recurrent Neural Networks, RNNs)과 같은 시퀀스 데이터를 처리하는 네트워크에서 발생할 수 있으며, 이는 긴 시간에 걸친 의존 관계를 학습하는 데 있어서 특히 중요합니다. 이러한 문제에 대한 이해와 적절한 대응은 심층 신경망의 학습을 효율적으로 진행하기 위한 핵심 요소 중 하나입니다.