기울기 소실(Gradient Vanishing)은 심층 신경망(Deep Neural Network)에서 발생하는 문제 중 하나로, 역전파(backpropagation) 알고리즘을 통해 네트워크를 학습할 때 발생합니다. 이 문제는 심층 신경망이 깊어질수록 그래디언트(gradient)가 사라지거나 지수적으로 감소하여, 하위층의 가중치 업데이트가 거의 이루어지지 않게 되는 현상을 말합니다. 이러한 현상은 네트워크가 깊어질수록 더욱 심각해지며, 학습의 효율성을 저하시킵니다. 1. 원인: 활성화 함수의 선택: 일부 활성화 함수(예: 시그모이드, 하이퍼볼릭 탄젠트)는 입력값의 범위가 크면 그래디언트가 작아지는 경향이 있습니다. 이는 역전파 과정에서 그래디언트가 하위층으로 전달되면서 소실되는 원인이 됩니다. 가중치 ..