Dying ReLU Problem

Dying ReLU 문제란?

Dying ReLU 문제는 딥러닝에서 ReLU(Rectified Linear Unit) 활성화 함수를 사용할 때 발생하는 대표적인 문제 중 하나입니다. 이 현상은 학습 과정에서 일부 뉴런이 항상 0만 출력하게 되어, 해당 뉴런이 "죽은 뉴런(Dead Neuron)"이 되는 현상을 의미합니다.

원인

• ReLU 함수는 입력값이 0보다 크면 그대로 출력하고, 0 이하이면 0을 출력합니다.
• 학습 도중 가중치 업데이트로 인해 어떤 뉴런의 입력이 계속 0 이하가 되면, 그 뉴런은 이후로 어떤 입력을 받아도 항상 0만 출력하게 됩니다.
• 이렇게 되면 해당 뉴런의 출력이 0이 되어, 역전파(backpropagation) 시 기울기(gradient)도 0이 되고, 더 이상 학습이 진행되지 않습니다

결과

• 신경망 내에 죽은 뉴런이 많아질수록 전체 모델의 표현력과 성능이 저하됩니다.
• 특히, 학습률(learning rate)이 너무 높거나, 초기 가중치 설정이 부적절할 때 Dying ReLU 문제가 심각해질 수 있습니다

해결 방법

• Leaky ReLU: ReLU의 음수 구간에 작은 기울기를 주어, 입력이 0 이하일 때도 아주 작은 값이 출력되도록 합니다. 이를 통해 뉴런이 완전히 죽는 것을 방지할 수 있습니다
• PReLU(Parametric ReLU): 음수 구간의 기울기를 학습 가능한 파라미터로 두어, 네트워크가 직접 최적의 기울기를 학습하도록 합니다
• 적절한 학습률 설정: 너무 큰 학습률은 가중치가 급격하게 변해 뉴런이 죽을 확률을 높이므로, 적절한 학습률을 설정하는 것이 중요합니다

요약

• Dying ReLU 문제는 ReLU 활성화 함수의 입력이 계속 음수로만 유지되어 뉴런이 항상 0만 출력하고, 더 이상 학습되지 않는 현상입니다.
• 이를 완화하기 위해 Leaky ReLU, PReLU 등 다양한 변형 함수가 개발되었으며, 학습률 조절 등도 중요한 해결책입니다

출처 (generated by Perplexity)

1. https://for-data-science.tistory.com/68
2. https://velog.io/@lighthouse97/%EA%B8%B0%EC%9A%B8%EA%B8%B0-%EC%86%8C%EC%8B%A4-%EB%AC%B8%EC%A0%9C%EC%99%80-ReLU-%ED%95%A8%EC%88%98
3. https://brunch.co.kr/@kdh7575070/27
4. https://gooopy.tistory.com/55
5. https://deepinsight.tistory.com/93
6. https://wikidocs.net/163752
7. https://jaylala.tistory.com/entry/%EB%94%A5%EB%9F%AC%EB%8B%9D-with-%ED%8C%8C%EC%9D%B4%EC%8D%AC-PReLU%EB%9E%80-Parametric-ReLu%EB%9E%80-%ED%99%9C%EC%84%B1%ED%99%94%ED%95%A8%EC%88%98-Activation-Function
8. https://iambeginnerdeveloper.tistory.com/188
9. https://mole-starseeker.tistory.com/39
10. https://joonable.tistory.com/2