Step Function 경계에서 불연속인 함수, 경계를 기준으로 결과값이 0 또는 1. >> 미분 불가 스위치처럼 On 이거나, Off 이거나. Sigmoid Function 비선형 함수 0과 1사이의 값. 즉, 최댓값은 1, 최솟값은 0. Step function에서 부드러워진 형태 Exploding Gradient 문제 방지 로지스틱 회귀분석에 사용. >> Gradient Vanishing 문제 발생 * Gradient Vanishing : 출력값이 0에 매우 가까워짐. Back-propagation 할 때, layer 많이 통과하면 결국 0으로 수렴. ReLU (Rectified Linear Unit) Function 선형함수 Gradient Vanishing 문제 해결 목적으로 사용. Deep ..