신경망학습은 활성화함수를 이용하여 다층으로 학습을 이어가 계속 학습할 수 있도록하며, 가중치의 매개변수의 최적값을 자동으로 획득함. 이때, 가중치의 매개변수를 최적화하여 손실함수의 결과값을 가장 작게 하는 것이 학습의 목표임 Epoch(딥러닝을 수행하면서 학습데이터가 모두 소진되는 하나의 단위) 10,000개를 100개의 batch_size로 학습할 때, 100회가 1epoch [가중치 초깃값 설정 기법] 유형 설명 활성화 함수 Xaiver(사이베르) 초기값 앞 계층의 노드가 n개 일 때, 표준편차가 1/√n인 정규분포를 이용 선형함수 He 초깃값 앞 계층의 노드가 n개 일 때 표준편차가 √("2/" n) 인 정규분포를 이용 ReLU 비용함수(Cost Function), 손실함수 - 신경망 성능의 “나쁨..