Glossary(으)로 돌아가기
가중치 초기화
훈련 전 신경망 매개변수의 초기값을 설정하는 전략입니다. 적절한 초기화(Xavier/Glorot, Kaiming/He)는 훈련 시작 시 활성화 및 기울기가 계층 전체에서 적절한 크기를 유지하도록 합니다. 부적절한 초기화는 기울기 소실 또는 폭발을 야기할 수 있습니다. 사전 훈련된 초기화(기초 모델에서)는 전이 학습의 한 형태입니다.
훈련 전 신경망 매개변수의 초기값을 설정하는 전략입니다. 적절한 초기화(Xavier/Glorot, Kaiming/He)는 훈련 시작 시 활성화 및 기울기가 계층 전체에서 적절한 크기를 유지하도록 합니다. 부적절한 초기화는 기울기 소실 또는 폭발을 야기할 수 있습니다. 사전 훈련된 초기화(기초 모델에서)는 전이 학습의 한 형태입니다.