Day 4: 왜 우리는 인공 신경망을 공부해야 하는가? Part 2
더보기 오늘의 공부: Ch 3-6에서 3-10까지 - mini-batch SGD - Moment - RMSProp - Adam (adaptive moment estimation) - Training, validation, test data - K-fold cross validation 어제에 이어서 챕터 내용을 진행하겠습니다: 이번에는 어제 공부한 SGD를 더욱 완화해 줄 것입니다. Mini-batch를 통해 낱개의 error에서 mini-batch-size만큼의 hyperparameter를 사용해 SGD가 tuning가능하게 만들면서 GD의 문제점을 어느 정도 고쳐주고. 어떻게 SGD의 방향이 '휙휙'튀는 현상을 더 '스무드'하게 만들어 주는 moment 또는 momentum, 그리고 마지막으로 RMS..
2023.02.23