Day 15: Chapter 6-3, 7-1, 7-2 MLP 정리 & Vanishing gradient problem
오늘 공부한 내용은 Ch.6-3, 7-1, 7-2입니다: - Ch. 6-3 Beautiful insights for ANN - Ch. 7-1 Vanishing gradients - Ch. 7-2 Vanishing gradients 해결 방안 - ReLU Chapter 6을 통해 우리는 인공신경망의 한계를 알아보았습니다. Universal approximation theorem을 통해 사실상 한계가 없다는 것을 알게 되었고 그 증명도 적당히 이해를 했습니다. 물론 이 증명과 성능과 효율을 높이는 데에는 완전 별개였죠? Unit step function은 애초에 미분도 불가능해서 실습 때에는 sigmoid로 대체했습니다. 그리고 실습수업에서 layer수와 node수의 trade-off를 봤습니다. 하지만 7..
자세히보기