이오늘 공부한 내용은 Ch.1-21, 정보 이론 기초입니다: - Ch. 8-2: CNN은 어떻게 특징을 추출할까 (Filter의 역할에 대하여) - Ch. 8-3: 3D 입력에 대한 Convolution (개-채-행-렬?) 저번 수업에는 CNN에 대한 소개를 하였고 convolution computation에 대해 간단한 설명을 했습니다. 이제 CNN을 왜 쓰는지는 알지만 아직 이해가 잘 안되서 조금 더 파고들어 가요! 1. Filter의 역할에 대하여 저번 시간에 필터들은 사실 한 층의 이미지(행렬)에 대한 weights라고 배웠죠? 이런 필터에 대한 직관을 가져봅시다. CNN을 배우게 되면 세로필터 가로필터 대각선필터를 많이 보게 됩니다. -1 0 1 -1 0 1 -1 0 1 위의 필터는 세로필터라고..

오늘 공부한 내용은 Ch.7-8입니다: - Overfitting 개념과 Data augmentation - Dropout and dropconnection 전 파트에서 Underfitting은 많이 언급이 되었었다 - training loss가 "말이 안 될 정도"로 높을 때이다. 그러면 Overfitting에 대해서도 배워보자. Overfitting이란 반대로 training loss는 아주 낮은데 validation/testing accuracy는 낮은 training loss, 즉 높은 training accuracy에 비해 많이 낮은 상황입니다. 숙제를 잘 풀지만 시험은 망치는 스타일이라고 해야 할까요? 근데 뉘앙스는 좀 더 숙제를 다 베껴서 시험을 망치는 듯한 느낌이 이해에 더욱 도움이 될 것 ..

오늘 공부한 내용은 Ch.6-3, 7-1, 7-2입니다: - Ch. 6-3 Beautiful insights for ANN - Ch. 7-1 Vanishing gradients - Ch. 7-2 Vanishing gradients 해결 방안 - ReLU Chapter 6을 통해 우리는 인공신경망의 한계를 알아보았습니다. Universal approximation theorem을 통해 사실상 한계가 없다는 것을 알게 되었고 그 증명도 적당히 이해를 했습니다. 물론 이 증명과 성능과 효율을 높이는 데에는 완전 별개였죠? Unit step function은 애초에 미분도 불가능해서 실습 때에는 sigmoid로 대체했습니다. 그리고 실습수업에서 layer수와 node수의 trade-off를 봤습니다. 하지만 7..