Piico의 일상

오늘 공부한 내용은 ch. 8-4, 8-5 CNN에 관한 내용들입니다: - ch. 8-4 padding, strinde, and pooling - ch. 8-5 CNN feature map분석 이제 갈 길이 멀지 않았네요. 이번에는 convolution말고도 CNN의 다른 요소들을 공부해봐요. 1. ch. 8-4 padding, stride, and pooling Padding은 말 그대로 convolution을 할 때 image에 대해 padding을 넣어 주는 것입니다. Padding = 2면 2겹의 padding을 입어 줘서 convolution을 할 때 image size가 유지되도록 하는 것입니다. 물론 가장자리에 있는 부분 (padding이 있는 부분)은 의미가 덜 하겠지만 이건 padding..

이오늘 공부한 내용은 Ch.1-21, 정보 이론 기초입니다: - Ch. 8-2: CNN은 어떻게 특징을 추출할까 (Filter의 역할에 대하여) - Ch. 8-3: 3D 입력에 대한 Convolution (개-채-행-렬?) 저번 수업에는 CNN에 대한 소개를 하였고 convolution computation에 대해 간단한 설명을 했습니다. 이제 CNN을 왜 쓰는지는 알지만 아직 이해가 잘 안되서 조금 더 파고들어 가요! 1. Filter의 역할에 대하여 저번 시간에 필터들은 사실 한 층의 이미지(행렬)에 대한 weights라고 배웠죠? 이런 필터에 대한 직관을 가져봅시다. CNN을 배우게 되면 세로필터 가로필터 대각선필터를 많이 보게 됩니다. -1 0 1 -1 0 1 -1 0 1 위의 필터는 세로필터라고..

오늘 공부한 내용은 Ch. 8-1, 정보 이론 기초입니다: - 이미지 딥러닝 - 왜 CNN을 쓰는가요? MLP와의 비교 - Convolution연산이 뭔가? Filter는 무엇인가? 이제 MLP파트를 마무리하고 CNN에 대해 배워볼까요? 우리가 배운 MLP는 input에서 hidden layer를 통해 weights and biases를 거쳐 forward propagation을 하고 다시 gradient descent를 통해 loss를 업데이트하는 backprop을 한다. CNN (convolutional neural network)은 convolution이라는 연산을 통한 다음에 다시 hidden layer에서 forward prop을 하고 backprop을 하게 된다. 비슷하지만 image appl..

오늘 공부한 내용은 Ch.7-10입니다: - Overfitting방지법 총정리 - Regularization의 개념 및 실험 - L1 vs L2 Regularization 드디어 이번에 Chapter7을 마무리하게 되네요. Chapter 7은 "깊은 인공신경망의 고질적 문제와 해결 방안"에 대해 배워봤습니다. 내용이 아주 많았는데 아직 기억을 하시고 계신가요? Chapter 7은 "깊은 인공신경망의 고질적 문제와 해결 방안" 총정리 1. Underfitting문제 Vanishing gradient문제 Sigmoid -> ReLU Batch normalization Loss landscape문제 Drop-connection 2. Overfitting문제 모델 경량화 데이터 추가및 data augmentat..

오늘 공부한 내용은 Ch.7-9입니다: - Dropout and dropconnection - 실습: dropout을 어떻게 시각화 할 것인가? How to use dropout to visualize what the weights are doing? 드디어 3주차를 마무리 하게될 Day 21일이 왔네요. 오늘도 화이팅 입니다! 저번 수업에 이어 dropout과 dropconnection에 대해 공부해 보겠습니다. Overfitting 방지법: 1. 모델 경량화 2. 데이터 추가 또는 Data augmentation 3. Dropout and dropconnection: Dropout Dropout은 node마다의 중요성/역할을 높이는 기술이다: 한명의 축구 선수가 있다 가정하자. 그의 이름은 "손흥민"..

오늘 공부한 내용은 Ch.7-8입니다: - Overfitting 개념과 Data augmentation - Dropout and dropconnection 전 파트에서 Underfitting은 많이 언급이 되었었다 - training loss가 "말이 안 될 정도"로 높을 때이다. 그러면 Overfitting에 대해서도 배워보자. Overfitting이란 반대로 training loss는 아주 낮은데 validation/testing accuracy는 낮은 training loss, 즉 높은 training accuracy에 비해 많이 낮은 상황입니다. 숙제를 잘 풀지만 시험은 망치는 스타일이라고 해야 할까요? 근데 뉘앙스는 좀 더 숙제를 다 베껴서 시험을 망치는 듯한 느낌이 이해에 더욱 도움이 될 것 ..

오늘 공부한 내용은 Ch.7-6, 7-7입니다: - Ch. 7-6 loss landscape 실습 Loss landscape는 BN + ReLU를 써도 overfitting이 일어나는 문제라고 배웠습니다. Loss landscape가 일어나는 이유는 설명하긴 어렵지만 그 증상은 loss landscape을 그림으로써 visualize 할 수 있습니다. Loss landscape문제를 해결하기 위해서는 skip-connection이라는 technique을 사용했습니다. 오늘은 실습을 통해 여러 가지 model을 비교해 보면서 알아보겠습니다. 1. Loss landscape 실습 - BNReLU 10 vs. 100 layer model을 비교해 보자! BN + ReLU를 사용하였음에도 불구하고 overfit..