Piico의 일상

next_q_values = torch.gather(next_qa_values, 1, next_action.unsqueeze(axis=-1)).squeeze(axis=1) What is pytorch squeeze and unsqueeze?- Squeeze "squeezes out" the 1 dimensions- Unsqueeze is the reverse of squeeze- You can set dim to specify the dimension to applya = torch.randn(2,1,2)b = torch.squeeze(a)Output:tensor([[[-1.6897, -0.6981]], [[-1.7473, 1.1294]]])tensor([[-1.6897, -0.6981],..

What are dims in pytorch?- "dim" stands for dimensions- same as numpy "axis"- for a 2D torch.Tensor, dim==0 goes along the rows, dim==1 goes along the colsCode:a = torch.randn(5, 5)b = torch.argmax(a) # torch.argmax(input, dim=None, keepdim=False)Output:tensor([[-8.4741e-01, 3.6448e-01, 1.4155e+00, 2.6417e-01, -3.4608e-01], [-8.9281e-01, -3.1258e-01, 1.4784e+00, 2.9023e-01, -1.0445e+..

오늘 공부한 내용은 Ch.9-4 ~ 6입니다: - 9-4 Seq2seq 개념 - 9-5 Seq2seq의 문제점 및 해결방안들 - 마무리 1. 9-4. Seq2seq의 개념 및 문제점 어제 배운 "many to many"문제를 해결할 때 쓰는 RNN의 종류인 seq2seq에 대해 더 알아봐요. "Many to many"중에 특히 언어(번역)를 다룰 때에는 seq2seq을 쓴다고 배웠는데요, 이 seq2seq은 RNN의 고질적인 문제를 밝힙니다. 일단 마지막 단어에 비중을 많이 둔다는 문제가 있습니다. 마지막 단어에 비중을 많이 둔다는 것은 거꾸로 보면 앞에 있는 단어들을 별로 안 본다는 뜻이기도 해서 치명적인 약점입니다. 이 또한 vanishing gradient problem과 비슷한 문제를 일으키는데 ..

오늘 공부한 내용은 Ch.9-4입니다: - RNN유형 - seq2seq 먼저 요즘 학업 부담으로 블로그나 글이 점점 디테일이 줄어드는 부분에 대해서는 죄송하다고 말씀 드립니다. 틀리거나 부족한 부분은 학기중에 천천히 채워가겠습니다. 아마 30일 챌린지를 끝내면, 기존에 있던 글을 조금식 편집할 생각입니다. 처음 배우는 내용인 만큼 더 열심히 하겠습니다. 저번에는 plain recurrent neural networks에 대해서 공부를 해봤습니다. 하지만 RNN은 고질적인 문제가 있다: 저번 블로그에서 본 1. 멀수록 잊혀지는 것과 2. potential vanishing gradient problem이 있었다. 이 문제 해결을 위해 우리는 seq2seq에 대해서 배워볼꺼다. 1. RNN유형 Recurre..

오늘 공부한 내용은 Ch.7-8입니다: - RNN 그리고 vectorized formula - RNN backdrops 그리고 구조적 한계 Perceptron -> MLP -> CNN -> RNN. 한 달이지만 많은 내용을 공부했죠? 오늘은 마지막 chapter인 Recurrent neural network에 대해 공부해 봅시다. 아직 갈길은 멀지만 그래도 기초를 이렇게 공부하니 논문도 읽어보고 구현도 해보는 계기가 되는 것 같네요. 1. Recurrent neural network이란? RNN이란 input을 sequentially feeding하는 모델입니다. 그래서 RNN의 응용은 광범위합니다. 예를 들어 언어에서 문장을 보면 글의 순서가 중요하지 않습니까? 문장들은 sequential data라 ..

오늘 공부한 내용은 Ch.8-8입니다: - Beautiful insight for convolutional neural networks 저번 수업에서는 CNN에 대해서 더 많은 내용을 배웠습니다. 우리는 filter, convolution, padding, stride, pooling, feature map, VGGNet을 이제 배웠습니다. 그리고 오늘은 MLP vs CNN을 비교도 해보고 큰 그림인 "왜 CNN이 이미지 데이터에 대해선 더 좋을까?"라는 질문에 대해 생각을 해볼 것입니다. 저번에도 배운 내용이긴 하지만 CNN은 위치별 특징을 잘 추출한다고 배웠습니다. 하지만 다른 이유도 있으니 오늘 그 부분에 대해 공부해 봅시다. 1. 왜 CNN이 이미지 데이터에 대해선 더 좋을까? 1번은 위치별 특징..

오늘 공부한 내용은 Ch.8-6, 8-7입니다: - VGGNet, 그리고 VGGNet의 실습 이제 CNN을 배웠으니 CNN의 implementation인 VGGNet에 대해 알아봅시다. VGGNet은 2014년에 Oxford의 VGG (Visual Geometry Group)에서 만들었습니다. 10년이 지난 논문이지만 아직도 image recognition분야에서는 많이 사용되는 아주 중요하고 클래식한 모델이라고 할 수 있겠습니다. VGGNet의 architecture는 이렇습니다: 저번에 배운 filter를 이용해 convolution연산을 하고 stacking을 하여 feature map을 얻어 max pooling으로 이어나가는 모델입니다. 끝에 가면 다시 MLP에서 공부한 FC4096 layer로..