Piico의 일상

Today we talk about what Pairwise independence, mutual independence, k-wise independence is, and discuss how we can artificially create $2^b-1$ pairwise independent random variables using only $b$ coin flips.  Definitions: MI, PI, k-wise independenceIndependence between every random variable is known as mutual independence. Recall that MI is:\[    \mathbb{P}[\bigcap_{i \in I} E_i] = \prod_{i \in..

Expectation Argument LemmaLast post, we've explored a basic argument using probabilities of the event that a certain object with desirable properties exist. Another way to do the same is the Expectation Argument. This argument uses the expected value of a random variable $X$ in probability space $S$.The following lemma allows us to use such an argument:Lemma 1: Given a probability space $S$ and ..

The motivation of the probabilistic method is to show the existence of an object. The basic idea is to show that there is greater than zero probability for that object in a probability space $S$. There are various methods such as the argument with expectation and derandomization. We will talk about them in future sections. In this post we explore how to make a basic argument about the existence ..

next_q_values = torch.gather(next_qa_values, 1, next_action.unsqueeze(axis=-1)).squeeze(axis=1) What is pytorch squeeze and unsqueeze?- Squeeze "squeezes out" the 1 dimensions- Unsqueeze is the reverse of squeeze- You can set dim to specify the dimension to applya = torch.randn(2,1,2)b = torch.squeeze(a)Output:tensor([[[-1.6897, -0.6981]], [[-1.7473, 1.1294]]])tensor([[-1.6897, -0.6981],..

What are dims in pytorch?- "dim" stands for dimensions- same as numpy "axis"- for a 2D torch.Tensor, dim==0 goes along the rows, dim==1 goes along the colsCode:a = torch.randn(5, 5)b = torch.argmax(a) # torch.argmax(input, dim=None, keepdim=False)Output:tensor([[-8.4741e-01, 3.6448e-01, 1.4155e+00, 2.6417e-01, -3.4608e-01], [-8.9281e-01, -3.1258e-01, 1.4784e+00, 2.9023e-01, -1.0445e+..

가상개발환경을 하나 만들기 위해 Anaconda를 맥에 설치했다. 설치링크: https://www.anaconda.com/download 하지만 전에 설치한 경우거나 커스텀 설치를 했으면 "anaconda3: No such file or directory"같은 에러메시지가 뜬다. 1. 먼저 Finder window를 하나 열어 "anaconda3"를 찾아본다. 기어 아이콘을 누르고 Show View Options > Kind: Folder 2. anaconda3폴더를 열어 "conda" exec파일을 찾는다. anaconda3 > bin > conda 이제 거의 다 왔다. 3. 새로운 Terminal창을 열고 zsh/bash에 PATH link를 해줘야 "conda list"같은 커맨드를 인식 시킬 수 ..

친구의 추천으로 Fastcampus에서 AI Deep Dive라는 혁펜하이머의 강의를 알게 되었다. 당시에는 방학이었어서 딥러닝을 다시 공부해 보기로 했다. 전에 Coursera의 DL specialization을 공부한 적이 있지만 벌써 기억이 잘 나질 않는다. 굳이 따지면 딥러닝 기준 optimization, regularization 기법 몇 개만 기억하는 상태였다. 개인적으로 인강으로 공부한 내용은 기억이 잘 나지 않는 경향이 있는 것 같다. 강의에서 혁펜하이머님은 확실히 잘 가르쳤다. 그래서 진도를 트랜스포머까지만 나갔다는 게 조금 아쉬웠다. 내용이 잘 정리되어 있었고 중간중간에 실습코드도 있어 참고할 수 있었다. 노트를 안 쓰면 또 까먹을까 봐 이번에는 노트를 썼다. 나름 공부를 열심히 했다...