딥러닝 공부방

Masked Autoencoders Are Scalable Vision Learners PDF, Self-supervised Learning, He, et al, arXiv 2021 Summary 이미지를 패치로 짤라서 패치의 일부분을 mask 한다. mask 되지 않은 패치를 encoder로 입력하여 latent representation을 추출한다. 이 latent representation에 mask token을 추가하여 decoder로 전달한다. decoder은 mask token을 채우는 reconstruction 태스크를 수행한다. 인코더와 디코더 각각의 입력값에 포지셔널 인코딩이 적용된다. masked patch는 제외하고 인코더로 전달하는데 이 덕분에 encoder의 연산량이 감소한다. 패..

Understanding Analysis 를 공부하고 정리합니다. 1.1 $\sqrt2$는 무리수 일까? 제곱이 2가 되는 유리수는 없습니다. 귀류법으로 위 정리를 증명할껀데요. 귀류법은 정리의 모순을 참으로 가정하고 논리적 단계를 통해 오류가 존재하면 정리가 참이라는 것을 입증합니다. 따라서 제곱이 2가 되는 유리수가 존재한다는 가정부터 시작하겠습니다. 참고로 유리수는 (p/q)로 나타내어지는 수를 말합니다. 위 식에서 p와 q는 유리수이고 서로수라고 가정하겠습니다. 공약수가 존재하면 기약 분수 꼴로 다시 작성합니다. 위 식은 다음과 같이 풀어쓸 수 있습니다. 이 경우에 p는 2로 나누어 지므로 짝수라는 것을 알 수 있는데요. 홀수는 제곱해도 홀수이기 때문입니다. 이제 p는 짝수이므로 p=2r을 p에 ..

A Generative Adversarial Approach for Zero-Shot Learning from Noisy Texts PDF, Zero-Shot Classification, Zhu et al, arXiv 2017 Summary generative based zero shot classification이다. generator이 생성한 feature은 disparse하고 cluster structure를 망가뜨린다. 그래서 visual pivot regularization을 제안한다. 위 loss를 사용하는데, train distribution에 접근할 수 없으므로 sythesized feature의 평균을 계산해서 단일 feature가 이에 가까워 지도록 한다. 또, wiki에서 긁어온 te..

Seesaw Loss for Long-Tailed Instance Segmentation PDF, long-tail, Wang et al, arXiv 2020 Summary Instance segmentation에서 long tail distribution을 다루는 논문이다. 아이디어가 재미있다. 기존의 Cross-entropy loss에 두 가지 factor르 추가한다. mitigation factor mitigation factor는 샘플 수가 많은 head 클래스가 샘플 수가 적은 tail 클래스를 억제하는 것을 완화해준다. 이게 뭔말이냐면 head class의 샘플이 입력될때마다 이에 해당하는 loss는 tail 클래스를 억제시킨다. tail 클래스에 대한 soft max 출력값이 낮아져야 hea..

torch 에서 xavier 가중치 초기화 기능을 제공한다. def init_weights(m): if type(m) == nn.Linear: torch.nn.init.xavier_uniform_(m.weight) m.bias.data.fill_(0.01)

pred와 target값을 loss function에 전달하여 loss를 계산할때 아래와 같은 오류가 발생했다. Boolean value of Tensor with more than one value is ambiguous loss 계산 코드를 잘못 짠게 원인이었다. def mse_loss(pred, target): loss = nn.MSELoss(pred, target) return loss 위 코드를 아래와 같이 수정하니 오류 해결! def mse_loss(pred, target): loss_func = nn.MSELoss() loss = loss_func(pred, target) return loss

wget url 를 실행하면 해당 파일을 다운로드 받는다. 하지만 나는 과거에 다운받았던 파일까지 함께 다운이 받아지는 문제가 발생했다. wget -O 파일명 url 위 명령어를 실행하면 파일명에 해당하는 파일만 다운로드 받는다.

.tgz 파일을 tar xfvz 파일명.tgz 명령어로 압축해제 하려 했더니 아래와 같은 오류가 발생했다. gzip: stdin: not in gzip format tar: Child returned status 1 tar: Error is not recoverable: exiting now .tgz 파일임에도 다른 형식으로 압축되어 있어 위 오류가 발생하는 것 같다. file 파일명.tgz 로 파일 형식을 확인하면 tar로 압축되어 있다는 것을 확인할 수 있다. 따라서 아래 명령어로 압축을 해제하면 된다 tar xvf 파일명.tgz

내 경우에 unresolved reference 에러가 구글에 나와있는 방법으로 해결되지 않았다 . 뒤적뒤적 거리다가 아래 방법으로 해결. 파이참이 __init__.py 을 인식 못하지 않아, 에러가 발생하지 않았나 싶다.

패키지를 사용하려면 내가 만든 패키지를 참조할 수 있도록 명령 프롬프트 창에서 set 명령어로 PYTHONPATH 환경 변수에 디렉터리를 추가해야 합니다. C:\> set PYTHONPATH=C:/user/seonghoon C:\> python Type "help", "copyright", "credits" or "license" for more information.