딥러닝 공부방

/opt/conda/conda-bld/pytorch_1634272068694/work/aten/src/ATen/native/cuda/Indexing.cu:699: indexSelectLargeIndex: block: [132,0,0], thread: [31,0,0] Assertion `srcIndex

파이참에서 컨트롤 + 슬래쉬(ctrl + /) 키가 안먹어서 수동으로 주석을 달아주고 있었다. 왜 그러나 했더니 입력기가 한컴 입력기로 되어 있었다. ctrl + shift 로 마이크로 소프트 입력기로 변경해주면 해결 된다. 휴..

Scaling Up Vision-Language Representation Learning with Noisy Text Supervision https://arxiv.org/abs/2102.05918 Scaling Up Visual and Vision-Language Representation Learning With Noisy Text Supervision Pre-trained representations are becoming crucial for many NLP and perception tasks. While representation learning in NLP has transitioned to training on raw text without human annotations, visual ..

Fine-Grained Generalized Zero-Shot Learning via Dense Attribute-Based Attention PDF, Zero-Shot Classification, Dat Huynh, Ehsan Elhamifar, CVPR 2020 Summary attribute에 해당하는 이미지 region에 집중해서 보겠다는 논문이다. 즉, 전체 이미지로부터 추출한 feature vector를 전체 attribute와 매칭하지 않고, attribute에 해당하는 이미지 region을 찾아내어 가중치를 준 다음에 class를 예측한다. 좀 더 세밀한 feature를 활용할 수 있다는 것이 장점. image region으로부터 추출한 feature와 attribute word embed..

파이토치 오류 https://discuss.pytorch.org/t/one-of-the-variables-needed-for-gradient-computation-has-been-modified-by-an-inplace-operation-torch-cuda-floattensor-3-48-3-3-is-at-version-2-expected-version-1-instead/83241 One of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.FloatTensor [3, 48, When I was training the GAN, the first iteration worked ..

torch.cuda.current_device()로 확인할 수 있다. 위 사진을 보면 A6000는 CUDA 10.2 버전과 호환이 안된다. 따라서 CUDA 11.3 버전을 다시 설치해줘야 한다. 참고로 파이토치도 함께 재설치를 해줘야된다. CUDA 버전을 업그레이드하니 작동된다.

LiT: Zero-Shot Transfer with Locked-image Text Tuning PDF, Zero-Shot Transfer, Zhai et al, arXiv 2021 Summary Transfer Learning과 Zero-Shot Transfer 의 차이점 먼저 설명하고 논문을 소개하겠다. Transfer Learning은 big dataset로 pre trained된 big model을 down stream으로 fine-tuning을 하는 것이다. 즉, 두 가지 철차로 이루어진다. (1) pre-training, (2) fine-tuning. 이 과정을 통하여 데이터가 적은 task에서도 좋은 성능을 가진 모델을 사용할 수 있다. Zero-Shot Transfer은 fine-tunin..

Zero-shot Learning via Shared-Reconstruction-Graph Pursuit PDF, Zero-Shot Classification, Zhao et al, arXiv 2017 Summary space shift problem을 정의한다. image feature space, attribute space, word vector space 사이의 knowledge structure가 다르다는 문제점이다. 기하학적인 inconsistent가 발생한다는 것인데, 각 space에서 structure가 서로 다른 데이터로 학습되기 때문에 발생한다. 즉, word embedding의 class 관계를 직접 image space로 transfer하면 문제점이 발생한다는 것. 논문에서 제안하는..

DeViSE, A Deep Visual-Semantic Embedding Model PDF, Zero-Shot Classification, Frome, et al, NIPS 2013 Summary CNN으로 image로부터 feature를 추출하고 transformation matrix를 통해 embedding vector space로 map한다. 사전 학습된 embedding vector와 유사도를 측정하여 class를 예측. 손실 함수는 ranking loss를 사용한다. my github Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTorch 공부 목적으로 논문을 리뷰하고 해당 논문 파이토치 재구현을 합니다. Contribute to Seonghoon-Y..

https://discuss.pytorch.org/t/what-we-should-use-align-corners-false/22663 What we should use align_corners = False I am very confused with this parameter in pytroch document. According to wiki https://en.wikipedia.org/wiki/Bilinear_interpolation, the bilinear interpolation formula result is consistent with align_corners =True. which is defatult before pytorch 0.4.0. I discuss.pytorch.org align_..