딥러닝 공부방

not refined 0 unlabeled 1 person 2 bicycle 3 car 4 motorcycle 5 airplane 6 bus 7 train 8 truck 9 boat 10 traffic light 11 fire hydrant 12 street sign 13 stop sign 14 parking meter 15 bench 16 bird 17 cat 18 dog 19 horse 20 sheep 21 cow 22 elephant 23 bear 24 zebra 25 giraffe 26 hat 27 backpack 28 umbrella 29 shoe 30 eye glasses 31 handbag 32 tie 33 suitcase 34 frisbee 35 skis 36 snowboard 37 spo..

0 __background__ 1 aeroplane 2 bicycle 3 bird 4 boat 5 bottle 6 bus 7 car 8 cat 9 chair 10 cow 11 diningtable 12 dog 13 horse 14 motorbike 15 person 16 pottedplant 17 sheep 18 sofa 19 train 20 tvmonitor

loss = loss_func(pred, y) loss를 계산하는 과정에서 RuntimeError: Found dtype Long but expected Float 에러가 발생했다. loss = loss_func(pred.to(torch.float32), y.to(torch.float32)) 다음과 같이 pred와 y의 tensor type을 float32로 변경해주면 된다.

RuntimeError: t == DeviceType::CUDAINTERNAL ASSERT FAILED at "/opt/conda/conda-bld/pytorch_1634272068694/work/c10/cuda/impl/CUDAGuardImpl.h":24, please report a bug to PyTorch. 에러가 발생했다. Pytorch Lightning을 사용하다 발생한 에러인데, torchmetric에서 불러온 PSNR 함수를 .cuda()로 보내지 않아 발생한 오류였다. Pytorch Lightning이 torchmetric에서 불러온 PSNR 함수를 자동으로 cuda로 전달하지 않나보다. psnr = PSNR().cuda()

back = Back().cuda() state_dict = torch.load(config['back_init_model']) back.load_state_dict(state_dict['state_dict']) 모델을 GPU에 올린뒤에 load 명령어로 state_dict 파일을 불러오고 모델.load_state_dict로 불러온 state_dict을 적용하면 GPU 메모리가 낭비된다. 즉 CUDA out of memory가 발생할 수 있다는 것. load_state_dict이 적용된 모델과 처음에 정의한 모델이 함께 GPU에 올라가서 발생한 문제인 것 같다. 먼저 CPU 에 모델을 올리고 나서 load_state_dict으로 state_dict을 적용한 후에 GPU에 올리면 된다. back = Bac..

저장한 state_dict 파일을 다음과 같이 불러와서 파라미터를 확인할 수 있다. state_dict = torch.load(config['init_model']) for param_tensor in state_dict: print(param_tensor, '\t', state_dict[param_tensor].size())

UserWarning: Was asked to gather along dimension 0, but all input tensors were scalars; will instead unsqueeze and return a vector RuntimeError("grad can be implicitly created only for scalar outputs") 위와 같은 에러가 발생했다. loss.backward() 에서 발생했는데.. loss.shape = ([2]) 로 되어 있기 때문이다. 파이토치 DP를 쓰면서 loss가 gpu 수 만큼 반환하게 되어, vector를 출력하게 된 것이다. loss.backward()를 위해서는 loss가 scalar이어야 하낟. 따라서 loss.mean().backw..

/opt/conda/conda-bld/pytorch_1634272068694/work/aten/src/ATen/native/cuda/Indexing.cu:699: indexSelectLargeIndex: block: [132,0,0], thread: [31,0,0] Assertion `srcIndex

파이토치 오류 https://discuss.pytorch.org/t/one-of-the-variables-needed-for-gradient-computation-has-been-modified-by-an-inplace-operation-torch-cuda-floattensor-3-48-3-3-is-at-version-2-expected-version-1-instead/83241 One of the variables needed for gradient computation has been modified by an inplace operation: [torch.cuda.FloatTensor [3, 48, When I was training the GAN, the first iteration worked ..

torch.cuda.current_device()로 확인할 수 있다. 위 사진을 보면 A6000는 CUDA 10.2 버전과 호환이 안된다. 따라서 CUDA 11.3 버전을 다시 설치해줘야 한다. 참고로 파이토치도 함께 재설치를 해줘야된다. CUDA 버전을 업그레이드하니 작동된다.