딥러닝 공부방

저장한 state_dict 파일을 다음과 같이 불러와서 파라미터를 확인할 수 있다. state_dict = torch.load(config['init_model']) for param_tensor in state_dict: print(param_tensor, '\t', state_dict[param_tensor].size())

공부 목적으로 ViT를 구현하고 학습한 내용을 공유합니다 ㅎㅎ. 작업 환경은 Google Colab에서 진행했습니다. 필요한 라이브러리를 설치 및 임포트합니다. !pip install einops import torch import torch.nn as nn import torch.nn.functional as F import matplotlib.pyplot as plt %matplotlib inline from torch import optim from torchvision import datasets import torchvision.transforms as transforms from torch.utils.data import DataLoader import os from torchvision im..

안녕하세요, 이번 포스팅에서는 class를 정의하는 경우에 nn.Module이 아닌 nn.Sequential을 상속하여 사용하는 것에 대해 알아보겠습니다. nn.Module 대신에 nn.Sequential을 subclass하면 어떤 이점이 있을까요?? 바로 forward method를 작성하지 않아도 됩니다 ㅎㅎ 예시 코드를 살펴보겠습니다. # Subclassing nn.Sequential to avoid writing the forward method. class FeedFowardBlock(nn.Sequential): def __init__(self, emb_size, expansion=4, drop_p=0.): super().__init__( nn.Linear(emb_size, expansion *..

안녕하세요, 이번 포스팅에서는 MoCov2를 Google Colab 환경에서 PyTorch로 구현해보도록 하겠습니다. 논문 리뷰와 전체 코드는 아래 주소에서 확인하실 수 있습니다. [논문 읽기] MoCov2(2020), Improved Baselines with Momentum Contrastive Learning 안녕하세요, 오늘 읽은 논문은 Improved Baselines with Mometum Contrastive Learning 입니다. 해당 논문은 MoCo v1에서 SimCLR의 두 가지 아이디어를 적용한 모델입니다. SimCLR은 contrastive learning.. deep-learning-study.tistory.com Seonghoon-Yu/MoCov2_Pytorch_tutorial..

안녕하세요! 이번 포스팅은 sklearn 패키지에서 제공하는 ShuffleSplit과 torch.utils.data의 Subset 함수를 사용하여 데이터셋을 분할하도록 하겠습니다. shufflesplit 함수는 데이터셋 인덱스를 무작위로 사전에 설정한 비율로 분할합니다. 즉, 4:1 로 분할하고 싶은 경우에 무작위 인덱스로 4:1 비율로 분할합니다. subset 함수로 데이터셋을 생성하면 부모 set이 업데이트(transformation)된 경우에 subset도 함께 업데이트 됩니다. 제가 사용하는 데이터셋은 999개의 이미지로 구성됩니다. train 0.8, test 0.2로 분할하겠습니다. # split the data into two groups # trian 0.8, test 0.2 from sk..

안녕하세요, 오늘 읽은 논문은 transformer을 제안하는 Attention is All You Need 입니다. 논문에서는 self-attention 으로 구성된 encoder와 decoder을 사용합니다. self-attention 작동 방법이 이해가 되질 않아서 2~3일 동안 공부했네요..ㅎㅎ 저는 이해가 잘 안될때는 코드와 함께 보는 편입니다. 코드를 보면서 어떤 과정으로 데이터가 처리되는지 확인하면 이해가 더 잘되는 것 같아요. 자연어처리 모델은 익숙하지가 않아서 아래 깃허브를 참고하면서 공부했어요. 구현 코드와 논문 설명이 함께 되어 있어서, 큰 도움이 되었습니다 ㅎㅎ bentrevett/pytorch-seq2seq Tutorials on implementing a few sequence-..

안녕하세요! 이번 포스팅은 sklearn 패키지에서 제공하는 ShuffleSplit과 torch.utils.data의 Subset 함수를 사용하여 데이터셋을 분할하도록 하겠습니다. shufflesplit 함수는 데이터셋 인덱스를 무작위로 사전에 설정한 비율로 분할합니다. 즉, 4:1 로 분할하고 싶은 경우에 무작위 인덱스로 4:1 비율로 분할합니다. subset 함수로 데이터셋을 생성하면 부모 set이 업데이트(transformation)된 경우에 subset도 함께 업데이트 됩니다. 제가 사용하는 데이터셋은 999개의 이미지로 구성됩니다. train 0.8, test 0.2로 분할하겠습니다. # split the data into two groups # trian 0.8, test 0.2 from sk..

이번 포스팅에서는 Conditional GAN을 PyTorch로 구현하고 MNIST dataset으로 학습한 후 generator이 생성한 가짜 이미지를 확인해보겠습니다. 논문 리뷰는 아래 포스팅에서 확인하실 수 있습니다. [논문 읽기] 구현 코드로 살펴보는 CGAN(2014), Conditional Generative Adversarial Nets 오늘 읽은 논문은 CGAN(2014), Conditional Generative Adversarial Nets 입니다. GAN에 대한 배경지식이 있다고 가정하여 포스팅을 작성합니다. GAN 논문 리뷰는 아래 포스팅에서 살펴보실 수 있습니다. [논.. deep-learning-study.tistory.com 전체 코드는 아래 깃허브에서 확인하실 수 있습니다. ..

안녕하세요! 이번 포스팅에서는 PyTorch로 구현한 GAN을 MNIST dataset으로 학습한 후, 학습된 generator이 생성한 가짜 이미지를 확인해보겠습니다. 작업 환경은 Google Colab에서 진행합니다. 전체 코드는 아래 깃허브에서 확인하실 수 있습니다. Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTorch 공부 목적으로 논문을 리뷰하고 파이토치로 구현하고 있습니다. Contribute to Seonghoon-Yu/Paper_Review_and_Implementation_in_PyTorch development by creating an account on GitHub. github.com 목차 1. 데이터셋 불러오기 2. 모델 구축하기 3..

안녕하세요! 이번에는 YOLOv3을 PyTorch로 구현하고 학습까지 해보도록 하겠습니다. 작업환경은 Google Colab에서 진행했습니다. YOLOv3 논문 리뷰는 아래 포스팅에서 확인하실 수 있습니다. [논문 읽기] YOLOv3(2018) 리뷰 이번에 읽어볼 논문은 'YOLOv3: An Incermetal Improvement' 입니다. YOLOv3은 YOLOv2에서 개선된 버전입니다. 예를 들어, FPN을 사용하여 multi-scale에서 feature을 추출하고, shortcut connection을 활용한 D.. deep-learning-study.tistory.com 전체 코드는 여기에서 확인하실 수 있습니다. 아래 코드를 분석하여 구현해보았습니다. https://github.com/ayoo..