딥러닝 공부방

https://towardsdatascience.com/recent-developments-and-views-on-computer-vision-x-transformer-ed32a2c72654 Recent Developments and Views on Computer Vision x Transformer On the differences between Transformer and CNN, why Transformer matters, and what its weaknesses are. towardsdatascience.com 위 게시글을 번역했습니다. Why is Vision Transformer so accurate? Vision Transformer의 연구는 오랫동안 지속되어 왔는데요. 하지만 아직 Im..

http://www.mykoen.com/ 혼자서 깨치는 영작문 :: 마이코엔 www.mykoen.com 1. 다음의 문장들은 여러분이 문법과 용법 오류를 찾아내는 능력을 측정합니다. The following sentences test your ability to recognize grammar and usage errors. 2. 내 새 차를 운전하고 싶으세요? 아, 예, 하고 싶어요! Would you drive my new car? Oh, yes, I would! 3. 나는 그녀에게 약간의 꽃을 사주었다. I brought her some flowers. 4. 그들이 집에 돌아와야 하는 시간을 정해놓으세요. Set a time for their return home. 5. 언제 시작할거니? When ..

공부 목적으로 ViT를 구현하고 학습한 내용을 공유합니다 ㅎㅎ. 작업 환경은 Google Colab에서 진행했습니다. 필요한 라이브러리를 설치 및 임포트합니다. !pip install einops import torch import torch.nn as nn import torch.nn.functional as F import matplotlib.pyplot as plt %matplotlib inline from torch import optim from torchvision import datasets import torchvision.transforms as transforms from torch.utils.data import DataLoader import os from torchvision im..

Training data-efficient image transformers & distillation through attention Hugo Touvron, Matthieu Cord, Matthijs Douze, arXiv 2020 PDF, Classification By SeonghoonYu August 4th, 2021 Summary Deit는 ViT에 distillation token을 추가하여 Knowledge distillation을 적용한 논문입니다. Deit is the model which apply Knowledge distillation to ViT by adding a distillation token to ViT. class token에 head를 적용하여 얻은 확률은 Cross..

안녕하세요, 이번 포스팅에서는 class를 정의하는 경우에 nn.Module이 아닌 nn.Sequential을 상속하여 사용하는 것에 대해 알아보겠습니다. nn.Module 대신에 nn.Sequential을 subclass하면 어떤 이점이 있을까요?? 바로 forward method를 작성하지 않아도 됩니다 ㅎㅎ 예시 코드를 살펴보겠습니다. # Subclassing nn.Sequential to avoid writing the forward method. class FeedFowardBlock(nn.Sequential): def __init__(self, emb_size, expansion=4, drop_p=0.): super().__init__( nn.Linear(emb_size, expansion *..

Unsupervised Representation Learning by Pre-diction Image Rotations Spyros Gidaris, Praveer Singh, Nikos Komodakis, arXiv 2018 PDF, SSL By SeonghoonYu August 4th, 2021 Summary The ConvNet is trained on the 4-way image classification task of recognizing one of the four image rotation(0, 90, 180, 270). The task of predicting rotation transformations provides a powerful surrogate supervision signel..

서포트 벡터 머신(Support Vector Machine) 서포트 벡터 머신(SVM, support vector machine)은 서포트 벡터 분류기(support vector classifier)의 확장으로, 커널(kernel)을 사용하여 변수 공간을 확장한 결과입니다. 변수와 출력값 사이의 비선형 관계를 설명하기 위하여 변수 공간을 확장해야 하는데, SVM은 커널을 사용하여 효율적인 연산량으로 변수 공간을 확장한 방법입니다. 서포트 벡터 분류기 문제에 대한 해는 관측값들의 내적만이 관련이 있습니다. 두 관측치 사이의 내적은 다음과 같이 주어집니다. 선형 서포트 벡터 분류기(Linear support vector classifier)는 다음과 같이 나타낼 수 있습니다. 여기서 n개의 파라미터 $\al..

비선형 결정 경계에서 분류(Classification with Non-linear Decision Boudaries) 만약 두 class 사이의 경계가 선형이면, 두 개의 class를 지닌 dataset에서 서포트 벡터 분류기(support vector classifier)는 자연스러운 선택입니다. 하지만 비선형 class 경계를 지닌 데이터셋의 경우에는 어떨까요? 위 그림을 살펴보면 Support vector classifier가 찾은 선형 경계가 두 class 분류를 수행하지 못합니다. 이처럼 변수와 출력값 사이의 비선형 관계가 존재하는 경우에 선형 분류기는 성능이 좋지 않습니다. 이 경우에 변수들의 고차 다항식, 3차, 2차를 사용하여 feature space를 확장함으로써 class 사이의 비선형..

http://www.mykoen.com/ 혼자서 깨치는 영작문 :: 마이코엔 www.mykoen.com 1. 기차는 자동차보다 훨씬 더 먼저 발명되었습니다. Trains were invented long before cars 2. 이 책이 저 책보다 좋습니다. This book is better than that one. 3. 그들은 그들의 잔을 들고 서로 '건배'라고 말하였습니다. They lifted their drinks and said "cheers" to each other. 4, Palindrome은 앞으로 읽어도 뒤로 읽어도 똑같은 숫자입니다. A Palindrome is a number that reads same forwards and backwards. 5. 우리는 비행기를 타기 위해 ..

STM: Spatio Temporal and Motion Encoding for Action Recognition Boyuan Jiang, MengMeng Wang, Weihao Gan, arXiv 2019 PDF, Video By SeonghoonYu August 3th, 2021 Summary STM consists of the Channel-wise SpatioTemporal Module(CSTM) and the Channel-wise Motion Module(CMM). CSTM encode the spatiotemporal features from different timestamps and CCM encode the motion features between neighboring frames. ..