딥러닝 공부방

오늘 읽은 논문은 Unsupervised Visual Representation Learning by Context Prediction 입니다. Context Prediction은 self-supervised learning이며 image로부터 patch를 추출하여 patch간의 상대적인 위치를 예측하도록 학습합니다(사람도 맞추기 어려운 task를 신경망이 prediction 하도록 합니다. 실제로 이 상대적인 위치를 예측하는 task에 대하여 학습된 ConvNet은 낮은 성능(40%)을 나타냅니다). 이 방법으로 embedding을 학습하는데, 이 embedding은 동일한 object이면 가까운 거리(유사도), 다른 object 경우에는 먼 거리를 갖도록 합니다. 이렇게 학습된 ConvNet은 tra..

안녕하세요, 오늘 읽은 논문은 An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale 입니다. 해당 논문은 transformer를 image patch의 sequence에 적용하여 classification을 수행합니다. transformer는 computational efficiency와 scalability한 속성을 갖고 있어 엄청난 크기의 파라미터를 가진 모델로 확장할 수 있습니다. 컴퓨터 비전에서도 이 transformer을 적용하여 VIT는 엄청난 크기의 데이터셋으로 학습하여 SOTA를 달성합니다. transformer를 computer vision에서 적용하기에 inductive bias를 갖고 있습니다. CNN은 ..

안녕하세요, 오늘 읽은 논문 Discriminative unsupervised feature learning with exemplar convolutional neural networks 입니다. 논문에서는 self-supervised learning인 Exemplar 방법을 제안합니다. 간단하게 설명하자면 unlabeled image 로부터 patch를 추출하고, 이 patch에 다양한 transformation을 적용한 뒤에 해당 집합은 동일한 클래스 i를 부여합니다. 동일한 patch에 대해 여러 transformation을 적용한 patch를 동일한 class로 예측하도록 모델을 훈련한다면, 모델은 generic features를 학습할 수 있습니다. 이 말은 즉 transformation에 in..

Exoplanet Could Have Water Clouds Recently, scientists have discovered an exoplanet that could contain water clouds. Exoplanets are planets that are located outside of our solar system. While students are often taught that there are eight planets, there are actually many more. But, these additional planets are outside of our solar system and are thus, often forgotten about. These planets, like t..

레벨 집합에서 그래디언트와 접평면(Gradients and Tangent Planes to Level Sets) level surface와 함수 f의 그래디언트 사이의 관계를 살펴보겠습니다. level surface는 함수 f의 값을 상수로 두고, 그 상수를 만족하는 점들의 집합을 나타낸 것입니다. 그래디언트는 함수 f의 값이 가장 빠르게 변화하는 방향을 나타냅니다. 이에반해 level surface는 f의 값이 전혀 변하지 않는 방향으로 놓여져 있습니다. level surface와 그래디언트는 직교합니다. 그래디언트와 level set은 수직이라는 것을 알았습니다. 그래디언트에 수직인 평면인 접평면을 정의하는 법을 알아보겠습니다. 그래디언트와 level surface는 수직이므로, 둘을 내적하면 0이 ..

3개의 변수를 받아 하나의 scalar를 출력하는 실함수(real-valued function with three variables) f가 존재한다고 가정하겠습니다. v와 x는 고정된 벡터라고 할때, 함수 f(x + tv)는 t값만 정해진다면 scalar를 출력할 수 있습니다. x + tv 형태의 모든 점의 집합은 점 x를 통과하고 벡터 v와 평행한 선 L 입니다. 방향 도함수(Directional Derivatives) 함수 t -> f(x + tv)는 선 L에 제한된 함수 f를 나타냅니다. 함수 f의 입력값이 선 L의 집합에 제한되어 있기 때문입니다. 만약, 새가 속도 v로 선(x + tv)을 따라 비행한다면, x + tv는 시간 t에서 새의 위치가 됩니다. 선 L을 따라 변화하는 함수 f의 값이 점..

안녕하세요, 오늘 읽은 논문은 transformer을 제안하는 Attention is All You Need 입니다. 논문에서는 self-attention 으로 구성된 encoder와 decoder을 사용합니다. self-attention 작동 방법이 이해가 되질 않아서 2~3일 동안 공부했네요..ㅎㅎ 저는 이해가 잘 안될때는 코드와 함께 보는 편입니다. 코드를 보면서 어떤 과정으로 데이터가 처리되는지 확인하면 이해가 더 잘되는 것 같아요. 자연어처리 모델은 익숙하지가 않아서 아래 깃허브를 참고하면서 공부했어요. 구현 코드와 논문 설명이 함께 되어 있어서, 큰 도움이 되었습니다 ㅎㅎ bentrevett/pytorch-seq2seq Tutorials on implementing a few sequence-..

Famine Hits Ethiopia During Civil War Ethiopia, an East African nation, has been in the midst of a civil war for months. The government of Ethiopia has sent troops into a northern region of the country called Tigray, which is home to the Tigray People's Liberation Front (TPLF). The TPLF is a military organization who has been fighting with the Ethiopian government since the end of last year. Par..

오늘 읽은 논문은 Simple Copy-Paste is a Strong Data Augmentation Method for Instance Segmentation 입니다. Segmentation task를 위한 Copy-Paste augmentation을 dataset에 적용하여 성능을 향상시킵니다. Copy-Paste를 직역하면 복사-붙여넣기입니다. 논문에서는 이미지의 객체를 복사하여 다른 이미지로 붙여넣기를 합니다. Casscade Eff-B7 Nas-FPN 모델에 Copy-Paste augmentation을 적용하여 segmentation 분야에서 2020년 SOTA를 달성합니다. 논문에서 제안하는 Copy-Paste는 large scale jittering과 Noisy Student의 self t..

안녕하세요, 이번 포스팅에서는 PyTorch에서 제공하는 VOC Segmentation dataset을 사용해보도록 하겠습니다. 우선 transformation을 정의하기 위한 albumentations 모듈을 설치합니다. !pip install -U albumentations 필요한 라이브러리를 import 합니다. from torchvision.datasets import VOCSegmentation from torchvision.transforms.functional import to_tensor, to_pil_image from PIL import Image import torch import numpy as np from skimage.segmentation import mark_boundari..