딥러닝 공부방

고려대학교 김성범 교수님의 확률/통계 강의와 교재 'Sheldon Ross, A First Course in Probability (10th edition)' 를 공부하고 정리한 내용입니다. 일양 분포(Uniform Distribution) 일양 분포는 확률 변수 X가 구간 $\alpha, \beta$에서 균일한 확률을 지니고 있습니다. 확률 밀도 함수는 다음과 같이 정의합니다. 연속형 확률 분포의 총합(면적)은 1이 되어야 합니다. 구건 $\alpha, \beta$ 사이에 일정한 확률을 갖고, 면적이 1이 되야 하므로 확률은 1/($\beta - \alpha$가 됩니다. 일양 분포의 cdf는 세 가지 구간으로 나눠서 살펴볼 수 있습니다. 일양 분포의 기대값과 분산 기대값과 분산은 다음과 같이 정의합니다..

이 포스팅은 파이썬 알고리즘 인터뷰를 공부하면서 정리한 내용입니다. 출처 : 파이썬 알고리즘 인터뷰 코드 출처 : 파이썬 알고리즘 인터뷰 깃허브 26. 원형 데크 디자인 leetcode 641. Design Circular Deque 문제입니다. leetcode.com/problems/design-circular-deque/ 풀이 이중 연결 리스트를 이용한 풀이입니다. class ListNode: def __init__(self, x): self.val = x self.right = None self.left = None class MyCircularDeque: def __init__(self, k): self.head, self.tail = ListNode(None), ListNode(None) sel..

David C.Lay 의 Linear algebra and its application를 공부하면서 정리해보았습니다. 감사합니다. Reduced SVD A 행렬을 SVD하면 다음과 같이 됩니다. 위 행렬은 대각 행렬인 D를 포함하는데, D 행렬은 대각 요소가 특이값(singular value)로 이루어진 rxr 크기의 행렬입니다. r행,열 까지는 특이값으로 이루어져있고, r+1 행과 r+1 열부터는 값이 0이 됩니다. U와 V가 r+1행, r+1열부터는 0과 곱해져 0이 되는 것입니다. 어차피 r을 초과하는 인덱스는 0과 곱해져 0이 되므로 U와 V행렬을 r까지만 표기한것이 Reduced SVD입니다. 유사역행렬(Pseudo inverse) 유사역행렬은 $A^+$를 정의해서 최소제곱법(leaset-squ..

David C.Lay 의 Linear algebra and its application를 공부하면서 정리해보았습니다. 감사합니다. 6.4 특이값 분해(SVD, Singular Value Decomposition) 6.1 대칭행렬의 대각화에서 배웠던 대각화 이론은 많은 분야에서 적용할 수 있습니다. 하지만, 모든 행렬이 $A=PDP^{-1}$로 분해되지 않습니다. D가 대각행렬이기 때문에 A는 m x m 행렬이어야지 대각화를 할 수 있었습니다. 특이값 분해($A=QDP^{-1}$)는 행렬의 크기(m x n)와 상관없이 대각화가 가능합니다. m x n 행렬의 특이값(The Singular Values of an m x n Matrix) m x n 크기의 행렬 A의 특이값(singular values)은 $A..

이 포스팅은 파이썬 알고리즘 인터뷰를 공부하면서 정리한 내용입니다. 출처 : 파이썬 알고리즘 인터뷰 코드 출처 : 파이썬 알고리즘 인터뷰 깃허브 25. 원형 큐 디자인 leetcode 622. Design Circular Queue 문제입니다. leetcode.com/problems/design-circular-queue/ 풀이 class MyCirculurQueue: def __init__(self, k): self.q = [None] * k self.maxlen = k self.p1 = 0 self.p2 = 0 # enQueue(): rear 포인터 이동 def enQueue(self, value): if self.q[self.p2] is None: self.q[self.p2] = value self..

이 포스팅은 파이썬 알고리즘 인터뷰를 공부하면서 정리한 내용입니다. 출처 : 파이썬 알고리즘 인터뷰 코드 출처 : 파이썬 알고리즘 인터뷰 깃허브 24. 스택을 이용한 큐 구현 leetcode 232. Implement Queue using Stacks 문제입니다. leetcode.com/problems/implement-queue-using-stacks/ 풀이 class MyQueue: def __init__(self): self.input = [] self.output = [] def push(self, x): self.input.append(x) def pop(self): self.peek() return self.output.pop() def peek(self): # output이 없으면 모두 재입..

이 포스팅은 파이썬 알고리즘 인터뷰를 공부하면서 정리한 내용입니다. 출처 : 파이썬 알고리즘 인터뷰 코드 출처 : 파이썬 알고리즘 인터뷰 깃허브 23. 큐를 이용한 스택 구현 leetcode 225. Implement Stack using Queues 문제입니다. leetcode.com/problems/implement-stack-using-queues/ 풀이 class MyStack: def __init__(self): self.q = collections.deque() def push(self, x): self.q.append(x) # 요소 삽입 후 맨 앞에 두는 상태로 재정렬 for _ in range(len(self.q) - 1): self.q.append(self.q.popleft()) def ..

SSD: Single Shot MultiBox Detector 논문을 읽어보고 정리했습니다. Faster R-CNN은 region proposal network(RPN)을 사용하여 객체가 있을 법한 구역(300개)를 제안하고, detection network를 통해 각 구역의 객체를 검출합니다. 2가지 과정을 걸쳐서 object detection이 수행되며, 이를 2-stage라고 합니다. SSD는 region proposal 과정을 제거하여 1-stage 방식으로 객체를 검출합니다. 이미지를 CNN 모델에 전달하면 객체를 검출할 수 있는 것입니다. 따라서, SSD는 2-stage 방식보다 더 빠릅니다. SSD300은 74.3% mAP, 59FPS 성능으로 Faster R-CNN(73.2% mAP, 7F..

이번 포스팅에서 ResNet pre-trained model을 불러오도록 하겠습니다. pre-trained model 불러오기 작업환경은 google colab에서 진행했습니다. 1. pre-trained model을 불러옵니다. # load resnet18 with the pre-trained weights from torchvision import models import torch resnet18_pretrained = models.resnet18(pretrained=True) print(resnet18_pretrained) 2. output layer를 현재 data에 맞게 수정합니다. # change the output layer to 10 classes num_classes = 10 num_f..

dataset에 있는 이미지의 평균과 표준편차를 계산하여 정규화(normalize) 해보겠습니다. 1. 데이터셋을 불러옵니다. 저는 torchvision에서 제공하는 STL-10 dataset을 사용했습니다. train dataset을 불러와서 train_ds에 저장합니다. # loading training data from torchvision import datasets import torchvision.transforms as transforms import os path2data = '/data' # if not exists the path, make the path if not os.path.exists(path2data): os.mkdir(path2data) data_transformer = ..