딥러닝 공부방

고려대학교 김성범 교수님의 확률/통계 강의와 교재 'Sheldon Ross, A First Course in Probability (10th edition)' 를 공부하고 정리한 내용입니다. 김성범 교수님의 확률 강의는 정말 명강의라고 생각합니다! 확률론에 관심있으신 분은 유튜브 강의를 시청해보시는 것을 추천드리겠습니다. 베이즈 룰(Bayes' Rule) 베이즈 룰은 이전 포스팅에서 공부했던 조건부 확률을 응용한 문제입니다. 베이즈 룰이 무엇인지 알아보도록 하겠습니다. $A_1, A_2, A_3$을 표본 공간 S의 부분 집합이고, 이들은 상호 배타라고 해보겠습니다. 그리고 사건 B가 다음과 같다고 가정하겠습니다. 표본 공간 S를 3개의 상호 배타적 집합으로 나눈 것입니다. 이때 사건 B에 관심이 있을 때..

고려대학교 김성범 교수님의 확률/통계 강의와 교재 'Sheldon Ross, A First Course in Probability (10th edition)' 를 공부하고 정리한 내용입니다. 조건부 확률(Conditional Probability) 조건부 확률은 확률인데 조건이 있는 확률입니다. 조건부 확률은 다음과 같이 표기하며, 사건 F가 발생했을 때, 사건 E가 발생할 확률로 해석할 수 있습니다. 그리고 P(E l F)에서 사건 F가 조건이 됩니다. 즉, 표본 공간에서의 확률 E가 아니라, 부분 공간 F에서 사건 E가 발생할 확률을 구하는 것입니다. 그리고 수식에서 조건 F가 분모로 가고 분자는 E와 F의 교집합이 됩니다. 조건부 확률을 활용하면 P(E)는 표본 공간 S에서 E가 발생할 확률이므로 ..

이 포스팅은 공부 목적으로 아래 게시물을 번역한 글입니다. How to implement a YOLO (v3) object detector from scratch in PyTorch: Part 3 Part 3 of the tutorial series on how to implement a YOLO v3 object detector from scratch in PyTorch. blog.paperspace.com YOLO v3 detector를 바닥부터 구현하는 튜토리얼의 Part 3입니다. 지난 part에서 YOLO 구조에 사용되는 layers를 구현했고, 이번 파트에서는 주어진 이미지로부터 출력값을 생성하기 위해 PyTorch로 YOLO의 신경망 구조를 구현할 것입니다. 이 튜토리얼 코드는 Python ..

안녕하세요! 이번에 리뷰할 논문은 'Batch Normalization: Accelerating Deep Network Training by Reducing Internal Covariate Shift' 입니다! 배치 정규화는 2015년에 제안된 방법입니다. 배치 정규화는 많은 사람들이 사용하고 있으며, 주목 받는 이유는 다음과 같습니다. 학습을 빠르게 진행할 수 있습니다.(높은 학습률을 적용 가능합니다) 초깃값에 크게 의존하지 않습니다.(초깃값 선택 장애를 개선했습니다) 오버피팅을 억제합니다.(드랍아웃의 필요성을 감소했습니다.) 비선형 함수(sigmoid 등)을 이용할 때, saturated regime(기울기가 0인 부분)에 빠지는 것을 방지합니다. 따라서 기울기 소실과 saturation probl..

고려대학교 김성범 교수님의 확률/통계 강의와 교재 'Sheldon Ross, A First Course in Probability (10th edition)' 를 공부하고 정리한 내용입니다. 확률의 공리(Axioms of Probability) 공리는 정해진 사실을 의미합니다. 이론은 증명을 해야하는데 공리는 정해진 사실이므로 증명할 필요가 없습니다. 그러면 확률의 공리에 대해 알아보도록 하겠습니다. 사건 E에 대한 확률은 P(E)로 표기하고 다음과 같이 정의하겠습니다. P(E)는 다음의 공리를 만족합니다. 공리(1) P(E)는 0과 1사이 입니다. 공리 (2) 표본 공간의 확률은 1입니다. 공리 (3) 만약 사건 $E_1, E_2, ... $가 상호 배타($E_i \cap E_j = \phi$)이면 다..

고려대학교 김성범 교수님의 확률/통계 강의와 교재 'Sheldon Ross, A First Course in Probability (10th edition)' 를 공부하고 정리한 내용입니다. 집합 연산(Set Operation) 집합의 세 가지 연산에 대해 알아보도록 하겠습니다. 1. 교집합(intersection) 표본 공간에서 두 사건 E와 F에 대하여 새로운 사건 EF를 정의하고, 이를 E와 F의 교집합이라고 부르겠습니다. 즉, EF(E$\cap$F)는 사건 E와 F가 동시에 발생하는 것을 의미합니다. 예를 들어, 동전을 두 번 던질 때 사건 E는 적어도 1번 이상 앞면이 나올 사건(E = {(h,h), (h,t), (t,h)})이고, 사건 F는 적어도 1번 이상 뒷면이 나올 사건(F = {(t,t..

고려대학교 김성범 교수님의 확률/통계 강의와 교재 'Sheldon Ross, A First Course in Probability (10th edition)' 를 공부하고 정리한 내용입니다. 이번 포스팅에서는 표본 공간(Sample space)와 사건(Event), 실험(Experiment) 용어를 살펴보도록 하겠습니다. 표본 공간과 사건(Sample Space and Events) 표본 공간(Sample Space): 실험으로 나온 모든 결과를 담고 있는 집합입니다. 실험(Experiment): 데이터 집합을 생성하는 과정입니다. 사건(Event): 표본 공간의 부분집합 입니다. 표본 공간에는 두 종류가 있습니다. 이산형 표본 공간(Distcrete Sample Space): 이산형 데이터를 담고 있는..

고려대학교 김성범 교수님의 확률/통계 강의와 교재 'Sheldon Ross, A First Course in Probability (10th edition)' 를 공부하고 정리한 내용입니다. 실험(Experiment) 실험은 데이터 집합을 생성하는 과정을 의미합니다. 예시 : 동전 던지기, 주사위 굴리기, 슈퍼마켓에 있는 손님들의 수 세기 Counting의 기본 원리 2개의 실험을 수행한다고 가정하겠습니다. 첫 번째 실험이 m개의 결과를 갖고 있고, m개의 첫 번째 실험의 각 결과에 대하여 두 번째 실험은 n개의 결과를 갖습니다. 그러면 두 실험의 모든 가능한 결과는 얼마나 많을까요?? 모든 가능한 결과의 집합은 m개의 행과 n개의 열로 이루어져 있습니다. 따라서 총 mn개의 결과가 도출됩니다. coun..

안녕하세요! 이번에 리뷰할 논문은 'An overviw of gradient descent optimization' 입니다. 이 논문은 독자에게 optimization algorithm에 대한 직관력을 제공할 목적으로 작성했다고 합니다. optimization에 대해 이해도가 높아지면 설계한 모델에 적합한 algorithm을 선택할 수 있다고 합니다. 이해도를 높이기 위해, gradient descent의 3가지 변종을 살펴보고 해결해야 할 문제점을 제시하고 이 문제점을 해결하기 위해 제시된 8가지 algorithms(Adam, RMSprop, Adagad 등등)를 소개합니다. 경사 하강법(Gradient descent) 논문의 Introduction에 경사 하강법(gradient descent)에 대해..

David C.Lay 의 Linear algebra and its application를 공부하면서 정리해보았습니다. 감사합니다. 대칭 행렬의 대각화는 선형대수학의 꽃인 SVD를 유도하기 위해 필요합니다. 대칭 행렬이 무엇이고 대칭 행렬을 대각화할때 나타나는 새로운 특성을 알아보도록 하겠습니다. 대칭 행렬(Symetric Matrix) 대칭 행렬은 행렬 A가 정사각 행렬(square matrix)이고, $A^T = A$를 만족하는 행렬입니다. 1) A가 정사각 행렬(square matrix) 2) $A^T = A$ 위 두 가지 조건을 만족하면 대칭 행렬입니다. 대칭 행렬의 예시를 살펴보겠습니다. 대칭 행렬이 아닌 경우입니다. 대각화(Diagonalization) 대칭 행렬의 대각화를 살펴보기 전에 이전에..