딥러닝 공부방

안녕하세요! torch.bernoulli 함수를 활용해서 Stochastic depth 학습 하는 법을 알아보겠습니다. 이 포스팅은 stochastic depth 학습을 구현하는 법을 잊을까봐 기록합니다. 아래 class는 efficientnet에서 사용하는 bottlenet 입니다. class BottleNeck(nn.Module): expand = 6 def __init__(self, in_channels, out_channels, kernel_size, stride=1, se_ratio=4, p=0.5): super().__init__() self.p = torch.tensor(p).float() if stride == 1 else torch.tensor(1).float() self.residual..

고려대학교 김성범 교수님의 확률/통계 강의와 교재 'Sheldon Ross, A First Course in Probability (10th edition)' 를 공부하고 정리한 내용입니다. 이항 분포(Binomial Distribution) 베르누이 실험을 한 번 한것을 베르누이 시행이라고 합니다. 이항 분포는 독립적인 베르누이 시행을 n번 한것 입니다. 독립적인 베르누이 시행이므로 첫 번째 시행은 두 번째 시행에 영향을 주지 않습니다. 확률 변수 X는 n번 시행에서 성공횟수로 정의합니다. 이항 분포의 확률질량함수(pmf)는 다음과 같습니다. 이항 분포는 이항확률함수로부터 나온 확률들의 패턴을 말합니다. 그리고 모수(parameter) n과 p를 갖고 있습니다. 그림을 보면 모수인 p와 n에 따라 분포..

(통계학-기본개념과 원리, 여인권)을 바탕으로 제작하였습니다. (k-mooc 통계학의 이해1, 여인권)을 수강하면서 공부한 내용을 정리해보았습니다. 시행횟수가 많은 경우 이항분포의 확률을 정규근사로 계산하는 원리에 대해 알아보겠습니다. 이를 통해 비율에 대한 통계적 추론의 이론적 근거를 마련합니다. 1. 이항분포의 정규근사 $X$ ~ $B(n,p)$, $n$이 크고 $p$가 작은 경우 => 포아송 근사 $p$가 큰 경우 => 포아송 근사 $p$가 0.5에서 많이 벗어나지 않은 경우 => 정규근사를 이용합니다. $X_i$를 $i$번째 시행에서의 베르누이 확률변수 라고 하면 다음과 같이 표시할 수 있습니다. $$ X = X_1 + X_2 + ... + X_n, P = \frac{X_1 + X_2 + ... ..

(통계학-기본개념과 원리, 여인권)을 바탕으로 제작하였습니다. (k-mooc 통계학의 이해1, 여인권)을 수강하면서 공부한 내용을 정리해보았습니다. 계수자료(counting data)에 대한 대표적인 분포인 포아송분포의 성질에 대해 알아보겠습니다. 포아송분포를 이용해 이항분포 확률의 근사값 계산방법을 알아보겠습니다. 1. 포아송분포 이항분포에서 $n$이크고 $p$가 작은 경우 계산하기가 어렵습니다. 이 경우에 포아송분포를 이용하여 이항분포의 근사확률을 구하면 됩니다. 포아송분포의 확률질량함수는 다음과 같습니다. 여기서 $\lambda$는 $np$를 의미합니다. 포아송분포의 조건은 다음과 같습니다. 발생 가능성이 희박한 사건이 임의의 구간에서 평균적으로 $\lambda$번 발생 구간을 나누었을 때 각 구간..

(통계학-기본개념과 원리, 여인권)을 바탕으로 제작하였습니다. (k-mooc 통계학의 이해1, 여인권)을 수강하면서 공부한 내용을 정리해보았습니다. 대표적인 이산분포인 이항분포의 성질에 대해 알아보겠습니다. 1. 이항분포 - Binimial distribution 성공확률인 $p$인 베르누이시행을 $n$번 반복했을 때 성공 횟수($X$)의 분포를 이항분포라고 합니다. $X_i ~ B(p)$라고 할 때, 확률변수 $X$는 $n$개의 베르누이시행에서 성공한 횟수를 의미합니다. 확률변수 $X$는 $n$개의 베르누이 확률변수의 합으로 $X$의 기댓값은 베르누이확률변수의 기댓값의 합으로 표시됩니다. 베르누이확률변수는 서로 독립이기 때문에 $X$의 분산도 다음과 같이 각각의 베르누이 분산의 합으로 표시합니다. 표준..

(통계학-기본개념과 원리, 여인권)을 바탕으로 제작하였습니다. (k-mooc 통계학의 이해1, 여인권)을 수강하면서 공부한 내용을 정리해보았습니다. 1. 베르누이 시행 - Bernoulli trial 베르누이 시행의 세가지 조건이 있습니다. 예를 들어, 10개의 제품 중 7개가 정상, 3개가 불량품일때, 불량품이 뽑힌 것을 (S)라고 하겠습니다. 복원추출과 비복원추출 방법으로 각각 제품을 뽑았을 때 2개 모두 불량품일 확률은 다음과 같습니다. 2개를 복원추출하는 경우는 불량품이 뽑힐 확률이 항상 3/10이기 때문에 베르누이시행이라고 할 수 있습니다. 하지만 비복원추출의 경우 두 번째 추출은 첫 번째 추출결과에 영향을 받기 때문에 베르누이시행이라고 할 수 없습니다. 만약 상자에 10000개의 제품이 있고 ..