딥러닝 공부방

안녕하세요! PyTorch로 Swish 함수를 정의해서 사용하는 법을 알아보겠습니다ㅎㅎ Swish 함수는 깊은 신경망에서 ReLU보다 좋은 성능을 나타내는데요, 실제로 EfficientNet은 Swish 활성화 함수를 사용하고 MobileNetV3은 Swish 함수를 수정해서 h-Swish 함수를 사용하고 있습니다. 이 Swish 함수는 파이토치 공식 문서에서 명령어를 제공하고 있지 않아 직접 정의해서 사용해야 합니다. 아래와 같이 Swish 함수 클래스를 정의할 수 있습니다. # Swish activation function class Swish(nn.Module): def __init__(self): super().__init__() self.sigmoid = nn.Sigmoid() def forwa..

(밑바닥부터 시작하는 딥러닝, 사이토고키) 를 바탕으로 제작하였습니다. 오차역전파법 (3) - 활성화 함수, Affine, Softmax 계층 구현 이전의 포스팅에서는 사과 쇼핑 문제를 통해 간단한 역전파 계층을 구현해 보았습니다. 이번 포스팅에서는 활성화 함수(ReLu, Sigmoid) 계층, 행렬의 곱을 의미하는 Affine 계층, 출력층에서 사용하는 소프트맥스 계층을 구현해보도록 하겠습니다. 5. 활성화 함수 계층 구현하기 이제 계산 그래프를 신경망에 적용해보겠습니다. 우선 활성화 함수인 ReLu와 Sigmoid 계층을 구현하겠습니다. 5.1 ReLU 계층 활성화 함수로 사용되는 ReLU의 수식은 다음과 같습니다. x에 대한 y의 미분은 다음처럼 구합니다. 순전파 때의 입력인 x가 0보다 크면 역전..

(밑바닥부터 시작하는 딥러닝, 사이토 고키)을 바탕으로 작성하였습니다. 신경망 - Neural Network 이전 포스팅에서는 퍼셉트론에 대하여 설명하였습니다. 이번 포스팅에서는 3층 신경망 순전파를 구현해보면서 신경망에 대해 알아보겠습니다. 순전파는 입력부터 출력까지의 과정을 의미합니다. 퍼셉트론에서는 AND, OR 게이트의 진리표를 보면서 사람이 적절한 가중치 값을 정했습니다. 신경망은 가중치 매개변수의 적절한 값을 데이터로부터 자동으로 학습할 수 있습니다. 1. 퍼셉트론에서 신경망으로 1.1 신경망의 예 신경망을 그림으로 나타내면 다음과 같이 됩니다. 입력층, 은닉층, 출력층으로 나뉘어져 있습니다. 1.2 퍼셉트론 복습 $x_{1}$과 $x_{2}$라는 두 신호를 입력받아 y를 출력하는 퍼셉트론을 ..