딥러닝 공부방

이전 포스팅에서 torch.nn 모듈을 사용해서 기본적인 신경망을 구축해보았습니다. 이번에는 파이토치를 사용하여 합성곱 신경망(CNN)을 구축하는 방법을 알아보겠습니다. CNN 으로 넘어가기 이제 3개의 합성곱 계층(convolutional layers)을 지닌 신경망을 구축해보겠습니다. 이전 섹션에서 어떤 함수도 모델의 형식에 대해 가정하지 않기 때문에, 수정 없이 CNN을 훈련하기 위해 이전 코드를 사용할 수 있습니다. 합성곱 계층으로서 Pytorch의 사전 정의된 Conv2d 클래스를 사용할 것입니다. 각 합성곱 뒤에 ReLU가 있습니다. 마지막에는 평균 풀링(average pooling)을 수행합니다. (view 는 numpy의 reshape 의 pytorch 버전입니다.) class Mnist_..

실제로 효과적인 모델을 생성하는데 필요한 기본적인 기능들을 추가해보겠습니다. 검증(validation) 추가하기 이전 포스팅에서 훈련 데이터를 사용하기 위해 합리적인 훈련 루프를 설정하려 했습니다. 과적함인지 확인하기 위해 실제로는 항상 검증 데이터 셋을 갖고 있어야 합니다. 배치와 과적합 사이에 상관관계를 방지하기 위해 훈련 데이터를 섞는 것은 중요합니다. 반면에 검증 손실은 검증 셋을 섞었는지 안섞었는지 동일합니다. 따라서 데이터를 섞는 것은 추가 시간이 필요하기 때문에, 검증 데이터를 섞을 필요는 없습니다. 훈련 셋의 배치 크기 2배로 검증 셋에 대한 배치 크기를 사용하겠습니다. 검증 셋은 역전파가 필요없기 때문에 적은 메모리를 사용합니다. (기울기를 저장할 필요가 없기 때문입니다.) 큰 배치 크기..

공부 목적으로 PyTorch 튜토리얼 홈페이지를 변역해보았습니다. What is torch.nn really? — PyTorch Tutorials 1.7.0 documentation Note Click here to download the full example code What is torch.nn really? by Jeremy Howard, fast.ai. Thanks to Rachel Thomas and Francisco Ingham. We recommend running this tutorial as a notebook, not a script. To download the notebook (.ipynb) file, clic pytorch.org 이전 포스팅에서는 pytorch.nn 모듈을 사용..

2.공부 목적으로 PyTorch 튜토리얼 홈페이지를 변역해보았습니다. What is torch.nn really? — PyTorch Tutorials 1.7.0 documentation Note Click here to download the full example code What is torch.nn really? by Jeremy Howard, fast.ai. Thanks to Rachel Thomas and Francisco Ingham. We recommend running this tutorial as a notebook, not a script. To download the notebook (.ipynb) file, clic pytorch.org 이전 포스팅에서 PyTorch module 없..

이번에 공부해볼 내용은 고유벡터와 선형변환의 관계입니다. 1. 선형 변환의 행렬 - The matrix of Linear Transformation V가 n-dimensional vector space이고 W는 m-dimensional vector space로 주어졌을 때 V와 W를 연결시켜주는 T linear transformation을 가정하겠습니다.. 그러면 B basis로 표현되는 x의 coordinate vector $[x]_B$와 C basis로 표현되는 T(x)의 coordinate vector $[T(x)]_C$를 연결시키는 행렬이 있는지에 대한 궁금증이 생깁니다. $[x]_B$와 $[T(x)]_C$ 사이의 연결은 쉽게 찾을 수 있습니다. V에 대한 basis B가 {$b_1, ... ,b..

공부 목적으로 PyTorch 튜토리얼 홈페이지를 변역해보았습니다. What is torch.nn really? — PyTorch Tutorials 1.7.0 documentation Note Click here to download the full example code What is torch.nn really? by Jeremy Howard, fast.ai. Thanks to Rachel Thomas and Francisco Ingham. We recommend running this tutorial as a notebook, not a script. To download the notebook (.ipynb) file, clic pytorch.org Torch.NN이 실제로 무엇일까? PyTorch..

공부 목적으로 PyTorch 튜토리얼 홈페이지를 변역해보았습니다. Learning PyTorch with Examples — PyTorch Tutorials 1.7.0 documentation Learning PyTorch with Examples Author: Justin Johnson This tutorial introduces the fundamental concepts of PyTorch through self-contained examples. At its core, PyTorch provides two main features: An n-dimensional Tensor, similar to numpy but can run on GP pytorch.org 예제로 배우는 파이토치 - Learni..

공부 목적으로 PyTorch 튜토리얼 홈페이지를 변역해보았습니다. Learning PyTorch with Examples — PyTorch Tutorials 1.7.0 documentation Learning PyTorch with Examples Author: Justin Johnson This tutorial introduces the fundamental concepts of PyTorch through self-contained examples. At its core, PyTorch provides two main features: An n-dimensional Tensor, similar to numpy but can run on GP pytorch.org 예제로 배우는 파이토치 - Learni..

이번 포스팅에서 공부할 내용은 대각화(Diagonalization)입니다. 1. 대각화(Diagonalization) 정사각행렬(square matrix) A가 대각 행렬(diagonal matrix)와 유사(similar)하면 A를 대각화가능(diagonalizable)하다고 합니다. 즉, A = PD$P^{-1}$ 일 때 A가 diagobalizable이라고 합니다. 예시 문제 1 diagonal matrix의 squre은 diagonal term의 squre입니다. 만약 A가 D와 similar하면 $A^k$를 쉽게 계산할 수 있습니다. 예시 문제 2 A가 diagonalizable할 때, $A^k$를 구하는 문제입니다. 2. 이론 4. 대각화 이론 - Theorem 4. The Diagonaliz..

공부 목적으로 PyTorch 튜토리얼 홈페이지를 변역해보았습니다. Learning PyTorch with Examples — PyTorch Tutorials 1.7.0 documentation Learning PyTorch with Examples Author: Justin Johnson This tutorial introduces the fundamental concepts of PyTorch through self-contained examples. At its core, PyTorch provides two main features: An n-dimensional Tensor, similar to numpy but can run on GP pytorch.org 예제로 배우는 파이토치 - Learno..