Arcing에 대해 정의하고 설명하는 블로그를 왜 못 찾겠지... (쉽게 설명한 Figure같은 것도 없다.) 나중에 발표 끝나면 추가적으로 기술하리라 (아마도) Arcing (Adaptive Resampling and Combining), Breiman(1996) https://www.stat.berkeley.edu/users/breiman/arcall96.pdf https://www.stat.berkeley.edu/users/breiman/arc97.pdf 선택한 데이터를 학습에 재사용함 Adaboost와 연관 특허 내용에서 Arcing에 대한 설명을 발췌함 -> https://patents.google.com/patent/KR20090093174A/ko KR20090093174A - 지하수오염 취약..

º 랜덤한 값을 가지는 텐서 생성 1. torch.rand() : 0과 1 사이의 숫자를 균등하게 생성 2. torch.rand_like() : 사이즈를 튜플로 입력하지 않고 기존의 텐서로 정의 3. torch.randn() : 평균이 0이고 표준편차가 1인 가우시안 정규분포를 이용해 생성 4. torch.randn_like() : 사이즈를 튜플로 입력하지 않고 기존의 텐서로 정의 5. torch.randint() : 주어진 범위 내의 정수를 균등하게 생성, 자료형은 torch.float32 6. torch.randint_like() : 사이즈를 튜플로 입력하지 않고 기존의 텐서로 정의 7. torch.randperm() : 주어진 범위 내의 정수를 랜덤하게 생성 º 특정한 값을 가지는 텐서 생성 1. ..

AlexNet Max pooling, ReLU nonlinearity More data and bigger model (7 hidden layers, 650k units, 60M params) GPU implementation (50x speedup over CPU) Trained on two GPUs for a week Dropout regularization 61M parameters VGG Net Small filters, Deeper networks AlexNet(8 layer) VS VGG16(16~19 layers) Only 3x3 convolution stride 1, pad 1 and 2x2 maxpool stride 2 Why 3x3 stacks? Stacked convolution la..

Feature concatenation Channel-dimension concatenation Spatial dimension concatenation Size increased Example GoogleNet (128 + 192 + 96 + 256 => Filter Concatenation => 672 Spatial Pyramid P Net (16 + 4 + 1) U-Net merging (elementwise) Size remains same Example Feature Pyramid Network Merged with the corresponding bottom-up map (which undergoes a 1x1 convolutional layer to reduce channel dimensio..

Up-sampling (For making the input or feature map larger) Why we need? Upsampling features RGB Image inputs to Segmentation Output (e.g. Segnet Architecture) How? By resize Nearest Neighbor Interpolation Bilinear Interpolation By transposed convolution Let the neural networks learns how to upscaling features. Upsampling through Resize (Interpolation) 1D 1D Nearest-Neighbor Linear f(1), f(2) 가 주어질..

* Pooling - feature map의 dimension을 줄이는 방법 - 계산량을 조절하기 위해 - classification을 위한 Fully connected Layer와 연결하기 쉽게 하도록 - 특정 위치의 신경망 출력을 근처 출력들의 summary statistics로 대체 - 특징의 구체적인 위치가 아닌, 특징의 존재 여부 자체가 중요할 때 - 입력이 국소적으로 이동하더라도 근사적으로 불변성을 가지게 함 * max pooling - the biggest value - reducing spartial dimension - emphasizes feature * average pooling - bluhing feature * Adaptive pooling - variant input size에..

- CNN : Convolutional Neural Network - Typical CNN architectures - Key Operations in CNN - Fully connected layer - input image (32, 32, 3) --> (3072, 1) // stretch, 32*32*3 = 3072 - weight (10, 3072) - activation (1, 10) - Fully connected layer는 서로 다른 weight으로 전체 레이어에 대해 계산하지만, Convolutional layer는 localized area만 보고, weight가 공유된다. - Convolutional layer - input image (32, 32, 3) - filter (5, 5, ..

> Result that goes infinity 5/0.0000000 ... 001 = Inf, Related with "Exponential" log(0.000000000 ... 001) == Inf, Related with "Log" > Instability in Loss-Related Items Softmax Multiple classification problems / Cross Entropy Log-Softmax Binary Classification Problems / Binary Cross Entropy NaN (Not a Number) > logit의 개념 > Softmax만 사용할 때 (cross entropy loss는 사용하지 않음) - exponential을 수행하는 과정에서 문제..