> Result that goes infinity 5/0.0000000 ... 001 = Inf, Related with "Exponential" log(0.000000000 ... 001) == Inf, Related with "Log" > Instability in Loss-Related Items Softmax Multiple classification problems / Cross Entropy Log-Softmax Binary Classification Problems / Binary Cross Entropy NaN (Not a Number) > logit의 개념 > Softmax만 사용할 때 (cross entropy loss는 사용하지 않음) - exponential을 수행하는 과정에서 문제..

- 스트리밍 데이터 : 실시간 데이터 >> 시계열 데이터를 포함할 수도 있고, 아닐 수도 있다. >> 단지 실시간 데이터 처리를 함으로써, 시계열 데이터에서 중요한 데이터 순서 등 시계열 데이터 정보가 온전하지 않을 수 있다. - 시계열 데이터 : 순서 데이터

Gradient Descent Variants loss.backward() 매개변수의 gradients 계산 Optimizer.step() 매개변수 갱신 step size == learning rate Gradient Descent Optimization Algorithms (BGD vs SGD) Neural network의 weight을 조절하는 방법은 보통 Gradient Descent를 사용 BGD (Batch Gradient Descent) 1 step = whole traing data(batch)에 대해 Loss 계산 너무 많은 계산량이 필요 SGD (Stochastic Gradient Descent, 또는 Naive SGD) batch가 아닌 batch의 일부(mini-batch)에 대해 L..

Motivation & Problems input을 normalize해도, Layer를 거치는 과정에서 Normalization의 효과가 사라짐 intermediate layer에서도 각 input값 (이전 layer로부터 들어오는 값들)을 normalize 하는 것이 목적 mini-batch마다 normalization을 진행 internal Covariate Shift 딥러닝 모델이 잘 작동하기 위해서는 train data distribution과 test data distribution이 거의 같아야하지만, overfitting된 모델은 서로 다른 distribution을 가짐 train data의 distribution과 test data의 distribution이 달라지는 현상(Covariate..

jboss/keycloak dockerfile : https://github.com/keycloak/keycloak-containers/tree/master checked version : keycloak 12.0.4 (21-05-06) module_name version description org.jboss.modules 1.10.2.Final Java class(module) loader org.jboss.msc 1.4.12.Final MSC : Modular Service Container , lightweight dependency injection container for Java org.jboss.threads 2.4.0.Final Java Thread pool org.jboss.as (MS..

Dialect란? 방언 SQL의 표준은 ANSI, 그러나 각 DBMS Vendor마다 추가적인 SQL이 존재 다른 DBMS Vendors을 JPA에서 사용할 때, Dialect 설정으로 간단하게 쿼리 변환이 가능 Reference tistory blog, https://dololak.tistory.com/465

공통점 메모리를 아끼기 위해 Object Caching을 조정 Eviction Cached Object를 삭제하는 방법 LRU, LIRS 등 메커니즘 Passivation Eviction의 대상 Object를 File에 우선 저장 후 삭제 이후 Object를 다시 필요로 할 때, 해당 File에서 reload Expiration 일정 시간이 지나면(Expired) Cached Object를 삭제 Reference tistory blog, https://jhouse0317.tistory.com/39

정의 한 객체의 메모리에서 표현방식을 저장 또는 전송에 적합한 다른 데이터 형식으로 변환하는 과정 - [1] 객체 통신 또는 통신 단순화를 위해 사용 - [1] 직렬화와 비슷한 개념이며, Unmarshalling도 있음 - [1] Python에서는 Serialization이랑 같은 개념으로 취급 - [1] Java에서는 Java Object를 byte stream으로 변환하는 과정 또는 XML 문서로 변환하는 과정 - [2] Serialization은 Object가 대상, Marshalling은 대상이 한정되지 않음(변환이 목표) - [3] 서로 다른 언어 간 데이터 전송은 Marshalling Reference 위키백과 "마샬링", https://ko.wikipedia.org/wiki/%EB%A7%88..