### Training Modes with respect to dataset ### 1. batch = use a fullset of data in each iteration for training. 2. minibatch = use a subset of data in each iteration for training. 3. on-line = it is regarded as theoretical method. ### terms ### - Iteration = number of weight update, a single iteration equals to a single minibatch. - epoch = number of training a fullset of data. ### Example ### #..

* torch.Tensor (n-dimensional array) * torch.backward(gradient, retain_graph, create_graph) - 인수(기본적으로 1x1 텐서)를 루트 텐서로부터 추적가능한 모든 리프노드까지 backward graph를 통해 전달하면서, 실제로 gradient를 계산 * torch.no_grad() - test/추론할 때 유용 - autograd 작동을 비활성화함 - memory 사용량을 줄이고, 계산 속도를 빠르게 함 - backpropagation할 수 없음 (테스팅 코드에서 원하지 않는 내용을 backpropagation할 수 없음) vs model.eval() - model.eval() # model.train() : 모든 layer에 test..