기록하는삶

1) tensor의 data type tensor에는 위와 같이 다양한 자료형이 있다.(사진은 왜 잘려있을까?) 자료형마다 필요로하는 메모리가 달라지기 때문에 최적화와 관련 있을 듯 한데, double, half, short, long 등의 이름을 기억해두어야 잘 활용할 수 있다. 2) Transformer의 decoder와 SASRec 여기서 자세히 정리하지는 않겠지만, Self-Attention mechanism은 주변 정보와의 attention을 학습하여 sequential한 예측을 하기 때문에, 예측에 관여하는 decoder의 경우 미래 정보를 사용하지 않도록 masking을 해주는 과정이 필요하다. 의미 없는 숫자 혹은 mask 토큰 등으로 미래 정보를 가려놓는다고 생각하면 된다. 여기서 정리해..

torchvision에서 제공하는 데이터셋 중 하나인 Fashion-Mnist Dataset으로 transfer-learning을 연습해본다. pre-trained 모델로는 imagenet_resnet18을 활용한다. $ pip uninstall -y -q pyarrow $ pip install -q -U ray[tune] $ pip install -q ray[debug] ray 활용을 위한 설치가 필요하다. debug 모드는 따로 없는 것 같다. import torchvision import torch import numpy as np import matplotlib.pyplot as plt %matplotlib inline from tqdm.notebook import tqdm # 데이터 로드 # r..

1) torch.save() 학습시킨 모델을 저장하고 불러오는 것은 빈번하게 사용하는 기능이다. 아래의 두 방법이 있다. ① torch.save(model.state_dict(), 경로) # 모델의 파라미터만을 저장 torch.save(model.state_dict(), os.path.join(MODEL_PATH, "model.pt")) # 같은 구조의 모델에 저장했던 파라미터 load new_model = TheModelClass() new_model.load_state_dict(torch.load(os.path.join(MODEL_PATH, "model.pt"))) 모델의 구조가 모듈 형태로 이미 존재하거나 별도로 저장해놓는 경우가 많기 때문에 보통 위 방법을 사용하게 된다. ② torch.save(..