# 직선의 방정식
# y = ax + b -> y = Wx + b
model = nn.Linear(1, 1)
# 앞 1은 입력값, 뒤 1은 출력값을 지정함.
# 만약(1, 1, bias=False)으로 설정하면 b는 사용하지 않는다고 선언.
print(model)
# 결과값 => Linear(in_features=1, out_features=1, bias=True)
y_pred = model(x_train)
print(y_pred)
# 이렇게 이상한 값이 나오는 이유 : 학습을 안해서 값이 들쑥 날쑥 한값이 랜덤으로 나온다.
# tensor([[0.7260],
# [0.7894],
# [0.8528]], grad_fn=<AddmmBackward0>)
# MSE
((y_pred - y_train) ** 2).mean()
# 결과값 => tensor(12.8082, grad_fn=<MeanBackward0>)
# -------------------------------------
loss = nn.MSELoss()(y_pred, y_train)
loss
# 결과값 => tensor(12.8082, grad_fn=<MseLossBackward0>)
# -------------------------------------
# 데이터 : 1, 2, 3
# W : 0.0634, b : 0.6625
# y = Wx + b
print(0.0634 * 1 + 0.6625)
print(0.0634 * 2 + 0.6625)
print(0.0634 * 3 + 0.6625)
# 결과값 =>
# 0.7259
# 0.7893
# 0.8527
2. 경사 하강법(Gradient Descent)
비용함수의 값을 최소로 하는 W와 b를 찾는 알고리즘 옵티마이저(최적화) 알고리즘이라고 함
옵티마이저 알고리즘 중 가장 기본적인 기술이 경사하강법임
옵티마이저 알고리즘을 통해 W와 b를 찾아내는 과정, "학습"이라고 부름.
# SGD : (Stochastic Gradient Desdoent)
# 랜덤하게 데이터를 하나씩 뽑아서 loss으로 만듦(랜덤이라 stachastic
# 데이터를 뽑고 다시 데이터를 넣고, 반복
# 빠르게 방향을 결정
# 학습률(Learning rate)
# 한번 움직이는 거리(increment step)
optimizer = optim.SGD(model.parameters(), lr=0.01)
loss = nn.MSELoss()(y_pred, y_train)
# gradient를 초기화
# 오차값이 최하가 되는 기울기를 찾을때 값이 누적이 되는것을 방지하기 위해 초기화를 하는 코드를 작성함.
optimizer.zero_grad()
# loss.backward = 역전파 : 비용 함수를 미분하여 gradient(기울기) 계산.
loss.backward()
# W와 b를 업데이트
optimizer.step()
# 기존 => W : 0.0634, b : 0.6625
print(list(model.parameters())) # W: 0.2177, b : 0.7267
# 결과값 =>
# [Parameter containing:
# tensor([[0.2177]], requires_grad=True), Parameter containing:
# tensor([0.7267], requires_grad=True)]
