로컬 Ollama를 vscode에서 추론을 해보자!

안녕하세요. 이전 글에서 Ollama에 모델을 등록하는 방법을 알려드렸는데요.

 

이번에는 vscode를 사용해서 Ollama의 모델을 실행하는 방법을 알려드리겠습니다.

 

1. vscode를 엽니다.

 

2. 아래와 같이 코드를 작성합니다.

from langchain_community.chat_models.ollama import ChatOllama

llm = ChatOllama(
    model='gemma2',
)

respone = llm.invoke("너는 어떤 모델이야?")
print(respone.content)

＃ 이때 model부분은 ollama list에서 자신이 등록한 모델명을 기입하면 됩니다.

ollama list한 결과

3. 실행결과

invoke한 결과

 

자 이렇게 깔끔하고 정확하게 답변이 나오는것을 볼 수 있습니다.

 

다음 글은 간단하게 벡터DB 구성을 하면서 RAG를 하는 방법을 작성해보겠습니다.