no image
AI 답변 생성 시스템 구축: LangChain + LangGraph와 Ollama를 사용한 간단한 워크플로우
안녕하세요. 이번에는 LangChain, Ollama, LangGraph를 사용하여 간단한 AI 답변 생성 시스템을 구축하는 방법을 소개하겠습니다. 사용된 기술 및 라이브러리 LangChain: AI 모델과의 상호작용을 쉽게 구성할 수 있는 프레임워크입니다. 다양한 모델과 연결하여 일련의 작업을 처리하는 데 유용합니다.Ollama: 다양한 언어 모델을 제공하는 플랫폼으로, 여기서는 gemma2.gguf 모델(SionicAI)을 사용해 AI 응답을 생성합니다.LangGraph: 상태 기반의 워크플로우를 구성할 수 있는 툴입니다. 이를 통해 복잡한 프로세스를 손쉽게 관리할 수 있습니다. 코드 설명이제 코드를 단계별로 살펴보겠습니다. 0. 필요한 모듈 임포트from typing import TypedDictf..
2024.08.19
로컬 Ollama를 vscode에서 추론을 해보자!
안녕하세요. 이전 글에서 Ollama에 모델을 등록하는 방법을 알려드렸는데요. 이번에는 vscode를 사용해서 Ollama의 모델을 실행하는 방법을 알려드리겠습니다. 1. vscode를 엽니다. 2. 아래와 같이 코드를 작성합니다.from langchain_community.chat_models.ollama import ChatOllamallm = ChatOllama( model='gemma2',)respone = llm.invoke("너는 어떤 모델이야?")print(respone.content)# 이때 model부분은 ollama list에서 자신이 등록한 모델명을 기입하면 됩니다.3. 실행결과 자 이렇게 깔끔하고 정확하게 답변이 나오는것을 볼 수 있습니다. 다음 글은 간단하게 벡터DB 구성을 ..
2024.08.17
no image
Gemma2 GGUF를 로컬Ollama에 등록해보자!
안녕하세요. 이번에는 Gemma2 GGUF모델을 로컬Ollama 등록하는 방법을 알려드리겠습니다. 1. Ollama 다운로드 방법↓ 아래의 링크에 접속을 합니다.https://ollama.com/ OllamaGet up and running with large language models.ollama.com 1-1. 중앙에 있는 [Download↓] 클릭합니다. 1-2. 자신이 사용할 운영체제에 맞추어서 다운로드 를 하면 됩니다. 2. 모델(GGUF) 다운로드 링크 입니다.https://huggingface.co/sionic/ko-gemma-2-9b-it-Q4_0-GGUF sionic/ko-gemma-2-9b-it-Q4_0-GGUF · Hugging Facesionic/ko-gemma-2-9b-it-Q4..
2024.08.16