no image
[VectorDB] Milvus-standalone tls 및 보안적용(attu 포함)
Milvus TLS 설정 가이드: 암호화 및 인증 적용하기이 글에서는 Milvus에서 TLS(전송 계층 보안)을 활성화하여 보안을 강화하는 방법을 단계별로 설명드리겠습니다. TLS를 적용하면 전송 중인 데이터를 암호화해 네트워크 보안을 크게 개선할 수 있습니다. 이번 설정을 통해 클라이언트-서버 간 암호화 통신을 구현하고, 보안 설정을 활성화하여 비밀번호 없이 로그인하는 것을 방지하는 환경을 구축해 보겠습니다.1. 필수 파일 및 폴더 생성하기먼저, 인증서 생성을 위해 필요한 폴더와 파일을 생성하겠습니다.mkdir cert && cd certtouch openssl.cnf gen.sh 2. 각 파일 구성2.1 openssl.cnf 파일 작성openssl.cnf 파일은 Milvus 공식 TLS 설정 가이드를..
2024.10.24
no image
[VectorDB] 밀버스(milvus) DB 데이터 csv 추출 튜토리얼
안녕하세요? 오랜만에 밀버스 데이터 베이스에서 csv파일로 데이터를 추출하는 코드를 작성해보겠습니다.필요한 모듈 설치pip install pymilvus Milvus와 연결 후 데이터를 CSV로 저장하는 코드입니다. 필요한 모듈 임포트from pymilvus import ( Collection, connections )import jsonimport csv MilvusManager 선언class MilvusManager: def __init__(self): self.dbname = "default" self.connection_args = { "uri": "주소", # Milvus 서버 주소와 포트 "db_name": self.dbn..
2024.09.30
no image
[VectorDB]Milvus와 하이브리드 서치을 활용한 고급 벡터 검색 구현하기
안녕하세요, 여러분! 오늘은 Milvus 벡터 데이터베이스와 하이브리드 임베딩을 사용하여 고급 벡터 검색 시스템을 구현하는 방법에 대해 알아보겠습니다. 이 기술은 대규모 텍스트 데이터에서 효율적인 유사성 검색을 가능하게 하며, 특히 자연어 처리 및 정보 검색 분야에서 매우 유용합니다.1. 소개최근 자연어 처리 기술의 발전으로 텍스트 데이터를 벡터로 변환하는 임베딩 기술이 크게 주목받고 있습니다. 이러한 벡터 표현을 효율적으로 저장하고 검색하기 위해 벡터 데이터베이스가 필수적입니다. 오늘 살펴볼 Milvus는 대규모 벡터 데이터를 위한 오픈소스 벡터 데이터베이스 솔루션입니다. 또한, 우리는 BGE-M3(BAAI/bge-m3) 모델을 사용한 하이브리드 임베딩 접근 방식을 살펴볼 것입니다. 이 방식은 밀집(d..
2024.09.03
no image
[VectorDB] Milvus와 BGE-M3 모델로 문서 임베딩 및 AI 질의응답 구현하기
안녕하세요? 이번 글에서는 Milvus와 BGE-M3 모델을 사용하여 문서를 임베딩하고 이를 Milvus에 저장하는 방법,그리고 이 데이터를 활용해 AI 기반 질의응답 시스템을 구축하는 방법을 소개하겠습니다. Milvus는 대규모 벡터 데이터를 저장하고 검색하는 데 최적화된 고성능 벡터 데이터베이스입니다.BGE-M3 모델은 중국 베이징 AI 연구소에서 개발한 언어 모델로, 문서 임베딩 작업과 이를 활용한 AI 질의응답 시스템 구현에 매우 유용합니다. 이 글에서는 Milvus에 문서를 저장하는 방법뿐만 아니라, 저장된 데이터를 기반으로 질문에 대한 답변을 생성하는 AI 질의응답 시스템을 구현하는 과정을 단계별로 안내합니다.1. 필수 패키지 설치 먼저, 필요한 패키지를 설치해야 합니다. 아래 명령어를 사용해..
2024.09.02
no image
[VectorDB] Milvus 연결 + 컬렉션 및 스키마 생성하기
안녕하세요? 이번에는 Python으로 Milvus 연결 + 컬렉션 및 스키마 생성하는 법을 알려드리겠습니다. 1. 서버에서 Milvus를 구동합니다.저는 간단하게 블로그 작성용 + 테스트용으로 사용을 할려고 해서 docker-compose를 사용해서 진행하겠습니다.다른분들은 따라 하실때 docker-container(standalone)로 사용하셔도 무관합니다. 2. 정상적으로 구동이 되었는지 확인 3. vscode를 킵니다.필요한 모듈 설치pip install pymilvus# pymilvus 모듈을 설치합니다. 설치가 완료되면 아래와 같이 연결 테스트를 진행합니다.from pymilvus import connectionsconnection_args = { "host": "192.168.XX.XX..
2024.08.26
no image
[VectorDB] Milvus docker에 설치하기
이번에는 Milvus 데이터베이스 docker에 구축방법을 작성해보겠습니다. 순서ContainerDocker-Compose방법1. docker-standalone본문링크 : https://milvus.io/docs/install_standalone-docker.md Run Milvus in Docker | Milvus DocumentationLearn how to install Milvus standalone with Docker. | v2.4.xmilvus.io Milvus-standalone 쉘파일 다운로드 코드curl -sfL https://raw.githubusercontent.com/milvus-io/milvus/master/scripts/standalone_embed.sh -o standalo..
2024.08.22