사용한 모듈 : Langchain – vllm
사용하는 vllm 버전 : 0.6.3
발생한 에러 : Unexpected keyword argument 'use_beam_search'
조치방법
1. from langchain_community.llms.vllm import VLLM 의 VLLM을 컨트롤 + 좌클릭 해서 해당 코드로 이동 합니다.
2. 아래의 _generate 함수를 수정합니다.
(변경 전)
(변경 후)
정상적으로 use_beam_search 에러가 안뜹니다.
에러발생한 깃허브 링크
https://github.com/langchain-ai/langchain/pull/27367
community[patch]: Fix vLLM integration to filter SamplingParams by enesbol · Pull Request #27367 · langchain-ai/langchain
Description: This pull request addresses a bug in Langchain's VLLM integration, where the use_beam_search parameter was erroneously passed to SamplingParams. The SamplingParams class in vLLM ...
github.com
'Error조치' 카테고리의 다른 글
| [Error]Milvus as_retriever시 NotImplementedError 에러 조치방법 (1) | 2024.08.28 |
|---|---|
| [Error] OSError: [WinError 126] 지정된 모듈을 찾을 수 없습니다. fbgemm.dll or one of its dependencies. (0) | 2024.08.19 |