[Error] VLLM 'use_beam_search' Error

사용한 모듈 : Langchain – vllm

사용하는 vllm 버전 : 0.6.3

발생한 에러 : Unexpected keyword argument 'use_beam_search'

---

 

조치방법

1. from langchain_community.llms.vllm import VLLM 의 VLLM을 컨트롤 + 좌클릭 해서 해당 코드로 이동 합니다.

 

2. 아래의 _generate 함수를 수정합니다.

 

(변경 전)

 

(변경 후)

 

정상적으로 use_beam_search 에러가 안뜹니다.

 

에러발생한 깃허브 링크

https://github.com/langchain-ai/langchain/pull/27367

community[patch]: Fix vLLM integration to filter SamplingParams by enesbol · Pull Request #27367 · langchain-ai/langchain