colab A100에서 안돌아가는데 제가 놓친게 있을까요?

#16

by claraWorld - opened 7 days ago

7 days ago

RAG를 돌리는데 vllm을 사용해서 모델을 로드했더니 임베딩할때 cuda out of memory 뜹니다.
vllm을 안써도 그러네요. 혹시 왜그러는 걸까요? 서버사양이 어느정도 되어야하는걸까요?

Upload images, audio, and videos by dragging in the text input, pasting, or clicking here.

Tap or paste here to upload images

· Sign up or log in to comment