metadata
library_name: transformers
tags:
- llama-cpp
Llama-3-ELYZA-JP-8B-GGUF
Use with llama.cpp
Install llama.cpp through brew (works on Mac and Linux)
brew install llama.cpp
Invoke the llama.cpp server or the CLI.
CLI:
llama --hf-repo elyza/Llama-3-ELYZA-JP-8B-GGUF --hf-file Llama-3-ELYZA-JP-8B-q4_k_m.gguf -p "古代ギリシャを学ぶ上で知っておくべきポイントは？"
Server:
llama-server --hf-repo elyza/Llama-3-ELYZA-JP-8B-GGUF --hf-file Llama-3-ELYZA-JP-8B-q4_k_m.gguf -c 2048