README.md

---
library_name: transformers
tags:
- llama-cpp
---

# Llama-3-ELYZA-JP-8B-GGUF

## Use with llama.cpp
Install llama.cpp through brew (works on Mac and Linux)

```bash
brew install llama.cpp
```
Invoke the llama.cpp server or the CLI.

### CLI:
```bash
llama --hf-repo elyza/Llama-3-ELYZA-JP-8B-GGUF --hf-file Llama-3-ELYZA-JP-8B-q4_k_m.gguf -p "古代ギリシャを学ぶ上で知っておくべきポイントは？"
```

### Server:
```bash
llama-server --hf-repo elyza/Llama-3-ELYZA-JP-8B-GGUF --hf-file Llama-3-ELYZA-JP-8B-q4_k_m.gguf -c 2048
```