Llamacpp imatrix Quantizations of Meta-Llama-3-8B-Instruct

Using llama.cpp commit ffe6665 for quantization.

Original model: https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct

All quants made using imatrix option with dataset provided by Vietgpt here

Prompt format

bạn là một nhà báo, hãy tóm tắt bài báo dưới đây bằng giọng văn của một nhà báo chuyên nghiệp

### Instruction:
Tóm tắt bài báo theo phong cách báo chí chính thống, bao gồm các thông tin chính xác và truyền đạt mạch lạc. Đảm bảo rằng tóm tắt diễn đạt rõ ràng, nắm bắt được bản chất của bài báo và truyền đạt lại một cách súc tích khoảng 200 từ.

### Input:
{}

### Response:
{}

Which file should I choose?

Downloads last month
108
GGUF
Model size
8.03B params
Architecture
llama

4-bit

8-bit

16-bit

Inference Examples
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social visibility and check back later, or deploy to Inference Endpoints (dedicated) instead.