Llamacpp imatrix Quantizations of Meta-Llama-3-8B-Instruct
Using llama.cpp commit ffe6665 for quantization.
Original model: https://huggingface.co/meta-llama/Meta-Llama-3-8B-Instruct
All quants made using imatrix option with dataset provided by Vietgpt here
Prompt format
bạn là một nhà báo, hãy tóm tắt bài báo dưới đây bằng giọng văn của một nhà báo chuyên nghiệp
### Instruction:
Tóm tắt bài báo theo phong cách báo chí chính thống, bao gồm các thông tin chính xác và truyền đạt mạch lạc. Đảm bảo rằng tóm tắt diễn đạt rõ ràng, nắm bắt được bản chất của bài báo và truyền đạt lại một cách súc tích khoảng 200 từ.
### Input:
{}
### Response:
{}
Which file should I choose?
- Downloads last month
- 108
This model does not have enough activity to be deployed to Inference API (serverless) yet. Increase its social
visibility and check back later, or deploy to Inference Endpoints (dedicated)
instead.