File size: 2,556 Bytes
fa7405d 6efb9bb 189e2ef e2bbebd 189e2ef e2bbebd dabf1d4 60e4a33 dabf1d4 2511426 5e02dcd 2511426 6dfcfb7 2511426 a5d4d9e 2511426 189e2ef |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 |
---
license: apache-2.0
language:
- en
- zh
datasets:
- m-a-p/COIG-CQIA
- teknium/OpenHermes-2.5
- glaiveai/glaive-function-calling
- Mutonix/RefGPT-Fact-v2
- c-s-ale/alpaca-gpt4-data-zh
pipeline_tag: text-generation
tags:
- llama
- latest
library_name: transformers
---
Gigi 是使用最先进的 Llama-3-8B-Instruct 在超过130万条经过筛选的高质量中英双语语料上进行精调，它能更好地处理各种下游任务，并为您提供高质量的中英双语结果。我们在训练中加入了包含Hermes、glaive-function-calling等高质量的指令精调数据，以及大量使用GPT3.5翻译的GPT4数据，Gigi能很好的在中英双语上满足您的需求。
# Gigi-Llama-3-8B-zh
Gigi-Llama-3-8B-zh 是 Gigi 系列的第一个模型，在Hermes、glaive-function-calling、refgpt_fact_v2数据集以及一部分使用GPT3.5翻译成的中文数据上训练，同时改进了模型在中英文上的行为，还加入了COIG-CQIA、alpaca-gpt4-data-zh等中文数据集进一步增强中文能力。
# How to use
Gigi-Llama-3-8B-zh 遵循 Llama-3-8B-Instruct 的对话模板，pad token 使用 `<|end_of_text|>`。
```
<|begin_of_text|><|start_header_id|>system<|end_header_id|>
{{ system_prompt }}<|eot_id|><|start_header_id|>user<|end_header_id|>
{{ user_msg_1 }}<|eot_id|><|start_header_id|>assistant<|end_header_id|>
{{ model_answer_1 }}<|eot_id|>
```
您可以使用下面代码加载模型推理，对于更高效的推理建议使用vLLM，我们随后会介绍模型的具体性能，并很快更新更大参数和性能更好的精调版本。
```python
import transformers
import torch
model_id = "yaojialzc/Gigi-Llama-3-zh"
pipeline = transformers.pipeline(
"text-generation",
model=model_id,
model_kwargs={"torch_dtype": torch.bfloat16},
device="cuda",
)
messages = [
{"role": "system", "content": "You are a pirate chatbot who always responds in pirate speak!"},
{"role": "user", "content": "你是谁？"},
]
prompt = pipeline.tokenizer.apply_chat_template(
messages,
tokenize=False,
add_generation_prompt=True
)
terminators = [
pipeline.tokenizer.eos_token_id,
pipeline.tokenizer.convert_tokens_to_ids("<|eot_id|>")
]
outputs = pipeline(
prompt,
max_new_tokens=256,
eos_token_id=terminators,
do_sample=True,
temperature=0.6,
top_p=0.9,
)
print(outputs[0]["generated_text"][len(prompt):])
``` |