Neutralzz commited on
Commit
8d03773
1 Parent(s): 6f5f0f4

Create README.md

Browse files
Files changed (1) hide show
  1. README.md +44 -0
README.md ADDED
@@ -0,0 +1,44 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ ---
2
+ license: apache-2.0
3
+ pipeline_tag: text-generation
4
+ ---
5
+
6
+ # BiLLa: A Bilingual LLaMA with Enhanced Reasoning Ability
7
+
8
+ BiLLa是开源的推理能力增强的中英双语LLaMA模型。模型的主要特性有:
9
+ - 较大提升LLaMA的中文理解能力,并尽可能减少对原始LLaMA英文能力的损伤;
10
+ - 训练过程增加较多的任务型数据,利用ChatGPT生成解析,强化模型理解任务求解逻辑;
11
+ - 全量参数更新,追求更好的生成效果。
12
+
13
+ Github: https://github.com/Neutralzz/BiLLa
14
+
15
+ <b>注意</b>:因为LLaMA的License限制,本项目开放的模型权重并不能直接使用。开放的模型权重中`word embedding`的权重为训练后模型的权重和原始LLaMA权重的和,从而保证拥有LLaMA原始模型授权的开发者可以将本项目发布的模型转化成可以使用的格式。
16
+
17
+ 拥有LLaMA原始模型的开发者可以通过本项目Github中的脚本`embedding_convert.py`完成BiLLa模型权重的还原,以下为示例:
18
+ ```shell
19
+ python3 embedding_convert.py \
20
+ --model_dir /path_to_BiLLa/BiLLa-7B-SFT \
21
+ --meta_llama_pth_file /path_to_LLaMA/llama-7b/consolidated.00.pth
22
+ ```
23
+
24
+ 模型权重还原后,可通过以下代码调试运行:
25
+ ```python
26
+ import torch
27
+ from transformers import AutoTokenizer, AutoModelForCausalLM
28
+ model_path = "/path_to_billa"
29
+ tokenizer = AutoTokenizer.from_pretrained(model_path, use_fast=False)
30
+ model = AutoModelForCausalLM.from_pretrained(model_path, low_cpu_mem_usage=True, torch_dtype=torch.float16).cuda()
31
+
32
+ prompt = "Human: 用Python写一个冒泡排序算法\nAssistant: "
33
+ input_ids = tokenizer([prompt]).input_ids
34
+ output_ids = model.generate(
35
+ torch.as_tensor(input_ids).cuda(),
36
+ do_sample=True,
37
+ temperature=0.7,
38
+ max_new_tokens=1024
39
+ )
40
+ output_ids = output_ids[0][len(input_ids[0]):]
41
+
42
+ outputs = tokenizer.decode(output_ids, skip_special_tokens=True).strip()
43
+ print(outputs)
44
+ ```