|
--- |
|
language: |
|
- en |
|
- zh |
|
license: other |
|
tasks: |
|
- text-generation |
|
--- |
|
|
|
# 智海-录问 |
|
|
|
## 项目背景 |
|
智海-录问(wisdomInterrogatory)是由浙江大学、阿里巴巴达摩院以及华院计算三家单位共同设计研发的法律大模型。核心思想：以“普法共享和司法效能提升”为目标，从推动法律智能化体系入司法实践、数字化案例建设、虚拟法律咨询服务赋能等方面提供支持，形成数字化和智能化的司法基座能力。 |
|
|
|
## 模型训练 |
|
|
|
我们的模型基座是[Baichuan-7B](https://github.com/baichuan-inc/baichuan-7B)，在此基础上，进行了二次预训练以及指令微调训练。 |
|
|
|
### 二次预训练 |
|
|
|
二次预训练的目的是给通用的大模型注入法律领域的知识。预训练的数据包括法律文书、司法案例以及法律问答数据，共40G。 |
|
|
|
### 指令微调训练 |
|
|
|
经过了二次预训练之后，在指令微调阶段，我们使用了100k的指微调训练，其目的是让大模型具备问答的能力，能够直接与用户进行交流。 |
|
|
|
|
|
|
|
## 推理代码 |
|
|
|
#### 推理环境安装 |
|
```shell |
|
transformers>=4.27.1 |
|
accelerate>=0.20.1 |
|
torch>=2.0.1 |
|
modelscope>=1.8.3 |
|
sentencepiece==0.1.99 |
|
``` |
|
|
|
#### 推理代码调用 |
|
```python |
|
import os |
|
os.environ["CUDA_VISIBLE_DEVICES"] = "0" |
|
from modelscope import AutoModelForCausalLM, AutoTokenizer, snapshot_download |
|
import torch |
|
|
|
|
|
model_id = "wisdomOcean/wisdomInterrogatory" |
|
revision = 'v1.0.0' |
|
model_dir = snapshot_download(model_id, revision) |
|
|
|
def generate_response(prompt: str) -> str: |
|
inputs = tokenizer(f'</s>Human:{prompt} </s>Assistant: ', return_tensors='pt') |
|
inputs = inputs.to('cuda') |
|
pred = model.generate(**inputs, max_new_tokens=800, |
|
repetition_penalty=1.2) |
|
response = tokenizer.decode(pred.cpu()[0], skip_special_tokens=True) |
|
return response.split("Assistant: ")[1] |
|
|
|
tokenizer = AutoTokenizer.from_pretrained(model_dir, trust_remote_code=True) |
|
model = AutoModelForCausalLM.from_pretrained(model_dir, device_map="auto", |
|
torch_dtype=torch.float16, |
|
trust_remote_code=True) |
|
prompt = "如果喝了两斤白酒后开车，会有什么后果？" |
|
resp = generate_response(prompt) |
|
print(resp) |
|
``` |
|
|
|
## 免责声明 |
|
|
|
本模型仅供学术研究之目的而提供，不保证结果的准确性、完整性或适用性。在使用模型生成的内容时，您应自行判断其适用性，并自担风险。 |
