---
license: apache-2.0
language:
- zh
- ja
pipeline_tag: text-generation
---

# Sakura-13B-Galgame

# 介绍

基于LLaMA2-13B和OpenBuddy构建，在Galgame中日文本数据上进行微调，旨在提供离线的Galgame文本翻译大模型.

目前仍为实验版本，翻译质量较差.

# 日志

`20230908`：上传第二版模型`sakura-13b-1epoch-2.6M-0903-v0.4.bin`，使用Galgame和轻小说数据集进行微调，语法能力有所提高。轻小说数据集感谢[CjangCjengh](https://github.com/CjangCjengh)大佬提供。

`20230827`：上传第一版模型`sakura-13b-2epoch-260k-0826-v0.1.bin`

# 模型详情

## 描述

- Finetuned by [SakuraUmi](https://github.com/pipixia244)
- Finetuned on [openbuddy-llama2-13b](https://huggingface.co/OpenBuddy/openbuddy-llama2-13b-v8.1-fp16)
- Base model: [Llama2-13B](https://huggingface.co/meta-llama/Llama-2-13b-chat-hf)
- Languages: Chinese/Japanese

## 版本

### v0.4

数据集：约260k Galgame中日文本 + 约2.3M 轻小说中日文本

微调方式：全参数

微调epoch数：1

参数量：13B

### v0.1

数据集：约260k Galgame中日文本

微调方式：全参数

微调epoch数：2

参数量：13B

## 效果

|  原文   |  Ours(v0.4)  |  Ours(v0.1)  | ChatGPT(GPT-3.5) |
|  ----  | ---- | ---- | ---- |
| 「女の子の一人暮らしって、やっぱ一階は防范的に危ないのかな～？ お父さんには、一階はやめとけ～って言われててね？」  | 「女孩子一个人住，果然还是不太安全吧～？爸爸说过，不要住一楼～」 |  「一个女孩子住在一楼，还是有点不太安全吧？爸爸说让我不要住在一楼」 | "一个女孩子独自一人住，大概一楼会不安全吧～？爸爸对我说过，一楼最好不要住～" |
| 「助けて、誰か助けてって思いながら、ただただ泣いてたんです……」 | 「我一边想着有没有人能救救我，一边哭哭啼啼……」 | 「我一边祈祷着，祈祷着有人能来救救我们，一边不停地哭泣……」| 「帮帮我，我一边想着有人帮助我，一边只是哭泣着……」 |
| 「そうだよ。これが太一の普通の顔だって。でも、ちょっと不気味だから、わたしみたいにニッコリ笑ってみて？」 | 「对啊，这就是太一的普通表情。不过，感觉有点诡异，你像我一样笑咪咪地试试看？」 |「是啊。这就是太一的普通表情。但是，因为有点吓人，所以你也试着像我一样微笑一下吧？」 | “是的呢，这就是太一的平常表情哦。不过，有点怪异，所以像我这样放个甜甜的笑容试试看？” |
| 「そういうヒトの感情は、発情期を迎えてもいないネコには難しい」 | 「这种人类的感情，对还没进入发情期的猫来说太难懂了。」 |「这种人类的感情，对还没有迎来发情期的猫来说太难懂了」 | 这种人类的情感对于尚未进入发情期的猫来说是复杂的。 |
| 「朝になって、病院に行くまで。ずっと、ずーっとそばに居てくれて……」 | 「一直陪伴着我，直到早上去医院为止……」 |「一直陪我到早上去医院。一直，一直陪在我身边……」 | "直到早晨去医院为止。一直，一直都在我身旁……" |
| 「それ以外は、自由に過ごしているため、各自が好きにできる、とても平和な部活だった……。」 | 「除此之外，我们都可以自由活动，每个人都能随心所欲，是个非常和平的社团……」 | 「除此之外，社团活动都是自由参加的，每个人都可以按自己的意愿去做自己想做的事情，所以社团活动也是非常和平的……」 | 「除此以外，因为大家都自由自在地度过时间，是个每个人都能按自己喜好随意参与的非常和平的社团活动......。」|
| 「そーだそーだ。せっかくお店休みにして遊びに来たのに」 | 「没错没错，难得店里放假，我们才来玩的。」 |「是啊是啊，难得休息一天，我还想出来玩一下呢」| "是啊是啊。本来店铺难得休息，特地过来玩的呢。" |
| 伝えなければ、伝わらない。きっと、大事なことであるほど。 | 不说出来就不会知道。越是重要的事情，就越是不能不说。 | 待补充 | 待补充 |
| が、ハチロクを手伝うことでそれが果たせるというのなら、仕事がどれほど増えようと、決して苦とは感じない。 | 不过，如果帮助八六就能实现这个愿望，不管工作多么繁重，我都不会觉得辛苦。 | 待补充 | 待补充 |
# 推理

- Galgame翻译的prompt构建：

  - v0.1

    ```python
    input_text = "" # 用户输入
    query = "将下面的日文文本翻译成中文：" + input_text
    prompt = "Human: \n" + query + "\n\nAssistant: \n"
    ```
    
  - v0.4

    ```python
    input_text = "" # 用户输入
    query = "将下面的日文文本翻译成中文：" + input_text
    prompt = "User: " + query + "\nAssistant: "
    ```

- 推理参数：

| 参数 | 值 |
| ---- | ---- |
| beams number | 2 |
| repetition penalty | 1 |
| max new token | 512 |
| min new token | 1 |

- 量化：

在`model.generate()`中添加参数`load_in_8bit=True`或`load_in_4bit=True`

其余推理流程与LLaMA2一致

# 微调

流程与LLaMA2一致，prompt构造参考推理部分

# 后续工作

1. 优化数据集，主要优化数据集质量
2. 支持上下文理解
3. 支持指定专有名词

# 致谢

- [CjangCjengh](https://github.com/CjangCjengh)提供的2.3M轻小说数据集

- [minaduki-sora](https://github.com/minaduki-sora)，[Kimagure7](https://github.com/Kimagure7)和[YYF233333](https://github.com/YYF233333)帮忙收集处理Galgame文本数据

# Copyright Notice

This model is built upon Meta's LLaMA series of models and is subject to Meta's licensing agreement.

This model is intended for use only by individuals who have obtained approval from Meta and are eligible to download LLaMA.

If you have not obtained approval from Meta, you must visit the https://ai.meta.com/llama/ page, read and agree to the model's licensing agreement, submit an application, and wait for approval from Meta before downloading the model from this page.