sakuraumi commited on
Commit
2ac37af
1 Parent(s): dd1a2a4

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +17 -9
README.md CHANGED
@@ -21,30 +21,38 @@ pinned: false
21
 
22
  # 介绍
23
 
24
- 基于LLaMA2-13B,OpenBuddy(v0.1-v0.4)Baichuan2-13B(v0.5+)构建,在Galgame中日文本数据上进行微调,旨在提供性能接近GPT3.5且完全离线的Galgame/轻小说翻译大语言模型. 新建了[TG交流群](https://t.me/+QMDKZyO9GV1kNDA1),欢迎交流讨论。
25
 
26
- 模型下载:
 
 
 
 
27
  | 版本 | 全量模型 | 8-bit量化 | 4-bit量化 | 3-bit量化 |
28
  |:-------:|:-------:|:-------:|:-------:|:-------:|
29
  | 20230827-v0.1 | 🤗 [Sakura-13B-Galgame-v0.1](https://huggingface.co/sakuraumi/Sakura-13B-Galgame/tree/main/sakura_13b_model_v0.1) | - | - | - |
30
  | 20230908-v0.4 | 🤗 [Sakura-13B-Galgame-v0.4](https://huggingface.co/sakuraumi/Sakura-13B-Galgame/tree/main/sakura_13b_model_v0.4) | - | - | - |
31
- | 20230917-v0.5 | 🤗 [Sakura-13B-Galgame-v0.5](https://huggingface.co/sakuraumi/Sakura-13B-Galgame) | 🤗 [Sakura-13B-Galgame-v0.5-8bits](https://huggingface.co/sakuraumi/Sakura-13B-Galgame/tree/main/sakura_13b_model_v0.5_8bits) | [Sakura-13B-Galgame-v0.5-4bits](https://huggingface.co/sakuraumi/Sakura-13B-Galgame/tree/main/sakura_13b_model_v0.5_4bits_autogptq_40k) | - |
32
  | 20231011-v0.7 | 🤗 [Kisara-14B-LNovel](https://huggingface.co/sakuraumi/Sakura-14B-LNovel) | - | - | - |
33
  | 20231026-v0.8 | 🤗 [Sakura-13B-LNovel-v0.8](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.8) | 🤗 [Sakura-13B-LNovel-v0.8-8bit](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.8-8bit) | 🤗 [Sakura-13B-LNovel-v0.8-4bit](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.8-4bit) | 🤗 [Sakura-13B-LNovel-v0.8-3bit](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.8-3bit) |
34
 
35
  目前仍为实验版本,翻译质量较差.
36
 
37
- ~~lsp们最关注的翻译R18轻小说的效果:使用[这本r18小说](https://novel18.syosetu.com/n2975ig)的部分文本,比较各版本输出文本(其中GPT网页端和API均无法翻译),结果已上传至[链接](https://huggingface.co/sakuraumi/Sakura-13B-Galgame-Archived/blob/main/r18_test.txt)~~
38
-
39
- # 显存需求(尚未完成)
40
 
41
  使用v0.8版本进行测试,模型生成参数与仓库中`generation_config.json`一致,显存占用数据取自`nvidia-smi`
42
 
43
  | 模型量化类型 | 载入显存 | 推理显存(ctx约600) | 推理显存(ctx约1800) |
44
  |:-------:|:-------:|:-------:|:-------:|
45
  | 全量 | 超出游戏显卡显存范围 | - | - |
46
- | 8bit | - | - | - |
47
- | 4bit | - | 14.9G | 17.4G |
48
- | 3bit | - | - | - |
 
 
 
 
 
 
49
 
50
  详情请查看[此页面](https://huggingface.co/sakuraumi/Sakura-13B-Galgame)
 
21
 
22
  # 介绍
23
 
24
+ 基于LLaMA2-13B,OpenBuddy(v0.1-v0.4)Baichuan2-13B(v0.5,v0.8)和Qwen-14B(v0.7)构建,在Galgame中日文本数据上进行微调,旨在提供性能接近GPT3.5且完全离线的Galgame/轻小说翻译大语言模型. 新建了[TG交流群](https://t.me/+QMDKZyO9GV1kNDA1),欢迎交流讨论。
25
 
26
+ ### 网站:[轻小说机翻机器人](https://books.fishhawk.top/)已接入Sakura模型(v0.8-4bit),站内有大量模型翻译结果可供参考。
27
+
28
+ 轻小说机翻机器人网站是一个自动生成轻小说机翻并分享的网站。你可以浏览日文网络小说,或者上传Epub/Txt文件,并生成机翻。
29
+
30
+ ### 模型下载:
31
  | 版本 | 全量模型 | 8-bit量化 | 4-bit量化 | 3-bit量化 |
32
  |:-------:|:-------:|:-------:|:-------:|:-------:|
33
  | 20230827-v0.1 | 🤗 [Sakura-13B-Galgame-v0.1](https://huggingface.co/sakuraumi/Sakura-13B-Galgame/tree/main/sakura_13b_model_v0.1) | - | - | - |
34
  | 20230908-v0.4 | 🤗 [Sakura-13B-Galgame-v0.4](https://huggingface.co/sakuraumi/Sakura-13B-Galgame/tree/main/sakura_13b_model_v0.4) | - | - | - |
35
+ | 20230917-v0.5 | 🤗 [Sakura-13B-Galgame-v0.5](https://huggingface.co/sakuraumi/Sakura-13B-Galgame) | 🤗 [Sakura-13B-Galgame-v0.5-8bits](https://huggingface.co/sakuraumi/Sakura-13B-Galgame/tree/main/sakura_13b_model_v0.5_8bits) | 🤗 [Sakura-13B-Galgame-v0.5-4bits](https://huggingface.co/sakuraumi/Sakura-13B-Galgame/tree/main/sakura_13b_model_v0.5_4bits_autogptq_40k) | - |
36
  | 20231011-v0.7 | 🤗 [Kisara-14B-LNovel](https://huggingface.co/sakuraumi/Sakura-14B-LNovel) | - | - | - |
37
  | 20231026-v0.8 | 🤗 [Sakura-13B-LNovel-v0.8](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.8) | 🤗 [Sakura-13B-LNovel-v0.8-8bit](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.8-8bit) | 🤗 [Sakura-13B-LNovel-v0.8-4bit](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.8-4bit) | 🤗 [Sakura-13B-LNovel-v0.8-3bit](https://huggingface.co/SakuraLLM/Sakura-13B-LNovel-v0.8-3bit) |
38
 
39
  目前仍为实验版本,翻译质量较差.
40
 
41
+ # 显存需求
 
 
42
 
43
  使用v0.8版本进行测试,模型生成参数与仓库中`generation_config.json`一致,显存占用数据取自`nvidia-smi`
44
 
45
  | 模型量化类型 | 载入显存 | 推理显存(ctx约600) | 推理显存(ctx约1800) |
46
  |:-------:|:-------:|:-------:|:-------:|
47
  | 全量 | 超出游戏显卡显存范围 | - | - |
48
+ | 8bit | 17G | 21.1G | 23.4G |
49
+ | 4bit | 11.3G | 14.9G | 17.4G |
50
+ | 3bit | 9.7G | 13.7G | 15.5G |
51
+
52
+ # 快速开始
53
+
54
+ 详见[SakuraLLM/TranslationScript](https://huggingface.co/SakuraLLM/TranslationScript)
55
+
56
+ # 更多信息
57
 
58
  详情请查看[此页面](https://huggingface.co/sakuraumi/Sakura-13B-Galgame)