metadata

title: README
emoji: 🌖
colorFrom: green
colorTo: pink
sdk: static
pinned: false

Sakura-13B-Galgame

介绍

基于一系列开源大模型构建，在通用日文语料与轻小说/Galgame等领域的中日语料上进行继续预训练与微调，旨在提供性能接近GPT3.5且完全离线的Galgame/轻小说翻译大语言模型。
目前仍为实验版本，v0.9版本模型在文风、流畅度与准确性上均强于GPT-3.5，但词汇量略逊于GPT-3.5（主观评价）.
同时提供了运行模型的API后端，适配OpenAI API格式。
新建了TG交流群，欢迎交流讨论。

如果使用模型翻译并发布，请在最显眼的位置标注机翻！！！！！开发者对于滥用本模型造成的一切后果不负任何责任。

对于模型翻译的人称代词问题（错用，乱加，主宾混淆，男女不分等）和上下文理解问题，如果有好的想法或建议，欢迎提issue！

版本	Transformers模型	GGUF量化模型	GPTQ 8bit量化	GPTQ 4bit量化	GPTQ 3bit量化	AWQ量化
20231026-v0.8	🤗 Sakura-13B-LNovel-v0.8	🤗 Sakura-13B-LNovel-v0_8-GGUF	🤗 Sakura-13B-LNovel-v0_8-8bit	🤗 Sakura-13B-LNovel-v0_8-4bit	🤗 Sakura-13B-LNovel-v0_8-3bit	🤗 Sakura-13B-LNovel-v0_8-AWQ
20240111-v0.9	🤗 Sakura-13B-LNovel-v0.9	🤗 Sakura-13B-LNovel-v0.9-GGUF	-	-	-	-

更新了0.9的第一个正式版模型v0.9。修复若干bug，清洗并增加了预训练与微调的数据量。更推荐使用正式版模型，它会比之前的pre版本更加稳定，质量更高。
感谢Isotr0py提供运行模型的NoteBook仓库SakuraLLM-Notebooks，可在Colab(免费T4*1)与Kaggle(免费P100*1或T4*2)平台使用。已经更新Kaggle平台的使用教程，可以白嫖一定时间的T4*2。
Sakura API已经支持OpenAI格式，现在可以通过OpenAI库或者OpenAI API Reference上的请求形式与Server交互。 一个使用OpenAI库与Sakura模型交互的例子详见openai_example.py。

网站：轻小说机翻机器人已接入Sakura模型(v0.8-4bit)，站内有大量模型翻译结果可供参考。你也可以自行部署模型并使用该网站生成机翻，目前已经支持v0.8与v0.9模型，且提供了llama.cpp一键包。

轻小说机翻机器人网站是一个自动生成轻小说机翻并分享的网站。你可以浏览日文网络小说，或者上传Epub/Txt文件，并生成机翻。
LunaTranslator已经支持Sakura API，可以通过本地部署API后端，并在LunaTranslator中配置Sakura API来使用Sakura模型进行Galgame实时翻译。

LunaTranslator是一个Galgame翻译工具，支持剪贴板、OCR、HOOK，支持40余种翻译引擎。
GalTransl已经支持Sakura API，可以通过本地部署API后端，在GalTransl中配置使用Sakura模型来翻译Galgame，制作内嵌式翻译补丁。

GalTransl是一个galgame自动化翻译工具，用于制作内嵌式翻译补丁。一个使用GalTransl和Sakura模型翻译的示例

下面的表格显示了使用不同量化和不同格式的模型时显存占用的大小。如果你的显卡显存不满足上述需求，可以尝试同时使用CPU与GPU进行推理。