metadata
license: cc-by-nc-sa-4.0
language:
- ja
- zh
GalTransl-7B模型是SakuraLLM社区的新成员，由sakuraumi和xd2333共同构建，为视觉小说翻译任务专项优化。模型参数量7B，支持日译简中(jp2zh-cn)。
GalTransl-7B模型继承sakura模型cc-by-nc-sa 4.0协议，禁止用于商用行为，例如提供付费翻译接口、制作需要以任何方式付费才能获取的补丁、商用翻译等。
特性：
- 为视觉小说翻译任务专项优化。对视觉小说脚本中的行内换行、控制符、ruby注音等符号具有较好的保留能力。
- 尝试在硬件需求、翻译质量与稳定性间取得平衡。模型可以运行在(显存≥6g)的主流游戏显卡上，并获得在整体上优于claude3-haiku、GPT-3.5等大模型的翻译质量和稳定性（机翻竞技场在线体验模型）。
- 专为GalTransl视觉小说翻译工具适配并调优，支持GPT字典（字典写法见此）。
更新日志：
24.08.08 v2.0：继续迭代以改善质量
24.06.30 v1.5：优化了整体的文风
24.05.30 v1.0：初版
已知问题：
- GPT字典不支持英文注释，且不支持一词多译写法（"a/b"），将在以后的版本尝试改善。
- 需要对原文省略语素进行推理时可能出现事实错误/幻觉。
- 推荐每次翻译7-10句
量化等级区别：
| 量化等级 | 说明 |
|---|---|
| IQ4_XS | 小的质量损失，占用更小，但速度比Q4_K慢（6G显存推荐） |
| Q4_K | 小的质量损失（6G显存推荐） |
| Q5_K | 很小的质量损失（6G/8G显存推荐，6G显存可能需要减小窗口大小'-c'） |
| Q6_k | 细小的质量损失（8G及以上显存推荐） |
本地部署参考：
https://books.fishhawk.top/forum/656d60530286f15e3384fcf8
Kaggle部署参考（每周30h免费gpu）：
https://books.fishhawk.top/forum/6630f091c92d3f7ad7f50f23
修改REPO="SakuraLLM/GalTransl-7B-v2"
修改MODEL="GalTransl-7B-v2-Q6_K.gguf"
请求方式
v2模型兼容sakura 0.9/0.10的prompt，推荐温度0.3；Top P 0.8；重复惩罚+0.1