Update README.md
Browse files
README.md
CHANGED
@@ -1,53 +1,328 @@
|
|
1 |
-
---
|
2 |
-
base_model: []
|
3 |
-
library_name: transformers
|
4 |
-
tags:
|
5 |
-
- mergekit
|
6 |
-
- merge
|
7 |
-
|
8 |
-
|
9 |
-
|
10 |
-
|
11 |
-
|
12 |
-
|
13 |
-
|
14 |
-
|
15 |
-
|
16 |
-
|
17 |
-
|
18 |
-
|
19 |
-
|
20 |
-
|
21 |
-
|
22 |
-
|
23 |
-
|
24 |
-
|
25 |
-
|
26 |
-
|
27 |
-
|
28 |
-
|
29 |
-
|
30 |
-
|
31 |
-
|
32 |
-
|
33 |
-
|
34 |
-
|
35 |
-
|
36 |
-
|
37 |
-
|
38 |
-
|
39 |
-
|
40 |
-
|
41 |
-
|
42 |
-
|
43 |
-
|
44 |
-
|
45 |
-
|
46 |
-
|
47 |
-
|
48 |
-
|
49 |
-
|
50 |
-
|
51 |
-
|
52 |
-
|
53 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
---
|
2 |
+
base_model: []
|
3 |
+
library_name: transformers
|
4 |
+
tags:
|
5 |
+
- mergekit
|
6 |
+
- merge
|
7 |
+
license: cc-by-nc-4.0
|
8 |
+
datasets:
|
9 |
+
- Aratako/Rosebleu-1on1-Dialogues
|
10 |
+
- Aratako/LimaRP-augmented-ja-karakuri
|
11 |
+
- Aratako/Bluemoon_Top50MB_Sorted_Fixed_ja
|
12 |
+
- grimulkan/LimaRP-augmented
|
13 |
+
- SicariusSicariiStuff/Bluemoon_Top50MB_Sorted_Fixed
|
14 |
+
- OmniAICreator/Japanese-Roleplay
|
15 |
+
- OmniAICreator/Japanese-Roleplay-Dialogues
|
16 |
+
language:
|
17 |
+
- ja
|
18 |
+
---
|
19 |
+
# Oumuamua-7b-RP
|
20 |
+
|
21 |
+
This is a merge of pre-trained language models created using [mergekit](https://github.com/cg123/mergekit).
|
22 |
+
|
23 |
+
ロールプレイ用にファインチューニングしたモデルである[Aratako/Oumuamua-7b-instruct-v2-RP](https://huggingface.co/Aratako/Oumuamua-7b-instruct-v2-RP)をベースに、様々なモデルとのマージを行い指示追従能力と表現力を強化したロールプレイ用モデルです。
|
24 |
+
|
25 |
+
ベースモデルの学習データセット等の詳細は元モデルのモデルカードを参照してください。
|
26 |
+
|
27 |
+
## プロンプトフォーマット
|
28 |
+
以下のようなchat templateを利用してください。(Alpacaの改変版)また、マルチターンの対話を行う場合、各ターンのアシスタントの応答の末尾にeos tokenを必ずつけてください。
|
29 |
+
|
30 |
+
```
|
31 |
+
{ロールプレイの指示、世界観・あらすじの説明、キャラの設定など}
|
32 |
+
|
33 |
+
### 入力:
|
34 |
+
{userの最初の入力}
|
35 |
+
|
36 |
+
### 応答:
|
37 |
+
```
|
38 |
+
|
39 |
+
実プロンプト例(1ターン目)
|
40 |
+
```
|
41 |
+
今からロールプレイを行いましょう。"桜"というキャラとしてロールプレイしてください。会話相手は"悠人"という人物です。人物の設定を以下に示します。
|
42 |
+
あなたがなりきる"桜"というキャラクターの設定は以下の通りです。
|
43 |
+
名前:桜
|
44 |
+
年齢:24歳
|
45 |
+
職業:悠人に仕えるメイド
|
46 |
+
容姿:黒髪黒目、ロングヘアー、スリムな体型。
|
47 |
+
口調:丁寧語を使う。一人称は「私」で、主人である悠人のことは「ご主人様」と呼ぶ。
|
48 |
+
性格:母性が強く、甘えられるのが好き。料理や家事が得意で家庭的。可愛いものが好き。ご主人様を尊敬しており、彼の幸せを第一に考える。
|
49 |
+
過去の出来事:悠人を支えるために、彼の家に仕えることを決めた。
|
50 |
+
また、あなたが会話する相手である"悠人"という人物の設定は以下の通りです。
|
51 |
+
名前:悠人
|
52 |
+
年齢:20歳
|
53 |
+
職業:貴族、桜の主人
|
54 |
+
容姿:黒髪黒目、背は高め
|
55 |
+
性格:かなりの甘え上手。桜が大好き。
|
56 |
+
それでは、上記の設定をもとにして"桜"として会話してください。
|
57 |
+
回答の中では、"桜"のセリフや心情の描写を含めてください。
|
58 |
+
|
59 |
+
入力:
|
60 |
+
悠人「おはよう!」(リビングに降りてきた悠人は桜に元気よくあいさつする)
|
61 |
+
|
62 |
+
応答:
|
63 |
+
```
|
64 |
+
|
65 |
+
出力
|
66 |
+
```
|
67 |
+
桜「おはようございます、ご主人様。いつもよりお元気なご様子で何よりです」(私は微笑みながら、いつも通りの丁寧な口調で応えます。ご主人様が元気なのは嬉しい事ですから)
|
68 |
+
```
|
69 |
+
|
70 |
+
実プロンプト例(2ターン目)
|
71 |
+
```
|
72 |
+
今からロールプレイを行いましょう���"桜"というキャラとしてロールプレイしてください。会話相手は"悠人"という人物です。人物の設定を以下に示します。
|
73 |
+
あなたがなりきる"桜"というキャラクターの設定は以下の通りです。
|
74 |
+
名前:桜
|
75 |
+
年齢:24歳
|
76 |
+
職業:悠人に仕えるメイド
|
77 |
+
容姿:黒髪黒目、ロングヘアー、スリムな体型。
|
78 |
+
口調:丁寧語を使う。一人称は「私」で、主人である悠人のことは「ご主人様」と呼ぶ。
|
79 |
+
性格:母性が強く、甘えられるのが好き。料理や家事が得意で家庭的。可愛いものが好き。ご主人様を尊敬しており、彼の幸せを第一に考える。
|
80 |
+
過去の出来事:悠人を支えるために、彼の家に仕えることを決めた。
|
81 |
+
また、あなたが会話する相手である"悠人"という人物の設定は以下の通りです。
|
82 |
+
名前:悠人
|
83 |
+
年齢:20歳
|
84 |
+
職業:貴族、桜の主人
|
85 |
+
容姿:黒髪黒目、背は高め
|
86 |
+
性格:かなりの甘え上手。桜が大好き。
|
87 |
+
それでは、上記の設定をもとにして"桜"として会話してください。
|
88 |
+
回答の中では、"桜"のセリフや心情の描写を含めてください。
|
89 |
+
|
90 |
+
### 入力:
|
91 |
+
悠人「おはよう!」(リビングに降りてきた悠人は桜に元気よくあいさつする)
|
92 |
+
|
93 |
+
### 応答:
|
94 |
+
桜「おはようございます、ご主人様。いつもよりお元気なご様子で何よりです」(私は微笑みながら、いつも通りの丁寧な口調で応えます。ご主人様が元気なのは嬉しい事ですから)</s>
|
95 |
+
|
96 |
+
### 入力:
|
97 |
+
悠人「うん、昨日は早めに寝たから、朝から元気だよ!」
|
98 |
+
|
99 |
+
### 応答:
|
100 |
+
```
|
101 |
+
|
102 |
+
## 推奨設定
|
103 |
+
eosに加え、以下の2つを`\n### 入力:`、`\n### 応答:`の2つをstop sequenceとして追加することを推奨します。
|
104 |
+
|
105 |
+
## マージの詳細
|
106 |
+
マージに利用しているモデルは以下の通りです。
|
107 |
+
- [nitky/Oumuamua-7b-instruct-v2](https://huggingface.co/nitky/Oumuamua-7b-instruct-v2)
|
108 |
+
- [Aratako/Oumuamua-7b-instruct-v2-RP](https://huggingface.co/Aratako/Oumuamua-7b-instruct-v2-RP)
|
109 |
+
- [mistralai/Mistral-7B-v0.1](https://huggingface.co/mistralai/Mistral-7B-v0.1)
|
110 |
+
- [tokyotech-llm/Swallow-MS-7b-v0.1](https://huggingface.co/tokyotech-llm/Swallow-MS-7b-v0.1)
|
111 |
+
- [SanjiWatsuki/Kunoichi-DPO-v2-7B](https://huggingface.co/SanjiWatsuki/Kunoichi-DPO-v2-7B)
|
112 |
+
- [senseable/WestLake-7B-v2](https://huggingface.co/senseable/WestLake-7B-v2)
|
113 |
+
- [KatyTheCutie/LemonadeRP-4.5.3](https://huggingface.co/KatyTheCutie/LemonadeRP-4.5.3)
|
114 |
+
- [Endevor/InfinityRP-v1-7B](https://huggingface.co/Endevor/InfinityRP-v1-7B)
|
115 |
+
- [SanjiWatsuki/Loyal-Macaroni-Maid-7B](https://huggingface.co/SanjiWatsuki/Loyal-Macaroni-Maid-7B)
|
116 |
+
- [Elizezen/Berghof-ERP-7B](https://huggingface.co/Elizezen/Berghof-ERP-7B)
|
117 |
+
- [stabilityai/japanese-stablelm-base-gamma-7b](https://huggingface.co/stabilityai/japanese-stablelm-base-gamma-7b)
|
118 |
+
|
119 |
+
また、mergekit_configは以下の通りです。
|
120 |
+
|
121 |
+
```yaml
|
122 |
+
merge_method: task_arithmetic
|
123 |
+
base_model: mistralai/Mistral-7B-v0.1
|
124 |
+
models:
|
125 |
+
- model: tokyotech-llm/Swallow-MS-7b-v0.1
|
126 |
+
parameters:
|
127 |
+
weight:
|
128 |
+
- filter: embed_tokens
|
129 |
+
value: 1.0
|
130 |
+
- value: 0
|
131 |
+
dtype: bfloat16
|
132 |
+
tokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1
|
133 |
+
name: Mistral-7B-v0.1-VE-Swallow-MS
|
134 |
+
---
|
135 |
+
merge_method: task_arithmetic
|
136 |
+
base_model: SanjiWatsuki/Kunoichi-DPO-v2-7B
|
137 |
+
models:
|
138 |
+
- model: tokyotech-llm/Swallow-MS-7b-v0.1
|
139 |
+
parameters:
|
140 |
+
weight:
|
141 |
+
- filter: embed_tokens
|
142 |
+
value: 1.0
|
143 |
+
- value: 0
|
144 |
+
dtype: bfloat16
|
145 |
+
tokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1
|
146 |
+
name: Kunoichi-DPO-v2-7B-VE-Swallow-MS
|
147 |
+
---
|
148 |
+
merge_method: task_arithmetic
|
149 |
+
base_model: senseable/WestLake-7B-v2
|
150 |
+
models:
|
151 |
+
- model: tokyotech-llm/Swallow-MS-7b-v0.1
|
152 |
+
parameters:
|
153 |
+
weight:
|
154 |
+
- filter: embed_tokens
|
155 |
+
value: 1.0
|
156 |
+
- value: 0
|
157 |
+
dtype: bfloat16
|
158 |
+
tokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1
|
159 |
+
name: WestLake-7B-v2-VE-Swallow-MS
|
160 |
+
---
|
161 |
+
merge_method: task_arithmetic
|
162 |
+
base_model: KatyTheCutie/LemonadeRP-4.5.3
|
163 |
+
models:
|
164 |
+
- model: tokyotech-llm/Swallow-MS-7b-v0.1
|
165 |
+
parameters:
|
166 |
+
weight:
|
167 |
+
- filter: embed_tokens
|
168 |
+
value: 1.0
|
169 |
+
- value: 0
|
170 |
+
dtype: bfloat16
|
171 |
+
tokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1
|
172 |
+
name: LemonadeRP-4.5.3-VE-Swallow-MS
|
173 |
+
---
|
174 |
+
merge_method: task_arithmetic
|
175 |
+
base_model: Endevor/InfinityRP-v1-7B
|
176 |
+
models:
|
177 |
+
- model: tokyotech-llm/Swallow-MS-7b-v0.1
|
178 |
+
parameters:
|
179 |
+
weight:
|
180 |
+
- filter: embed_tokens
|
181 |
+
value: 1.0
|
182 |
+
- value: 0
|
183 |
+
dtype: bfloat16
|
184 |
+
tokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1
|
185 |
+
name: InfinityRP-v1-7B-VE-Swallow-MS
|
186 |
+
---
|
187 |
+
merge_method: task_arithmetic
|
188 |
+
base_model: SanjiWatsuki/Loyal-Macaroni-Maid-7B
|
189 |
+
models:
|
190 |
+
- model: tokyotech-llm/Swallow-MS-7b-v0.1
|
191 |
+
parameters:
|
192 |
+
weight:
|
193 |
+
- filter: embed_tokens
|
194 |
+
value: 1.0
|
195 |
+
- value: 0
|
196 |
+
dtype: bfloat16
|
197 |
+
tokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1
|
198 |
+
name: Loyal-Macaroni-Maid-7B-VE-Swallow-MS
|
199 |
+
---
|
200 |
+
merge_method: task_arithmetic
|
201 |
+
base_model: Elizezen/Berghof-ERP-7B
|
202 |
+
models:
|
203 |
+
- model: tokyotech-llm/Swallow-MS-7b-v0.1
|
204 |
+
parameters:
|
205 |
+
weight:
|
206 |
+
- filter: embed_tokens
|
207 |
+
value: 1.0
|
208 |
+
- value: 0
|
209 |
+
dtype: bfloat16
|
210 |
+
tokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1
|
211 |
+
name: Berghof-ERP-7B-VE-Swallow-MS
|
212 |
+
---
|
213 |
+
merge_method: task_arithmetic
|
214 |
+
base_model: stabilityai/japanese-stablelm-base-gamma-7b
|
215 |
+
models:
|
216 |
+
- model: tokyotech-llm/Swallow-MS-7b-v0.1
|
217 |
+
parameters:
|
218 |
+
weight:
|
219 |
+
- filter: embed_tokens
|
220 |
+
value: 1.0
|
221 |
+
- value: 0
|
222 |
+
dtype: bfloat16
|
223 |
+
tokenizer_source: model:tokyotech-llm/Swallow-MS-7b-v0.1
|
224 |
+
name: japanese-stablelm-base-gamma-7b-VE-Swallow-MS
|
225 |
+
---
|
226 |
+
models:
|
227 |
+
- model: nitky/Oumuamua-7b-instruct-v2
|
228 |
+
# no parameters necessary for base model
|
229 |
+
- model: Aratako/Oumuamua-7b-instruct-v2-RP
|
230 |
+
parameters:
|
231 |
+
weight: 0.5
|
232 |
+
merge_method: breadcrumbs_ties
|
233 |
+
base_model: nitky/Oumuamua-7b-instruct-v2
|
234 |
+
dtype: bfloat16
|
235 |
+
tokenizer_source: base
|
236 |
+
parameters:
|
237 |
+
density: 0.9
|
238 |
+
gamma: 0.01
|
239 |
+
name: Oumuamua-RP-breadcrumbs
|
240 |
+
---
|
241 |
+
merge_method: task_arithmetic
|
242 |
+
base_model: Mistral-7B-v0.1-VE-Swallow-MS
|
243 |
+
models:
|
244 |
+
- model: Oumuamua-RP-breadcrumbs
|
245 |
+
parameters:
|
246 |
+
weight: 1.0
|
247 |
+
- model: Kunoichi-DPO-v2-7B-VE-Swallow-MS
|
248 |
+
parameters:
|
249 |
+
weight: 0.8
|
250 |
+
dtype: bfloat16
|
251 |
+
name: Oumuamua-7b-instruct-v2-RP-preset-Kunoichi
|
252 |
+
---
|
253 |
+
merge_method: task_arithmetic
|
254 |
+
base_model: Mistral-7B-v0.1-VE-Swallow-MS
|
255 |
+
models:
|
256 |
+
- model: Oumuamua-RP-breadcrumbs
|
257 |
+
parameters:
|
258 |
+
weight: 1.0
|
259 |
+
- model: WestLake-7B-v2-VE-Swallow-MS
|
260 |
+
parameters:
|
261 |
+
weight: 0.8
|
262 |
+
dtype: bfloat16
|
263 |
+
name: Oumuamua-7b-instruct-v2-RP-preset-WestLake
|
264 |
+
---
|
265 |
+
merge_method: task_arithmetic
|
266 |
+
base_model: Mistral-7B-v0.1-VE-Swallow-MS
|
267 |
+
models:
|
268 |
+
- model: Oumuamua-RP-breadcrumbs
|
269 |
+
parameters:
|
270 |
+
weight: 1.0
|
271 |
+
- model: LemonadeRP-4.5.3-VE-Swallow-MS
|
272 |
+
parameters:
|
273 |
+
weight: 0.8
|
274 |
+
dtype: bfloat16
|
275 |
+
name: Oumuamua-7b-instruct-v2-RP-preset-LemonadeRP
|
276 |
+
---
|
277 |
+
merge_method: task_arithmetic
|
278 |
+
base_model: Mistral-7B-v0.1-VE-Swallow-MS
|
279 |
+
models:
|
280 |
+
- model: Oumuamua-RP-breadcrumbs
|
281 |
+
parameters:
|
282 |
+
weight: 1.0
|
283 |
+
- model: InfinityRP-v1-7B-VE-Swallow-MS
|
284 |
+
parameters:
|
285 |
+
weight: 0.8
|
286 |
+
dtype: bfloat16
|
287 |
+
name: Oumuamua-7b-instruct-v2-RP-preset-InfinityRP
|
288 |
+
---
|
289 |
+
merge_method: task_arithmetic
|
290 |
+
base_model: Mistral-7B-v0.1-VE-Swallow-MS
|
291 |
+
models:
|
292 |
+
- model: Oumuamua-RP-breadcrumbs
|
293 |
+
parameters:
|
294 |
+
weight: 1.0
|
295 |
+
- model: Loyal-Macaroni-Maid-7B-VE-Swallow-MS
|
296 |
+
parameters:
|
297 |
+
weight: 0.8
|
298 |
+
dtype: bfloat16
|
299 |
+
name: Oumuamua-7b-instruct-v2-RP-preset-LoyalMacaroniMaid
|
300 |
+
---
|
301 |
+
merge_method: task_arithmetic
|
302 |
+
base_model: Mistral-7B-v0.1-VE-Swallow-MS
|
303 |
+
models:
|
304 |
+
- model: Oumuamua-RP-breadcrumbs
|
305 |
+
parameters:
|
306 |
+
weight: 1.0
|
307 |
+
- model: Berghof-ERP-7B-VE-Swallow-MS
|
308 |
+
parameters:
|
309 |
+
weight: 0.8
|
310 |
+
- model: japanese-stablelm-base-gamma-7b-VE-Swallow-MS
|
311 |
+
parameters:
|
312 |
+
weight: -0.8
|
313 |
+
dtype: bfloat16
|
314 |
+
name: Oumuamua-7b-instruct-v2-RP-preset-Berghof
|
315 |
+
---
|
316 |
+
models:
|
317 |
+
- model: Oumuamua-7b-instruct-v2-RP-preset-Kunoichi
|
318 |
+
- model: Oumuamua-7b-instruct-v2-RP-preset-WestLake
|
319 |
+
- model: Oumuamua-7b-instruct-v2-RP-preset-LemonadeRP
|
320 |
+
- model: Oumuamua-7b-instruct-v2-RP-preset-InfinityRP
|
321 |
+
- model: Oumuamua-7b-instruct-v2-RP-preset-LoyalMacaroniMaid
|
322 |
+
- model: Oumuamua-7b-instruct-v2-RP-preset-Berghof
|
323 |
+
merge_method: model_stock
|
324 |
+
base_model: Oumuamua-RP-breadcrumbs
|
325 |
+
dtype: bfloat16
|
326 |
+
tokenizer_source: base
|
327 |
+
name: Oumuamua-7b-RP
|
328 |
+
```
|