metadata
base_model:
- soramikaduki/Antler-RP-ja-westlake-chatvector
- soramikaduki/Starling-RP-ja-westlake-chatvector
library_name: transformers
tags:
- mergekit
- merge
license: apache-2.0
StarAntler-RP-WestLake-chatvector
This is a merge of pre-trained language models created using mergekit.
このモデルはChatVector手法を用いてNSFW手法を強化したモデル2つをマージさせたモデルです。 まず、1つ目のモデルはChatVector手法を使用して、Aratrakoさん制作のAratako/Antler-7B-RPをsenseable/WestLake-7B-v2を用いてNSFW能力を強化しています。 2つ目のモデルも同様にAratrakoさん制作のJapanese-Starling-ChatV-7B-RP をsenseable/WestLake-7B-v2を用いてNSFW能力を強化しています。 これら2つのモデルを同等の重みでマージしたモデルです。マージの詳細は以下の通りです。
Merge Details
Merge Method
This model was merged using the DARE TIES merge method using soramikaduki/Antler-RP-ja-westlake-chatvector as a base.
Models Merged
The following models were included in the merge:
Configuration
The following YAML configuration was used to produce this model:
models:
- model: soramikaduki/Antler-RP-ja-westlake-chatvector
parameters:
density: 0.5
weight:
- filter: mlp
value: 0.5
- value: 0.5
# No parameters necessary for base model
- model: soramikaduki/Starling-RP-ja-westlake-chatvector
parameters:
density: 0.5
weight:
- filter: mlp
value: 0.5
- value: 0.5
merge_method: dare_ties
base_model: soramikaduki/Antler-RP-ja-westlake-chatvector
parameters:
int8_mask: true
dtype: bfloat16
tokenizer_source: union
custom_methods:
model.embed_tokens:
method: tokenizer_permutation
parameters:
weight:
soramikaduki/Antler-RP-ja-westlake-chatvector: 0.5
soramikaduki/Starling-RP-ja-westlake-chatvector: 0.5
lm_head:
method: tokenizer_permutation
parameters:
weight:
soramikaduki/Antler-RP-ja-westlake-chatvector: 0.5
soramikaduki/Starling-RP-ja-westlake-chatvector: 0.5
Performance
| Model | StarAntler-RP-WestLake-chatvector (This model) |
|---|---|
| Parameters | 7B(Mistral) |
| ELYZAtasks100 average score |
3.67 |
Scores on "ELYZA-tasks-100"
このスコアはinstruction-tuningを行った日本語モデルのベンチマーク「ELYZA-tasks-100」を使い、gpt-4-turbo-2024-04-09により評価させたものです。