japanese-stablelm-2-instruct-1_6b-gguf

stabilityaiさんが公開しているjapanese-stablelm-2-instruct-1_6bのggufフォーマット変換版です。

imatrixのデータはTFMC/imatrix-dataset-for-japanese-llmを使用して作成しました。

license

ご使用の前に利用規約を必ずご確認の上、同意した場合のみご利用になれます。 ご使用される際は利用規約に同意したものとみなされます。

Please be sure to read this before using it, and you can use it only if you agree to it. By using this service, you are deemed to have agreed to the terms of use.

また、商用利用の際には、メンバーシップへの登録が必要です。
Please note: For commercial use, please refer to https://stability.ai/membership

convert

元モデルをダウンロード後、tokenization_arcade100k.pyを修正する必要があります。 修正箇所は、def __init__の最後に下記を追加します

self.special_tokens = self.tokenizer._special_tokens

変換用スクリプトはこちら

Usage

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'japanese-stablelm-2-instruct-1_6b-Q4_0.gguf' -n 128 -p 'こんにちわ'