README.md

metadata

license: other
license_name: fugaku-llm-tou
license_link: https://huggingface.co/Fugaku-LLM/Fugaku-LLM-13B-instruct/blob/main/LICENSE
language:
  - en
  - ja
datasets:
  - TFMC/imatrix-dataset-for-japanese-llm

Fugaku-LLM-13B-instruct-gguf

Fugaku-LLMさんが公開しているFugaku-LLM-13B-instructのggufフォーマット変換版です。

imatrixのデータはTFMC/imatrix-dataset-for-japanese-llmを使用して作成しました。

License

ご使用の前に必ず利用規約をご確認ください。
ご使用の際には利用規約に同意したものとされます。

Please be sure to check the terms of use before use. By using this service, you agree to the Terms of Use.

Usage

git clone https://github.com/ggerganov/llama.cpp.git
cd llama.cpp
make -j
./main -m 'Fugaku-LLM-13B-instruct-Q4_0.gguf' -n 128 -p 'こんにちわ'