grapevine-AI/Llama-3.1-70B-Japanese-Instruct-2407-GGUF

What is this?

CyberAgent社によるLlama-3.1の日本語継続事前学習モデルLlama-3.1-70B-Japanese-Instruct-2407をGGUFフォーマットに変換したものです。
llama.cppのLlama3.1の特殊なRoPE Embedding対応アップデート（#8676）を反映しています。

imatrix dataset

日本語能力を重視し、日本語が多量に含まれるTFMC/imatrix-dataset-for-japanese-llmデータセットを使用しました。
なお、計算リソースの関係上imatrixの算出においてはQ8_0量子化モデルを使用しました。

Chat template

<|start_header_id|>system<|end_header_id|>\n\nここにsystemプロンプトを書きます<|eot_id|><|start_header_id|>user<|end_header_id|>\n\nここにMessageを書きます<|eot_id|><|start_header_id|>assistant<|end_header_id|>\n\n

Environment

Windows版llama.cpp-b3472および同時リリースのconvert_hf_to_gguf.pyを使用して量子化作業を実施しました。

License

llama3.1 License

Developer

Meta & CyberAgent

Credit

Built with Llama