Qwen1.5-7B-Dutch-Chat-GGUF

Introduction

This is a collection of GGUF files created from robinsmits/Qwen1.5-7B-Dutch-Chat

It contains the files in the following quantization formats:

Q2_K, Q3_K_M, Q4_0, Q4_K_M, Q5_0, Q5_K_M, Q6_K, Q8_0

Requirements

Before you can use the GGUF files you need to clone llama.cpp repository and install it following the official guide.

How to use

Download the GGUF file you would like to try and test it with the following command:

./main -m Qwen1.5-7B-Dutch-Chat-Q5_K_M.gguf -n 512 --temp 0.1 --top-k 50 --color -f dutch-chat.txt

This gives the following output:

system
Je bent een behulpzame AI assistent
user
Wat is een fiets?
assistant
Een fiets is een vervoermiddel met twee wielen en een zadel. Mensen gebruiken het om op te staan en te bewegen door het te draaien met de benen. Fietsen is goed voor je lichaam en goed voor het milieu omdat je geen benzine hoeft te gebruiken. Er zijn verschillende soorten fietsen, zoals een mountainbike, een BMX-fietser, een tandemfiets en een tandemfiets met kinderwiel. Fietsen is ook leuk omdat je op verschillende plekken kunt rijden, zoals in het park, op het strand of op het platteland. [end of text]

Recommendation

Experimenting with the llama.cpp parameters can have a big impact on the quality of the generated text. It is therefore recommended to do your own experimentation with different settings. In my own experiments it looks like quantization 'Q5_0' or better gives good quality. The smaller files are included anyway.

Citation

Thanks to the creators of Qwen1.5 for there great work!

@article{qwen,
  title={Qwen Technical Report},
  author={Jinze Bai and Shuai Bai and Yunfei Chu and Zeyu Cui and Kai Dang and Xiaodong Deng and Yang Fan and Wenbin Ge and Yu Han and Fei Huang and Binyuan Hui and Luo Ji and Mei Li and Junyang Lin and Runji Lin and Dayiheng Liu and Gao Liu and Chengqiang Lu and Keming Lu and Jianxin Ma and Rui Men and Xingzhang Ren and Xuancheng Ren and Chuanqi Tan and Sinan Tan and Jianhong Tu and Peng Wang and Shijie Wang and Wei Wang and Shengguang Wu and Benfeng Xu and Jin Xu and An Yang and Hao Yang and Jian Yang and Shusheng Yang and Yang Yao and Bowen Yu and Hongyi Yuan and Zheng Yuan and Jianwei Zhang and Xingxuan Zhang and Yichang Zhang and Zhenru Zhang and Chang Zhou and Jingren Zhou and Xiaohuan Zhou and Tianhang Zhu},
  journal={arXiv preprint arXiv:2309.16609},
  year={2023}
}