|
--- |
|
datasets: |
|
- benchang1110/Guanaco-Taide |
|
- benchang1110/TaiwanChat-Taide |
|
- benchang1110/Belle-Taide |
|
- benchang1110/ChatTaiwan |
|
library_name: transformers |
|
--- |
|
|
|
## Model Card for Model ID |
|
|
|
This model is the instruction finetuning version of [benchang1110/SmolLM-135M-Taiwan](https://huggingface.co/benchang1110/SmolLM-135M-Taiwan). |
|
|
|
## Usage |
|
```python |
|
import torch, transformers |
|
def generate_response(): |
|
model = transformers.AutoModelForCausalLM.from_pretrained("benchang1110/SmolLM-135M-Taiwan-Instruct-v0.1").to(device) |
|
tokenizer = transformers.AutoTokenizer.from_pretrained("benchang1110/SmolLM-135M-Taiwan-Instruct-v0.1") |
|
streamer = transformers.TextStreamer(tokenizer,skip_prompt=True) |
|
while(1): |
|
prompt = input('USER:') |
|
if prompt == "exit": |
|
break |
|
print("Assistant: ") |
|
message = [ |
|
{'content': prompt, 'role': 'user'}, |
|
] |
|
formatted_chat = tokenizer.apply_chat_template(message,tokenize=True,add_generation_prompt=True,return_tensors='pt').to(device) |
|
_ = model.generate(formatted_chat,streamer=streamer,use_cache=True,max_new_tokens=1024,do_sample=True) |
|
|
|
if __name__ == '__main__': |
|
device = 'cuda' if torch.cuda.is_available() else 'cpu' |
|
generate_response() |
|
``` |
|
|
|
|
|
## Example |
|
``` |
|
<|im_start|>user |
|
寫一首詩<|im_end|> |
|
<|im_start|>assistant |
|
在星空下,我沉思, |
|
思緒飄遊在千里之外, |
|
望向遙遠的秋天, |
|
思念著親人的笑容。 |
|
遠方的街頭,我來的, |
|
我是一個離散的樂觀者, |
|
反省著工作、反思著夢想, |
|
在生活的旅途中,我矢志維護。 |
|
我愛台灣的美, |
|
從高山到海洋, |
|
每一段路程,都閃耀著光芒, |
|
是我心中最珍貴的寶盒。 |
|
夜深了,我在回憶著, |
|
夢中,當我們一起欣賞著, |
|
月光下的河流,濕潤我們, |
|
那段在這塊土地上,既懷舊,又甜蜜。 |
|
我思念那濃厚的根, |
|
那怡人那甜蜜, |
|
這些美好,是我心中最美的禮物。 |
|
望你走開,來我家去, |
|
我將與你共同經歷, |
|
生命中最美的旋律。 |
|
愛,就是一切, |
|
不是我喜歡的事, |
|
就是真實的意義, |
|
在秋天的懷抱裡,我找到我的所在。<|im_end|> |
|
``` |