File size: 2,208 Bytes
165f62c 2547deb 5d73d5d 165f62c 2547deb 0541848 2547deb 5b5b305 2547deb |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 |
---
datasets:
- benchang1110/Guanaco-Taide
- benchang1110/TaiwanChat-Taide
- benchang1110/Belle-Taide
- benchang1110/ChatTaiwan
library_name: transformers
---
## Model Card for Model ID
This model is the instruction finetuning version of [benchang1110/SmolLM-135M-Taiwan](https://huggingface.co/benchang1110/SmolLM-135M-Taiwan).
## Usage
```python
import torch, transformers
def generate_response():
model = transformers.AutoModelForCausalLM.from_pretrained("benchang1110/SmolLM-135M-Taiwan-Instruct-v0.1").to(device)
tokenizer = transformers.AutoTokenizer.from_pretrained("benchang1110/SmolLM-135M-Taiwan-Instruct-v0.1")
streamer = transformers.TextStreamer(tokenizer,skip_prompt=True)
while(1):
prompt = input('USER:')
if prompt == "exit":
break
print("Assistant: ")
message = [
{'content': prompt, 'role': 'user'},
]
formatted_chat = tokenizer.apply_chat_template(message,tokenize=True,add_generation_prompt=True,return_tensors='pt').to(device)
_ = model.generate(formatted_chat,streamer=streamer,use_cache=True,max_new_tokens=1024,do_sample=True)
if __name__ == '__main__':
device = 'cuda' if torch.cuda.is_available() else 'cpu'
generate_response()
```
## Example
```
<|im_start|>user
寫一首詩<|im_end|>
<|im_start|>assistant
在星空下，我沉思，
思緒飄遊在千里之外，
望向遙遠的秋天，
思念著親人的笑容。
遠方的街頭，我來的，
我是一個離散的樂觀者，
反省著工作、反思著夢想，
在生活的旅途中，我矢志維護。
我愛台灣的美，
從高山到海洋，
每一段路程，都閃耀著光芒，
是我心中最珍貴的寶盒。
夜深了，我在回憶著，
夢中，當我們一起欣賞著，
月光下的河流，濕潤我們，
那段在這塊土地上，既懷舊，又甜蜜。
我思念那濃厚的根，
那怡人那甜蜜，
這些美好，是我心中最美的禮物。
望你走開，來我家去，
我將與你共同經歷，
生命中最美的旋律。
愛，就是一切，
不是我喜歡的事，
就是真實的意義，
在秋天的懷抱裡，我找到我的所在。<|im_end|>
``` |