ytu-ce-cosmos

/

Turkish-Llama-8b-Instruct-v0.1

like 20

I ran your code with the following environment setup:

- `Accelerate` version: 0.32.1
- Platform: Linux-6.1.85+-x86_64-with-glibc2.35
- `accelerate` bash location: /usr/local/bin/accelerate
- Python version: 3.10.12
- Numpy version: 1.26.4
- PyTorch version (GPU?): 2.3.1+cu121 (True)
- System RAM: 12.67 GB
- GPU type: Tesla T4
- `Accelerate` default config:
    Not found

I got the following response from the model:

Bu soruyu çözmek için şu adımları izleyeceğiz:

1. Arabanın deposunun kapasitesini ve bir yolculuk için tüketilen benzin miktarını belirleyin.
2. Arabanın deposunun tamamen dolu olduğu ve yolculuk için benzin tüketimini hesaplayın.
3. Depo dolu olduğunda arabanın yol alabileceği toplam mesafeyi hesaplayın.

Adım 1: Arabanın deposunun kapasitesini ve bir yolculuk için tüketilen benzin miktarını belirleyin.

Arabanın deposu 60 litre benzin alabiliyor.
Araba her 100 kilometrede 8 litre benzin tüketiyor.

Adım 2: Arabanın deposunun tamamen dolu olduğu ve yolculuk için benzin tüketimini hesaplayın.

Depo dolu olduğunda araba 60 litre benzinle yola çıkıyor.
Araba 100 kilometrede 8 litre benzin tüketiyor, yani 60 litre benzin 100 kilometre yol kat ediyor.

Adım 3: Depo dolu olduğunda arabanın yol alabileceği toplam mesafeyi hesaplayın.

60 litre / 8 litre/k

The code:

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM
model_path = "ytu-ce-cosmos/Turkish-Llama-8b-Instruct-v0.1"
tokenizer = AutoTokenizer.from_pretrained(model_path)
model = AutoModelForCausalLM.from_pretrained(model_path, torch_dtype=torch.bfloat16, device_map="auto")
messages = [
{"role": "system", "content": "Sen bir yapay zeka asistanısın. Kullanıcı sana bir görev verecek. Amacın görevi olabildiğince sadık bir şekilde tamamlamak. Görevi yerine getirirken adım adım düşün ve adımlarını gerekçelendir."},
{"role": "user", "content": "Soru: Bir arabanın deposu 60 litre benzin alabiliyor. Araba her 100 kilometrede 8 litre benzin tüketiyor. Depo tamamen doluyken araba kaç kilometre yol alabilir?"},
# {"role": "user", "content": "Türkiye'nin başkenti neresidir?"},

]
input_ids = tokenizer.apply_chat_template(
messages,
add_generation_prompt=True,
return_tensors="pt"
).to(model.device)

terminators = [
tokenizer.eos_token_id,
tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
input_ids,
max_new_tokens=256,
eos_token_id=terminators,
do_sample=True,
temperature=0.6,
top_p=0.9
)
response = outputs[0][input_ids.shape[-1]:]
print(tokenizer.decode(response, skip_special_tokens=True))

Can you verify the checksums of the shards you are running locally?