asiansoul/llama-3.2-koen-merged-3b-instruct

Merged below called "gx thinking Groove Feeling X-mas"

• Meta Llama
• Bllossom Korean Llama
• Carrot AI Rabbit Llama

There is no such thing as a flawless system. It's about using it appropriately and reasonably without pushing it to its limits.

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = 'asiansoul/llama-3.2-koen-merged-3b-instruct'

tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(
    model_id,
    torch_dtype=torch.bfloat16,
    device_map="auto",
)
instruction = "철수가 20개의 연필을 가지고 있었는데 영희가 절반을 가져가고 민수가 남은 5개를 가져갔으면 철수에게 남은 연필의 갯수는 몇개인가요?"

messages = [
    {"role": "user", "content": f"{instruction}"}
    ]

input_ids = tokenizer.apply_chat_template(
    messages,
    add_generation_prompt=True,
    return_tensors="pt"
).to(model.device)

terminators = [
    tokenizer.convert_tokens_to_ids("<|end_of_text|>"),
    tokenizer.convert_tokens_to_ids("<|eot_id|>")
]

outputs = model.generate(
    input_ids,
    max_new_tokens=1024,
    eos_token_id=terminators,
    do_sample=True,
    temperature=0.6,
    top_p=0.9
)



철수가 20개의 연필을 가지고 있었고, 영희가 절반(20/2 = 10)을 가져갔습니다. 따라서 철수가 남은 연필의 갯수는 20 - 10 = 10입니다.

민수가 남은 5개를 가져갔으니, 철수가 남은 연필의 갯수는 10 - 5 = 5입니다.

따라서 철수가 남은 연필의 갯수는 5개입니다.

@article{Llama3.2KoEnMerged3BInstruct,
  title={asiansoul/llama-3.2-koen-merged-3b-instruct-GGUF Card},
  author={Asiansoul},
  merged={Asiansoul},
  year={2024},
  url = {https://huggingface.co/asiansoul/llama-3.2-koen-merged-3b-instruct-GGUF}
}