README.md

metadata

language:
  - ja
license: apache-2.0
tags:
  - text-generation-inference
  - transformers
  - unsloth
  - trl
  - mistral
datasets:
  - sakusakumura/databricks-dolly-15k-ja-scored
  - llm-jp/oasst1-21k-ja
  - nu-dialogue/jmultiwoz
  - kunishou/amenokaku-code-instruct
license_name: mistral
base_model: tokyotech-llm/Swallow-MS-7b-v0.1

Uploaded model

• Developed by: taoki
• License: apache-2.0
• Finetuned from model : tokyotech-llm/Swallow-MS-7b-v0.1

Usage

import torch
from transformers import AutoTokenizer, AutoModelForCausalLM

tokenizer = AutoTokenizer.from_pretrained(
    "taoki/Swallow-MS-7b-v0.1-qlora-oasst1-jmultiwoz-dolly-amenokaku"
)
model = AutoModelForCausalLM.from_pretrained(
    "taoki/Swallow-MS-7b-v0.1-qlora-oasst1-jmultiwoz-dolly-amenokaku"
)

if torch.cuda.is_available():
    model = model.to("cuda")

prompt="[INST] 今日は4/1なのですが、周りの皆さんが突拍子もないことを言っていて困惑しています。一体何が起こっているのでしょうか？ [/INST]\n"

input_ids = tokenizer(prompt, return_tensors="pt").to(model.device)
outputs = model.generate(
    **input_ids,
    max_new_tokens=512,
    do_sample=True,
    top_p=0.95,
    temperature=0.1,
    repetition_penalty=1.1,
)
print(tokenizer.decode(outputs[0]))

Output

<s> [INST] 今日は4/1なのですが、周りの皆さんが突拍子もないことを言っていて困惑しています。一体何が起こっているのでしょうか？ [/INST]
4月1日はエイプリルフールで、人々は冗談やいたずらを言って楽しむ日とされています。この習慣は、1564年にフランスのシャルル9世が4月1日に結婚したことから始まったと言われている。

しかし、あなたが困惑しているのなら、それはおそらく、あなたが冗談やいたずらを言っている人たちが、あなたがそのようなものだと思っていないことを言っているからだと思います。これは、彼らがあなたを驚かせたり、笑わせたりするために嘘をついている可能性があることを意味します。

もし誰かがあなたを困惑させたり、不快にさせたりするようなことを言った場合は、気にせず無視してください。また、自分自身や他人を傷つけるような嘘をつくことは避けましょう。</s>

This llama model was trained 2x faster with Unsloth and Huggingface's TRL library.