TwinDoc/RedWhale-tv-10.8B-sft-s-gen_3

Model Description

S-B 고객사 프로젝트 시 생성한 context-QA 데이터셋과 숫자연산 기계독해 데이터를 context-QA 형태로 변경하여 다시 구성한 데이터를 merge 한 뒤 Supervised Fine-Tuning(a.k.a SFT) 학습한 모델입니다. 학습 데이터셋은 보안에 의해 공개하지 않습니다.

학습 데이터셋:

• S-B 고객사 프로젝트 시 생성한 context-QA 데이터셋
• AI-HUB 에서 받은 숫자연산 기계독해 데이터를 활용한 context-QA 데이터셋

About the Model

• Name: TwinDoc/RedWhale-tv-10.8B-sft-s-gen_3

• Finetuned from model: TwinDoc/RedWhale-tv-10.8B-v1.0

• Train Datasets: private

• Developed by: 애자일소다 (AGILESODA)

• Model type: llama

• Language(s) (NLP): 한국어

• License: cc-by-nc-sa-4.0

• train setting

  • Lora r, alpha : 4, 16
  • Dtype : bf16
  • Epoch : 7
  • Learning rate : 1e-4
  • Global batch : 4
  • Context length : 4096

• inference setting

  • BOS id : 1
  • EOS id : 2
  • Top-p : 0.95
  • Temperature : 0.01

prompt template

tokenizer = AutoTokenizer.from_pretrained("TwinDoc/RedWhale-tv-10.8B-sft-s-gen_3")

# Choose your prompt
system_prompt = "당신은 사용자의 질문에 답변하는 AI 어시스턴트입니다. 당신의 임무는 가능한 한 충실하게 대답하는 것입니다. 답변하는 동안 단계별로 생각하고 답변을 정당화하세요."

prompt_template = '''{task_prompt}\n\n##원본##\n{context}\n\n##질문##\n{question}'''
task_prompt = '##원본##에 있는 정보를 바탕으로 ##질문##에 대한 고품질의 답변을 만들어주세요. ##원본##에 없는 내용은 답변에 포함하지 않아야 합니다.'

qa_prompt = prompt_template.format(
    context = {your context},
    question = {your question},
    task_prompt = task_prompt
)

messages = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": qa_prompt}
]
text = tokenizer.apply_chat_template(
    messages,
    tokenize=False,
    add_generation_prompt=True
)

License

The content of this project, created by AGILESODA, is licensed under the Attribution-NonCommercial-ShareAlike 4.0 International (CC BY-NC-SA 4.0).

Citation

@misc{vo2024redwhaleadaptedkoreanllm,
      title={RedWhale: An Adapted Korean LLM Through Efficient Continual Pretraining}, 
      author={Anh-Dung Vo and Minseong Jung and Wonbeen Lee and Daewoo Choi},
      year={2024},
      eprint={2408.11294},
      archivePrefix={arXiv},
      primaryClass={cs.CL},
      url={https://arxiv.org/abs/2408.11294}, 
}

Built with: