metadata

license: cc-by-4.0
datasets:
  - ddyuudd/chatbot_arena_ja_calm2-7b-chat-experimental
language:
  - ja

Model Card for "calm2-7b-chat-dpo-experimental"

実験結果のランダム性を避けるため、greedy searchで出力しました。

calm2-7b-chat	calm2-7b-chat-dpo
2.67	2.85

以下の文をシステムプロンプト（system_message）としてcalm2-7b-chat-dpoとcalm2-7b-chatの評価を行いました。

"以下は、タスクを説明する指示と、文脈のある入力の組み合わせです。要求を適切に満たす応答を書きなさい。"

このシステムプロンプトはstabilityai/japanese-stablelm-instruct-alpha-7bをJapanese MT-Benchで評価する場合に使われるものです。他のデコーディングパラメータはデフォルトのままです。