README.md

---
license: apache-2.0
---
# RWKV-x060-14B-CoT

## モデル概要

このモデルは、RWKV-x060-14B-JPNをベースに、Chain-of-Thought推論能力の強化を目指してファインチューニングを行ったモデルです。

## スペック

- **アーキテクチャ**: RWKV x060 Finch
- **モデル構造**: 61層 4096次元
- **パラメータ数**: 14B(140億パラメータ)
- **最大コンテキスト長**: 32k
- **ベースモデル**: RWKV-x060-14B-JPN

## トレーニング詳細

- **手法**: Bone法(Block Affine Transformation)によるPEFTトレーニング
  - Block Size: 256
  - モデル形態: アダプターのみ
- **トレーニング特徴**:
  - RWKV-LM-RLHFのLoss SmoothingとSFT、BPTTを組み合わせた32kコンテキストトレーニング
  - Chain-of-Thought推論強化のための特殊データセット使用

## データセット

- **サイズ**: 100kペア
- **内容**:
  - 日本語・英語の混合データ
  - 会話
  - プログラミングコード
  - 翻訳タスク
  - Chain-of-Thought推論タスク

## 使用方法

以下のいずれかの方法で利用可能です：

1. RWKV-LM-RLHFレポジトリを使用してBoneマージを実行
2. 最新のRWKV-Inferを使用して動的マージ推論を実行
3. エンドトークンを'\n\n\x17'としてください。デフォルトの'\n\n'では生成が不安定になります

## 制限事項・注意点

- 実験的なモデルのため、推論の安定性が完全には保証されていません
- 予期せぬ挙動が発生する可能性があります
- 継続的な改善を行っているため、フィードバックを歓迎します

## ライセンス

Apache License 2.0

## 謝辞

このモデルの開発にあたり、RWKV-x060-14B-JPNベースモデル、RWKVコミュニティの支援に感謝いたします。

---

このモデルに関する質問やフィードバックは、Issues機能をご利用ください。
この文章はRWKV-x060-14B-CoTで生成しました。