Hugging Face's logo

SimonMA
/
Codellama-7b-lora-rps-adapter

PEFT
TensorBoard
Safetensors
trl
sft
Generated from Trainer
Model card Files Metrics Community
Codellama-7b-lora-rps-adapter / README.md
SimonMA's picture
SimonMA
End of training
56536fc verified
preview code
|
raw
history blame
9.76 kB
metadata
base_model: codellama/CodeLlama-7b-Instruct-hf
library_name: peft
license: llama2
tags:
  - trl
  - sft
  - generated_from_trainer
model-index:
  - name: Codellama-7b-lora-rps-adapter
    results: []

Codellama-7b-lora-rps-adapter

This model is a fine-tuned version of codellama/CodeLlama-7b-Instruct-hf on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 0.2962

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0002
  • train_batch_size: 2
  • eval_batch_size: 2
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_ratio: 0.03
  • num_epochs: 4

Training results

Training Loss Epoch Step Validation Loss
0.1783 2.6210 15000 0.2850
0.2042 2.6297 15050 0.2836
0.1922 2.6385 15100 0.2850
0.2053 2.6472 15150 0.2843
0.1822 2.6559 15200 0.2850
0.1842 2.6647 15250 0.2846
0.1901 2.6734 15300 0.2821
0.2031 2.6822 15350 0.2823
0.1693 2.6909 15400 0.2825
0.1768 2.6996 15450 0.2830
0.1938 2.7084 15500 0.2841
0.197 2.7171 15550 0.2823
0.1857 2.7258 15600 0.2835
0.183 2.7346 15650 0.2831
0.1922 2.7433 15700 0.2836
0.2197 2.7521 15750 0.2809
0.1786 2.7608 15800 0.2813
0.1866 2.7695 15850 0.2823
0.1895 2.7783 15900 0.2817
0.1854 2.7870 15950 0.2816
0.1958 2.7957 16000 0.2840
0.175 2.8045 16050 0.2830
0.2112 2.8132 16100 0.2805
0.1931 2.8219 16150 0.2830
0.1953 2.8307 16200 0.2822
0.1904 2.8394 16250 0.2830
0.1913 2.8482 16300 0.2811
0.1761 2.8569 16350 0.2814
0.1972 2.8656 16400 0.2819
0.2188 2.8744 16450 0.2801
0.1888 2.8831 16500 0.2812
0.1951 2.8918 16550 0.2792
0.199 2.9006 16600 0.2809
0.216 2.9093 16650 0.2798
0.1954 2.9180 16700 0.2802
0.1747 2.9268 16750 0.2816
0.1631 2.9355 16800 0.2816
0.1875 2.9443 16850 0.2800
0.1959 2.9530 16900 0.2798
0.1824 2.9617 16950 0.2796
0.1838 2.9705 17000 0.2796
0.1954 2.9792 17050 0.2803
0.1941 2.9879 17100 0.2779
0.1727 2.9967 17150 0.2790
0.1544 3.0054 17200 0.2890
0.1178 3.0142 17250 0.2980
0.126 3.0229 17300 0.2999
0.1133 3.0316 17350 0.2983
0.1442 3.0404 17400 0.2994
0.1201 3.0491 17450 0.3002
0.1264 3.0578 17500 0.2985
0.148 3.0666 17550 0.2993
0.1367 3.0753 17600 0.2987
0.1225 3.0840 17650 0.3007
0.1323 3.0928 17700 0.3005
0.1286 3.1015 17750 0.3022
0.1181 3.1103 17800 0.3011
0.1379 3.1190 17850 0.2992
0.1331 3.1277 17900 0.3011
0.1132 3.1365 17950 0.3037
0.1232 3.1452 18000 0.3004
0.1273 3.1539 18050 0.3008
0.1232 3.1627 18100 0.3000
0.1325 3.1714 18150 0.3011
0.1296 3.1802 18200 0.3005
0.1135 3.1889 18250 0.3011
0.1237 3.1976 18300 0.2999
0.1379 3.2064 18350 0.2991
0.1278 3.2151 18400 0.3003
0.1354 3.2238 18450 0.2991
0.1234 3.2326 18500 0.3011
0.1315 3.2413 18550 0.3025
0.1173 3.2500 18600 0.3021
0.1358 3.2588 18650 0.3016
0.1383 3.2675 18700 0.2977
0.1294 3.2763 18750 0.2982
0.1372 3.2850 18800 0.2975
0.1269 3.2937 18850 0.3013
0.1338 3.3025 18900 0.2978
0.1317 3.3112 18950 0.3032
0.1179 3.3199 19000 0.2985
0.142 3.3287 19050 0.2959
0.1369 3.3374 19100 0.2995
0.1237 3.3461 19150 0.2990
0.1311 3.3549 19200 0.3002
0.1287 3.3636 19250 0.2995
0.1319 3.3724 19300 0.2988
0.1262 3.3811 19350 0.2972
0.129 3.3898 19400 0.3001
0.1342 3.3986 19450 0.2977
0.1396 3.4073 19500 0.2962
0.1238 3.4160 19550 0.2959
0.1195 3.4248 19600 0.2961
0.1157 3.4335 19650 0.2987
0.1121 3.4423 19700 0.2993
0.1287 3.4510 19750 0.3004
0.122 3.4597 19800 0.2997
0.1232 3.4685 19850 0.2990
0.1408 3.4772 19900 0.2953
0.1335 3.4859 19950 0.2980
0.1291 3.4947 20000 0.2982
0.1172 3.5034 20050 0.2978
0.1175 3.5121 20100 0.2963
0.1406 3.5209 20150 0.2950
0.1318 3.5296 20200 0.2967
0.1339 3.5384 20250 0.2964
0.1265 3.5471 20300 0.2960
0.1295 3.5558 20350 0.2979
0.1241 3.5646 20400 0.2978
0.1148 3.5733 20450 0.2976
0.1279 3.5820 20500 0.2967
0.1354 3.5908 20550 0.2979
0.1346 3.5995 20600 0.2993
0.1335 3.6082 20650 0.2988
0.1264 3.6170 20700 0.2980
0.1224 3.6257 20750 0.2979
0.1261 3.6345 20800 0.2993
0.115 3.6432 20850 0.2983
0.1254 3.6519 20900 0.2983
0.1253 3.6607 20950 0.2982
0.1176 3.6694 21000 0.2982
0.1214 3.6781 21050 0.2984
0.1285 3.6869 21100 0.2980
0.1265 3.6956 21150 0.2979
0.1266 3.7044 21200 0.2957
0.1212 3.7131 21250 0.2961
0.1283 3.7218 21300 0.2957
0.1251 3.7306 21350 0.2962
0.136 3.7393 21400 0.2973
0.1206 3.7480 21450 0.2963
0.1316 3.7568 21500 0.2977
0.1163 3.7655 21550 0.2996
0.1152 3.7742 21600 0.2998
0.1268 3.7830 21650 0.2992
0.1268 3.7917 21700 0.2978
0.1169 3.8005 21750 0.2974
0.126 3.8092 21800 0.2980
0.1112 3.8179 21850 0.2978
0.1152 3.8267 21900 0.2972
0.1181 3.8354 21950 0.2967
0.1177 3.8441 22000 0.2968
0.1308 3.8529 22050 0.2963
0.1221 3.8616 22100 0.2966
0.1187 3.8703 22150 0.2966
0.1326 3.8791 22200 0.2967
0.1363 3.8878 22250 0.2961
0.1178 3.8966 22300 0.2962
0.1126 3.9053 22350 0.2961
0.1318 3.9140 22400 0.2962
0.1404 3.9228 22450 0.2961
0.1299 3.9315 22500 0.2965
0.1245 3.9402 22550 0.2966
0.1259 3.9490 22600 0.2962
0.1116 3.9577 22650 0.2963
0.1176 3.9665 22700 0.2963
0.117 3.9752 22750 0.2961
0.1287 3.9839 22800 0.2962
0.1162 3.9927 22850 0.2962

Framework versions

  • PEFT 0.11.1
  • Transformers 4.42.4
  • Pytorch 2.3.1+cu121
  • Datasets 2.20.0
  • Tokenizers 0.19.1