Hugging Face's logo

SimonMA
/
Codellama-7b-lora-rps-adapter

Transformers
TensorBoard
Safetensors
Generated from Trainer
trl
sft
Inference Endpoints
Model card Files Metrics Community
Codellama-7b-lora-rps-adapter / README.md
SimonMA's picture
SimonMA
End of training
c389f32 verified
preview code
|
raw
history blame
13.2 kB
metadata
base_model: codellama/CodeLlama-7b-Instruct-hf
library_name: peft
license: llama2
tags:
  - trl
  - sft
  - generated_from_trainer
model-index:
  - name: Codellama-7b-lora-rps-adapter
    results: []

Codellama-7b-lora-rps-adapter

This model is a fine-tuned version of codellama/CodeLlama-7b-Instruct-hf on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 0.3065

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0002
  • train_batch_size: 2
  • eval_batch_size: 2
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_ratio: 0.03
  • num_epochs: 4

Training results

Training Loss Epoch Step Validation Loss
0.189 2.1545 13000 0.2986
0.2052 2.1627 13050 0.2999
0.2068 2.1710 13100 0.2962
0.1851 2.1793 13150 0.2998
0.2012 2.1876 13200 0.2979
0.182 2.1959 13250 0.2975
0.2076 2.2042 13300 0.2975
0.1883 2.2125 13350 0.2966
0.1748 2.2207 13400 0.2962
0.1783 2.2290 13450 0.2982
0.1898 2.2373 13500 0.2976
0.2092 2.2456 13550 0.2966
0.1828 2.2539 13600 0.2955
0.1997 2.2622 13650 0.2974
0.1966 2.2705 13700 0.2975
0.2008 2.2788 13750 0.2955
0.2011 2.2870 13800 0.2946
0.1937 2.2953 13850 0.2979
0.2004 2.3036 13900 0.2956
0.1816 2.3119 13950 0.2971
0.1935 2.3202 14000 0.2957
0.1864 2.3285 14050 0.2962
0.1914 2.3368 14100 0.2945
0.1939 2.3450 14150 0.2948
0.1912 2.3533 14200 0.2954
0.1862 2.3616 14250 0.2956
0.1951 2.3699 14300 0.2950
0.1958 2.3782 14350 0.2942
0.1838 2.3865 14400 0.2940
0.2191 2.3948 14450 0.2941
0.1995 2.4030 14500 0.2922
0.1954 2.4113 14550 0.2952
0.1959 2.4196 14600 0.2969
0.1849 2.4279 14650 0.2934
0.1842 2.4362 14700 0.2938
0.1858 2.4445 14750 0.2943
0.1827 2.4528 14800 0.2942
0.198 2.4611 14850 0.2921
0.2311 2.4693 14900 0.2951
0.2 2.4776 14950 0.2932
0.1871 2.4859 15000 0.2935
0.1833 2.4942 15050 0.2947
0.2216 2.5025 15100 0.2921
0.1829 2.5108 15150 0.2924
0.1772 2.5191 15200 0.2916
0.1806 2.5273 15250 0.2930
0.2089 2.5356 15300 0.2920
0.216 2.5439 15350 0.2922
0.1763 2.5522 15400 0.2908
0.1835 2.5605 15450 0.2924
0.1928 2.5688 15500 0.2925
0.1982 2.5771 15550 0.2895
0.195 2.5853 15600 0.2907
0.1791 2.5936 15650 0.2904
0.1782 2.6019 15700 0.2915
0.1871 2.6102 15750 0.2898
0.1892 2.6185 15800 0.2916
0.1921 2.6268 15850 0.2914
0.1799 2.6351 15900 0.2890
0.1923 2.6434 15950 0.2870
0.2109 2.6516 16000 0.2910
0.2088 2.6599 16050 0.2890
0.1968 2.6682 16100 0.2880
0.1938 2.6765 16150 0.2904
0.1839 2.6848 16200 0.2921
0.1764 2.6931 16250 0.2907
0.1696 2.7014 16300 0.2897
0.2276 2.7096 16350 0.2892
0.1968 2.7179 16400 0.2875
0.1991 2.7262 16450 0.2884
0.1683 2.7345 16500 0.2883
0.1765 2.7428 16550 0.2879
0.1988 2.7511 16600 0.2883
0.1921 2.7594 16650 0.2887
0.1799 2.7676 16700 0.2894
0.1907 2.7759 16750 0.2895
0.1805 2.7842 16800 0.2894
0.1595 2.7925 16850 0.2884
0.1758 2.8008 16900 0.2870
0.1768 2.8091 16950 0.2868
0.2019 2.8174 17000 0.2859
0.1985 2.8257 17050 0.2868
0.2022 2.8339 17100 0.2865
0.213 2.8422 17150 0.2858
0.1809 2.8505 17200 0.2859
0.1735 2.8588 17250 0.2868
0.1929 2.8671 17300 0.2866
0.1908 2.8754 17350 0.2862
0.2051 2.8837 17400 0.2857
0.1711 2.8919 17450 0.2863
0.1926 2.9002 17500 0.2863
0.1923 2.9085 17550 0.2847
0.198 2.9168 17600 0.2870
0.1882 2.9251 17650 0.2872
0.1932 2.9334 17700 0.2846
0.1839 2.9417 17750 0.2852
0.2221 2.9500 17800 0.2836
0.1874 2.9582 17850 0.2844
0.1677 2.9665 17900 0.2851
0.1802 2.9748 17950 0.2832
0.1873 2.9831 18000 0.2846
0.187 2.9914 18050 0.2856
0.1837 2.9997 18100 0.2866
0.1303 3.0080 18150 0.3016
0.125 3.0162 18200 0.3052
0.1264 3.0245 18250 0.3051
0.1199 3.0328 18300 0.3092
0.1403 3.0411 18350 0.3044
0.128 3.0494 18400 0.3089
0.1466 3.0577 18450 0.3043
0.1307 3.0660 18500 0.3046
0.135 3.0742 18550 0.3071
0.1282 3.0825 18600 0.3053
0.1343 3.0908 18650 0.3073
0.1211 3.0991 18700 0.3069
0.1382 3.1074 18750 0.3058
0.1347 3.1157 18800 0.3064
0.1246 3.1240 18850 0.3087
0.1278 3.1323 18900 0.3075
0.1233 3.1405 18950 0.3083
0.1393 3.1488 19000 0.3069
0.124 3.1571 19050 0.3049
0.138 3.1654 19100 0.3064
0.1355 3.1737 19150 0.3073
0.1401 3.1820 19200 0.3084
0.1196 3.1903 19250 0.3107
0.1248 3.1985 19300 0.3088
0.1342 3.2068 19350 0.3077
0.1436 3.2151 19400 0.3062
0.1467 3.2234 19450 0.3079
0.1246 3.2317 19500 0.3095
0.1293 3.2400 19550 0.3068
0.1236 3.2483 19600 0.3100
0.1385 3.2565 19650 0.3074
0.1194 3.2648 19700 0.3068
0.1283 3.2731 19750 0.3077
0.1412 3.2814 19800 0.3064
0.1209 3.2897 19850 0.3070
0.145 3.2980 19900 0.3068
0.1416 3.3063 19950 0.3052
0.1138 3.3146 20000 0.3057
0.1296 3.3228 20050 0.3076
0.1419 3.3311 20100 0.3093
0.1243 3.3394 20150 0.3083
0.1206 3.3477 20200 0.3082
0.1279 3.3560 20250 0.3070
0.13 3.3643 20300 0.3070
0.1284 3.3726 20350 0.3064
0.1259 3.3808 20400 0.3074
0.1255 3.3891 20450 0.3052
0.1227 3.3974 20500 0.3062
0.1381 3.4057 20550 0.3066
0.1304 3.4140 20600 0.3065
0.1388 3.4223 20650 0.3071
0.1227 3.4306 20700 0.3065
0.1185 3.4388 20750 0.3062
0.1289 3.4471 20800 0.3083
0.1367 3.4554 20850 0.3089
0.1241 3.4637 20900 0.3070
0.1137 3.4720 20950 0.3092
0.1177 3.4803 21000 0.3080
0.1369 3.4886 21050 0.3073
0.126 3.4969 21100 0.3072
0.1174 3.5051 21150 0.3074
0.1235 3.5134 21200 0.3077
0.1297 3.5217 21250 0.3068
0.1377 3.5300 21300 0.3078
0.1215 3.5383 21350 0.3062
0.1358 3.5466 21400 0.3069
0.1123 3.5549 21450 0.3076
0.1358 3.5631 21500 0.3080
0.1396 3.5714 21550 0.3061
0.1216 3.5797 21600 0.3075
0.1162 3.5880 21650 0.3081
0.128 3.5963 21700 0.3061
0.1173 3.6046 21750 0.3070
0.125 3.6129 21800 0.3065
0.1262 3.6211 21850 0.3077
0.1249 3.6294 21900 0.3073
0.1212 3.6377 21950 0.3071
0.1188 3.6460 22000 0.3065
0.1241 3.6543 22050 0.3054
0.1302 3.6626 22100 0.3064
0.1329 3.6709 22150 0.3055
0.1276 3.6792 22200 0.3059
0.1336 3.6874 22250 0.3082
0.1173 3.6957 22300 0.3091
0.1205 3.7040 22350 0.3075
0.1196 3.7123 22400 0.3080
0.1128 3.7206 22450 0.3066
0.1188 3.7289 22500 0.3079
0.1154 3.7372 22550 0.3076
0.135 3.7454 22600 0.3076
0.1341 3.7537 22650 0.3067
0.1396 3.7620 22700 0.3062
0.1336 3.7703 22750 0.3059
0.1295 3.7786 22800 0.3066
0.1226 3.7869 22850 0.3068
0.1299 3.7952 22900 0.3067
0.1355 3.8034 22950 0.3068
0.1197 3.8117 23000 0.3069
0.1196 3.8200 23050 0.3075
0.1413 3.8283 23100 0.3066
0.1377 3.8366 23150 0.3064
0.1082 3.8449 23200 0.3074
0.129 3.8532 23250 0.3074
0.1279 3.8615 23300 0.3073
0.1296 3.8697 23350 0.3064
0.121 3.8780 23400 0.3072
0.1267 3.8863 23450 0.3069
0.1224 3.8946 23500 0.3071
0.1187 3.9029 23550 0.3073
0.1264 3.9112 23600 0.3074
0.1252 3.9195 23650 0.3073
0.1279 3.9277 23700 0.3072
0.1262 3.9360 23750 0.3070
0.1255 3.9443 23800 0.3068
0.1227 3.9526 23850 0.3066
0.1285 3.9609 23900 0.3068
0.1225 3.9692 23950 0.3068
0.1302 3.9775 24000 0.3066
0.1501 3.9857 24050 0.3065
0.126 3.9940 24100 0.3065

Framework versions

  • PEFT 0.12.0
  • Transformers 4.44.2
  • Pytorch 2.4.0+cu121
  • Datasets 3.0.0
  • Tokenizers 0.19.1