Hugging Face's logo

SimonMA
/
Codellama-7b-lora-rps-adapter

PEFT
TensorBoard
Safetensors
trl
sft
Generated from Trainer
Model card Files Metrics Community
Codellama-7b-lora-rps-adapter / README.md
SimonMA's picture
SimonMA
End of training
6c44b38 verified
preview code
|
raw
history blame
13.7 kB
metadata
license: llama2
library_name: peft
tags:
  - trl
  - sft
  - generated_from_trainer
base_model: codellama/CodeLlama-7b-Instruct-hf
model-index:
  - name: Codellama-7b-lora-rps-adapter
    results: []

Codellama-7b-lora-rps-adapter

This model is a fine-tuned version of codellama/CodeLlama-7b-Instruct-hf on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 0.3064

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0002
  • train_batch_size: 2
  • eval_batch_size: 2
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_ratio: 0.03
  • num_epochs: 4

Training results

Training Loss Epoch Step Validation Loss
0.2516 1.8549 10000 0.2925
0.2922 1.8642 10050 0.2922
0.266 1.8735 10100 0.2930
0.2656 1.8828 10150 0.2932
0.2594 1.8920 10200 0.2916
0.255 1.9013 10250 0.2915
0.2722 1.9106 10300 0.2922
0.2211 1.9199 10350 0.2921
0.2755 1.9291 10400 0.2909
0.2222 1.9384 10450 0.2919
0.227 1.9477 10500 0.2913
0.2264 1.9570 10550 0.2929
0.2623 1.9662 10600 0.2915
0.2488 1.9755 10650 0.2919
0.2593 1.9848 10700 0.2902
0.2277 1.9941 10750 0.2896
0.2307 2.0033 10800 0.2930
0.1822 2.0126 10850 0.2991
0.1777 2.0219 10900 0.2991
0.1916 2.0312 10950 0.3001
0.1895 2.0404 11000 0.3005
0.2034 2.0497 11050 0.2991
0.2086 2.0590 11100 0.2999
0.1951 2.0683 11150 0.2983
0.1652 2.0775 11200 0.2988
0.1861 2.0868 11250 0.2996
0.1655 2.0961 11300 0.3025
0.201 2.1054 11350 0.2996
0.1877 2.1146 11400 0.3011
0.1832 2.1239 11450 0.3018
0.18 2.1332 11500 0.2991
0.1865 2.1425 11550 0.3029
0.1918 2.1517 11600 0.2994
0.1917 2.1610 11650 0.2983
0.1722 2.1703 11700 0.3000
0.1865 2.1796 11750 0.2987
0.1997 2.1888 11800 0.2987
0.1907 2.1981 11850 0.3019
0.1981 2.2074 11900 0.2974
0.1918 2.2167 11950 0.2986
0.1839 2.2259 12000 0.2987
0.1888 2.2352 12050 0.2969
0.1763 2.2445 12100 0.2989
0.1996 2.2538 12150 0.2982
0.1917 2.2630 12200 0.3011
0.172 2.2723 12250 0.2997
0.1857 2.2816 12300 0.3035
0.1844 2.2909 12350 0.2978
0.2055 2.3001 12400 0.2986
0.189 2.3094 12450 0.2979
0.1958 2.3187 12500 0.2977
0.1954 2.3280 12550 0.2988
0.1796 2.3372 12600 0.2983
0.2019 2.3465 12650 0.2955
0.1816 2.3558 12700 0.2962
0.1763 2.3651 12750 0.2976
0.1892 2.3743 12800 0.2968
0.1805 2.3836 12850 0.2973
0.1878 2.3929 12900 0.2958
0.1852 2.4022 12950 0.2971
0.1907 2.4114 13000 0.2985
0.2004 2.4207 13050 0.2970
0.1871 2.4300 13100 0.2965
0.1958 2.4393 13150 0.2966
0.2132 2.4485 13200 0.2940
0.1819 2.4578 13250 0.2951
0.1627 2.4671 13300 0.2965
0.1821 2.4763 13350 0.2954
0.1902 2.4856 13400 0.2939
0.1992 2.4949 13450 0.2960
0.1936 2.5042 13500 0.2946
0.2074 2.5134 13550 0.2937
0.1877 2.5227 13600 0.2959
0.2026 2.5320 13650 0.2935
0.1816 2.5413 13700 0.2961
0.1769 2.5505 13750 0.2941
0.175 2.5598 13800 0.2944
0.1791 2.5691 13850 0.2954
0.2015 2.5784 13900 0.2946
0.1845 2.5876 13950 0.2926
0.1699 2.5969 14000 0.2952
0.1739 2.6062 14050 0.2930
0.1817 2.6155 14100 0.2933
0.174 2.6247 14150 0.2943
0.2047 2.6340 14200 0.2936
0.1843 2.6433 14250 0.2939
0.2035 2.6526 14300 0.2933
0.2025 2.6618 14350 0.2935
0.1896 2.6711 14400 0.2937
0.2029 2.6804 14450 0.2938
0.1953 2.6897 14500 0.2941
0.1952 2.6989 14550 0.2930
0.1847 2.7082 14600 0.2920
0.1896 2.7175 14650 0.2935
0.1703 2.7268 14700 0.2921
0.1845 2.7360 14750 0.2923
0.1809 2.7453 14800 0.2920
0.1924 2.7546 14850 0.2929
0.1894 2.7639 14900 0.2909
0.1926 2.7731 14950 0.2908
0.2106 2.7824 15000 0.2921
0.1705 2.7917 15050 0.2903
0.1739 2.8010 15100 0.2892
0.1798 2.8102 15150 0.2921
0.2088 2.8195 15200 0.2909
0.1862 2.8288 15250 0.2920
0.1891 2.8381 15300 0.2919
0.2022 2.8473 15350 0.2899
0.1655 2.8566 15400 0.2908
0.1771 2.8659 15450 0.2905
0.1747 2.8752 15500 0.2886
0.1904 2.8844 15550 0.2891
0.1821 2.8937 15600 0.2892
0.1687 2.9030 15650 0.2892
0.1837 2.9123 15700 0.2904
0.1643 2.9215 15750 0.2898
0.1897 2.9308 15800 0.2882
0.2062 2.9401 15850 0.2885
0.178 2.9494 15900 0.2881
0.1719 2.9586 15950 0.2902
0.1866 2.9679 16000 0.2881
0.1678 2.9772 16050 0.2878
0.1794 2.9865 16100 0.2889
0.1805 2.9957 16150 0.2878
0.161 3.0050 16200 0.2981
0.1198 3.0143 16250 0.3084
0.1213 3.0236 16300 0.3084
0.144 3.0328 16350 0.3076
0.1362 3.0421 16400 0.3092
0.1315 3.0514 16450 0.3089
0.1358 3.0607 16500 0.3094
0.1276 3.0699 16550 0.3087
0.125 3.0792 16600 0.3114
0.1203 3.0885 16650 0.3112
0.1295 3.0978 16700 0.3100
0.1191 3.1070 16750 0.3092
0.1379 3.1163 16800 0.3087
0.1175 3.1256 16850 0.3122
0.1314 3.1349 16900 0.3066
0.1266 3.1441 16950 0.3077
0.1158 3.1534 17000 0.3088
0.128 3.1627 17050 0.3106
0.1368 3.1720 17100 0.3095
0.1334 3.1812 17150 0.3055
0.1265 3.1905 17200 0.3104
0.133 3.1998 17250 0.3068
0.1263 3.2091 17300 0.3078
0.1269 3.2183 17350 0.3091
0.1372 3.2276 17400 0.3083
0.122 3.2369 17450 0.3083
0.1403 3.2462 17500 0.3087
0.1331 3.2554 17550 0.3086
0.1296 3.2647 17600 0.3079
0.1248 3.2740 17650 0.3056
0.1299 3.2832 17700 0.3088
0.1283 3.2925 17750 0.3086
0.1286 3.3018 17800 0.3077
0.1165 3.3111 17850 0.3088
0.1228 3.3203 17900 0.3082
0.1258 3.3296 17950 0.3096
0.1246 3.3389 18000 0.3124
0.1238 3.3482 18050 0.3111
0.1211 3.3574 18100 0.3088
0.1345 3.3667 18150 0.3069
0.1362 3.3760 18200 0.3066
0.1199 3.3853 18250 0.3065
0.1252 3.3945 18300 0.3064
0.1209 3.4038 18350 0.3096
0.1414 3.4131 18400 0.3062
0.1496 3.4224 18450 0.3059
0.1163 3.4316 18500 0.3064
0.1459 3.4409 18550 0.3067
0.1299 3.4502 18600 0.3088
0.1285 3.4595 18650 0.3064
0.1252 3.4687 18700 0.3076
0.1208 3.4780 18750 0.3074
0.1194 3.4873 18800 0.3080
0.1308 3.4966 18850 0.3061
0.1137 3.5058 18900 0.3061
0.1119 3.5151 18950 0.3081
0.1251 3.5244 19000 0.3080
0.1259 3.5337 19050 0.3063
0.1311 3.5429 19100 0.3066
0.1123 3.5522 19150 0.3075
0.1255 3.5615 19200 0.3082
0.1259 3.5708 19250 0.3072
0.1279 3.5800 19300 0.3057
0.1397 3.5893 19350 0.3048
0.1179 3.5986 19400 0.3060
0.1412 3.6079 19450 0.3057
0.1151 3.6171 19500 0.3069
0.1138 3.6264 19550 0.3076
0.1357 3.6357 19600 0.3077
0.114 3.6450 19650 0.3086
0.118 3.6542 19700 0.3085
0.1388 3.6635 19750 0.3074
0.1253 3.6728 19800 0.3081
0.1243 3.6821 19850 0.3069
0.1241 3.6913 19900 0.3068
0.1336 3.7006 19950 0.3067
0.1252 3.7099 20000 0.3079
0.1198 3.7192 20050 0.3077
0.1416 3.7284 20100 0.3054
0.1268 3.7377 20150 0.3071
0.126 3.7470 20200 0.3073
0.1123 3.7563 20250 0.3076
0.1228 3.7655 20300 0.3070
0.1199 3.7748 20350 0.3082
0.1307 3.7841 20400 0.3079
0.1234 3.7934 20450 0.3071
0.1346 3.8026 20500 0.3074
0.1115 3.8119 20550 0.3074
0.1183 3.8212 20600 0.3067
0.1185 3.8305 20650 0.3066
0.1203 3.8397 20700 0.3074
0.1262 3.8490 20750 0.3078
0.1232 3.8583 20800 0.3077
0.1196 3.8676 20850 0.3075
0.1217 3.8768 20900 0.3071
0.1392 3.8861 20950 0.3068
0.117 3.8954 21000 0.3065
0.1396 3.9047 21050 0.3058
0.1149 3.9139 21100 0.3061
0.1235 3.9232 21150 0.3062
0.125 3.9325 21200 0.3064
0.1272 3.9418 21250 0.3060
0.1189 3.9510 21300 0.3062
0.1132 3.9603 21350 0.3064
0.1221 3.9696 21400 0.3063
0.1283 3.9789 21450 0.3064
0.135 3.9881 21500 0.3063
0.1207 3.9974 21550 0.3064

Framework versions

  • PEFT 0.11.1
  • Transformers 4.41.2
  • Pytorch 2.3.0+cu121
  • Datasets 2.20.0
  • Tokenizers 0.19.1