Hugging Face's logo

SimonMA
/
Codellama-7b-lora-rps-adapter

Transformers
TensorBoard
Safetensors
Generated from Trainer
trl
sft
Inference Endpoints
Model card Files Metrics Community
Codellama-7b-lora-rps-adapter / README.md
SimonMA's picture
SimonMA
End of training
a43ac42 verified
preview code
|
raw
history blame
12.9 kB
metadata
base_model: codellama/CodeLlama-7b-Instruct-hf
library_name: peft
license: llama2
tags:
  - trl
  - sft
  - generated_from_trainer
model-index:
  - name: Codellama-7b-lora-rps-adapter
    results: []

Codellama-7b-lora-rps-adapter

This model is a fine-tuned version of codellama/CodeLlama-7b-Instruct-hf on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 0.3056

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0002
  • train_batch_size: 2
  • eval_batch_size: 2
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_ratio: 0.03
  • num_epochs: 4

Training results

Training Loss Epoch Step Validation Loss
0.2053 2.3256 15000 0.2969
0.1942 2.3333 15050 0.2944
0.1871 2.3411 15100 0.2949
0.1845 2.3488 15150 0.2954
0.2108 2.3566 15200 0.2950
0.2065 2.3643 15250 0.2951
0.193 2.3721 15300 0.2961
0.1947 2.3798 15350 0.2953
0.1922 2.3876 15400 0.2949
0.1777 2.3953 15450 0.2949
0.212 2.4031 15500 0.2949
0.1962 2.4109 15550 0.2949
0.1789 2.4186 15600 0.2951
0.2183 2.4264 15650 0.2923
0.1962 2.4341 15700 0.2947
0.1907 2.4419 15750 0.2928
0.1936 2.4496 15800 0.2956
0.2086 2.4574 15850 0.2933
0.1895 2.4651 15900 0.2959
0.2157 2.4729 15950 0.2932
0.1897 2.4806 16000 0.2926
0.1862 2.4884 16050 0.2937
0.1899 2.4961 16100 0.2955
0.187 2.5039 16150 0.2970
0.2126 2.5116 16200 0.2941
0.1973 2.5194 16250 0.2933
0.1743 2.5271 16300 0.2930
0.1958 2.5349 16350 0.2938
0.2162 2.5426 16400 0.2919
0.1872 2.5504 16450 0.2936
0.1821 2.5581 16500 0.2940
0.2193 2.5659 16550 0.2940
0.1983 2.5736 16600 0.2943
0.2121 2.5814 16650 0.2941
0.1969 2.5891 16700 0.2923
0.1963 2.5969 16750 0.2921
0.2042 2.6047 16800 0.2938
0.1921 2.6124 16850 0.2914
0.2081 2.6202 16900 0.2917
0.1711 2.6279 16950 0.2923
0.1897 2.6357 17000 0.2918
0.1917 2.6434 17050 0.2933
0.1991 2.6512 17100 0.2909
0.2055 2.6589 17150 0.2930
0.1932 2.6667 17200 0.2907
0.2043 2.6744 17250 0.2937
0.1922 2.6822 17300 0.2922
0.1785 2.6899 17350 0.2922
0.2337 2.6977 17400 0.2908
0.1933 2.7054 17450 0.2922
0.2012 2.7132 17500 0.2914
0.1959 2.7209 17550 0.2910
0.1933 2.7287 17600 0.2882
0.1824 2.7364 17650 0.2889
0.2016 2.7442 17700 0.2898
0.2024 2.7519 17750 0.2915
0.2101 2.7597 17800 0.2888
0.1782 2.7674 17850 0.2908
0.2047 2.7752 17900 0.2902
0.195 2.7829 17950 0.2895
0.2122 2.7907 18000 0.2884
0.2099 2.7984 18050 0.2869
0.2054 2.8062 18100 0.2882
0.193 2.8140 18150 0.2884
0.187 2.8217 18200 0.2895
0.1997 2.8295 18250 0.2883
0.1885 2.8372 18300 0.2896
0.1957 2.8450 18350 0.2871
0.1905 2.8527 18400 0.2879
0.1933 2.8605 18450 0.2880
0.1953 2.8682 18500 0.2871
0.205 2.8760 18550 0.2865
0.191 2.8837 18600 0.2870
0.1903 2.8915 18650 0.2870
0.1897 2.8992 18700 0.2873
0.1966 2.9070 18750 0.2871
0.228 2.9147 18800 0.2875
0.1948 2.9225 18850 0.2870
0.1843 2.9302 18900 0.2859
0.2037 2.9380 18950 0.2872
0.2087 2.9457 19000 0.2855
0.1777 2.9535 19050 0.2864
0.1852 2.9612 19100 0.2866
0.1879 2.9690 19150 0.2858
0.2096 2.9767 19200 0.2848
0.1846 2.9845 19250 0.2857
0.1782 2.9922 19300 0.2859
0.1762 3.0 19350 0.2864
0.1339 3.0078 19400 0.3056
0.1356 3.0155 19450 0.3067
0.136 3.0233 19500 0.3073
0.1389 3.0310 19550 0.3089
0.1362 3.0388 19600 0.3084
0.1384 3.0465 19650 0.3085
0.1167 3.0543 19700 0.3092
0.1291 3.0620 19750 0.3078
0.1292 3.0698 19800 0.3092
0.1257 3.0775 19850 0.3099
0.1384 3.0853 19900 0.3088
0.1355 3.0930 19950 0.3076
0.1244 3.1008 20000 0.3088
0.141 3.1085 20050 0.3082
0.1398 3.1163 20100 0.3080
0.1415 3.1240 20150 0.3085
0.1521 3.1318 20200 0.3067
0.1266 3.1395 20250 0.3097
0.1254 3.1473 20300 0.3101
0.1403 3.1550 20350 0.3053
0.1395 3.1628 20400 0.3085
0.1328 3.1705 20450 0.3074
0.1381 3.1783 20500 0.3090
0.1323 3.1860 20550 0.3058
0.1299 3.1938 20600 0.3092
0.1432 3.2016 20650 0.3074
0.1399 3.2093 20700 0.3071
0.1288 3.2171 20750 0.3076
0.1464 3.2248 20800 0.3060
0.1347 3.2326 20850 0.3066
0.1336 3.2403 20900 0.3080
0.1245 3.2481 20950 0.3069
0.1305 3.2558 21000 0.3080
0.1379 3.2636 21050 0.3050
0.1269 3.2713 21100 0.3074
0.1379 3.2791 21150 0.3067
0.1348 3.2868 21200 0.3077
0.1261 3.2946 21250 0.3116
0.1354 3.3023 21300 0.3064
0.1323 3.3101 21350 0.3061
0.1255 3.3178 21400 0.3078
0.135 3.3256 21450 0.3073
0.1354 3.3333 21500 0.3070
0.1391 3.3411 21550 0.3066
0.1295 3.3488 21600 0.3086
0.1215 3.3566 21650 0.3085
0.1411 3.3643 21700 0.3072
0.1393 3.3721 21750 0.3090
0.132 3.3798 21800 0.3086
0.1199 3.3876 21850 0.3089
0.1349 3.3953 21900 0.3069
0.1325 3.4031 21950 0.3084
0.1247 3.4109 22000 0.3082
0.1178 3.4186 22050 0.3062
0.1218 3.4264 22100 0.3090
0.131 3.4341 22150 0.3100
0.1274 3.4419 22200 0.3070
0.136 3.4496 22250 0.3083
0.1458 3.4574 22300 0.3076
0.1365 3.4651 22350 0.3087
0.1362 3.4729 22400 0.3071
0.1318 3.4806 22450 0.3073
0.138 3.4884 22500 0.3067
0.1413 3.4961 22550 0.3080
0.1365 3.5039 22600 0.3087
0.1236 3.5116 22650 0.3078
0.1503 3.5194 22700 0.3063
0.1437 3.5271 22750 0.3070
0.1338 3.5349 22800 0.3070
0.1256 3.5426 22850 0.3080
0.1296 3.5504 22900 0.3074
0.1286 3.5581 22950 0.3061
0.1334 3.5659 23000 0.3075
0.133 3.5736 23050 0.3058
0.113 3.5814 23100 0.3060
0.1238 3.5891 23150 0.3052
0.1398 3.5969 23200 0.3044
0.142 3.6047 23250 0.3054
0.1257 3.6124 23300 0.3059
0.1324 3.6202 23350 0.3052
0.1376 3.6279 23400 0.3039
0.1343 3.6357 23450 0.3037
0.1264 3.6434 23500 0.3054
0.1263 3.6512 23550 0.3062
0.127 3.6589 23600 0.3054
0.1187 3.6667 23650 0.3054
0.1204 3.6744 23700 0.3059
0.1148 3.6822 23750 0.3065
0.1205 3.6899 23800 0.3073
0.1277 3.6977 23850 0.3067
0.1356 3.7054 23900 0.3067
0.1518 3.7132 23950 0.3064
0.1307 3.7209 24000 0.3062
0.1344 3.7287 24050 0.3061
0.1326 3.7364 24100 0.3065
0.1246 3.7442 24150 0.3074
0.1319 3.7519 24200 0.3071
0.1436 3.7597 24250 0.3063
0.1389 3.7674 24300 0.3064
0.1275 3.7752 24350 0.3065
0.1353 3.7829 24400 0.3061
0.1289 3.7907 24450 0.3056
0.1326 3.7984 24500 0.3053
0.1244 3.8062 24550 0.3054
0.1287 3.8140 24600 0.3056
0.1168 3.8217 24650 0.3058
0.1298 3.8295 24700 0.3055
0.1231 3.8372 24750 0.3057
0.1289 3.8450 24800 0.3059
0.1184 3.8527 24850 0.3056
0.1226 3.8605 24900 0.3055
0.1593 3.8682 24950 0.3057
0.128 3.8760 25000 0.3064
0.1332 3.8837 25050 0.3058
0.1397 3.8915 25100 0.3055
0.1059 3.8992 25150 0.3058
0.1281 3.9070 25200 0.3054
0.1277 3.9147 25250 0.3056
0.1119 3.9225 25300 0.3059
0.1212 3.9302 25350 0.3059
0.1131 3.9380 25400 0.3059
0.1407 3.9457 25450 0.3059
0.1286 3.9535 25500 0.3056
0.1252 3.9612 25550 0.3056
0.138 3.9690 25600 0.3056
0.1245 3.9767 25650 0.3056
0.1213 3.9845 25700 0.3056
0.1276 3.9922 25750 0.3056
0.1328 4.0 25800 0.3056

Framework versions

  • PEFT 0.12.0
  • Transformers 4.44.2
  • Pytorch 2.4.1+cu121
  • Datasets 3.0.0
  • Tokenizers 0.19.1