Hugging Face's logo

SimonMA
/
Codellama-7b-lora-rps-adapter

PEFT
TensorBoard
Safetensors
trl
sft
Generated from Trainer
Model card Files Metrics Community
Codellama-7b-lora-rps-adapter / README.md
SimonMA's picture
SimonMA
End of training
109dca6 verified
preview code
|
raw
history blame
22.6 kB
metadata
license: llama2
library_name: peft
tags:
  - trl
  - sft
  - generated_from_trainer
base_model: codellama/CodeLlama-7b-Instruct-hf
model-index:
  - name: Codellama-7b-lora-rps-adapter
    results: []

Codellama-7b-lora-rps-adapter

This model is a fine-tuned version of codellama/CodeLlama-7b-Instruct-hf on the None dataset. It achieves the following results on the evaluation set:

  • Loss: 0.3206

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

  • learning_rate: 0.0002
  • train_batch_size: 2
  • eval_batch_size: 2
  • seed: 42
  • optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
  • lr_scheduler_type: linear
  • lr_scheduler_warmup_ratio: 0.03
  • num_epochs: 6

Training results

Training Loss Epoch Step Validation Loss
0.3007 1.18 5000 0.3014
0.2978 1.19 5050 0.3082
0.2726 1.2 5100 0.3060
0.2735 1.22 5150 0.3104
0.3216 1.23 5200 0.3058
0.258 1.24 5250 0.3076
0.278 1.25 5300 0.3095
0.2924 1.26 5350 0.3031
0.279 1.28 5400 0.3058
0.3125 1.29 5450 0.3009
0.329 1.3 5500 0.3064
0.2547 1.31 5550 0.3086
0.3001 1.32 5600 0.3027
0.2804 1.33 5650 0.3034
0.3309 1.35 5700 0.3014
0.3186 1.36 5750 0.3030
0.2765 1.37 5800 0.3011
0.2961 1.38 5850 0.3014
0.2825 1.39 5900 0.3006
0.2932 1.41 5950 0.2986
0.2905 1.42 6000 0.3113
0.2656 1.43 6050 0.2986
0.27 1.44 6100 0.3008
0.2808 1.45 6150 0.2972
0.3102 1.46 6200 0.2933
0.2885 1.48 6250 0.2958
0.315 1.49 6300 0.2965
0.3396 1.5 6350 0.2956
0.2955 1.51 6400 0.2917
0.2986 1.52 6450 0.2919
0.2952 1.54 6500 0.2924
0.2483 1.55 6550 0.2926
0.3115 1.56 6600 0.2938
0.3432 1.57 6650 0.2873
0.2858 1.58 6700 0.2863
0.256 1.59 6750 0.2909
0.2594 1.61 6800 0.2918
0.2719 1.62 6850 0.2915
0.2781 1.63 6900 0.2891
0.2827 1.64 6950 0.2887
0.2692 1.65 7000 0.2906
0.2931 1.67 7050 0.2925
0.3297 1.68 7100 0.2902
0.2818 1.69 7150 0.2894
0.321 1.7 7200 0.2874
0.2855 1.71 7250 0.2866
0.2638 1.72 7300 0.2897
0.2806 1.74 7350 0.2902
0.3048 1.75 7400 0.2902
0.2755 1.76 7450 0.2862
0.3178 1.77 7500 0.2880
0.2741 1.78 7550 0.2880
0.3232 1.8 7600 0.2877
0.2843 1.81 7650 0.2859
0.2774 1.82 7700 0.2863
0.3258 1.83 7750 0.2857
0.2939 1.84 7800 0.2865
0.2987 1.85 7850 0.2876
0.2934 1.87 7900 0.2809
0.2916 1.88 7950 0.2816
0.2805 1.89 8000 0.2828
0.3092 1.9 8050 0.2842
0.32 1.91 8100 0.2816
0.2644 1.93 8150 0.2847
0.2646 1.94 8200 0.2845
0.3287 1.95 8250 0.2841
0.2667 1.96 8300 0.2834
0.2657 1.97 8350 0.2837
0.2937 1.98 8400 0.2823
0.3119 2.0 8450 0.2782
0.241 2.01 8500 0.2938
0.2399 2.02 8550 0.2873
0.209 2.03 8600 0.2897
0.2162 2.04 8650 0.2923
0.2233 2.06 8700 0.2936
0.2133 2.07 8750 0.2872
0.2085 2.08 8800 0.2909
0.2502 2.09 8850 0.2892
0.2509 2.1 8900 0.2937
0.2101 2.11 8950 0.2908
0.2182 2.13 9000 0.2897
0.2154 2.14 9050 0.2934
0.2121 2.15 9100 0.2925
0.1998 2.16 9150 0.2927
0.2292 2.17 9200 0.2915
0.2196 2.19 9250 0.2927
0.2435 2.2 9300 0.2851
0.2135 2.21 9350 0.2898
0.2079 2.22 9400 0.2907
0.1996 2.23 9450 0.2880
0.2122 2.24 9500 0.2877
0.2678 2.26 9550 0.2885
0.2546 2.27 9600 0.2890
0.2662 2.28 9650 0.2865
0.2255 2.29 9700 0.2851
0.2413 2.3 9750 0.2857
0.2527 2.32 9800 0.2857
0.2195 2.33 9850 0.2856
0.2425 2.34 9900 0.2869
0.234 2.35 9950 0.2850
0.2203 2.36 10000 0.2861
0.234 2.37 10050 0.2853
0.2561 2.39 10100 0.2822
0.2553 2.4 10150 0.2846
0.2446 2.41 10200 0.2847
0.2265 2.42 10250 0.2831
0.206 2.43 10300 0.2869
0.2478 2.45 10350 0.2833
0.2107 2.46 10400 0.2856
0.2076 2.47 10450 0.2854
0.224 2.48 10500 0.2859
0.2118 2.49 10550 0.2841
0.2346 2.5 10600 0.2820
0.2395 2.52 10650 0.2786
0.264 2.53 10700 0.2826
0.2298 2.54 10750 0.2805
0.2041 2.55 10800 0.2792
0.2108 2.56 10850 0.2774
0.2487 2.58 10900 0.2802
0.2365 2.59 10950 0.2814
0.2233 2.6 11000 0.2812
0.2192 2.61 11050 0.2801
0.2113 2.62 11100 0.2828
0.2286 2.63 11150 0.2779
0.2251 2.65 11200 0.2792
0.2161 2.66 11250 0.2789
0.2213 2.67 11300 0.2782
0.2063 2.68 11350 0.2791
0.2042 2.69 11400 0.2789
0.188 2.7 11450 0.2793
0.2181 2.72 11500 0.2767
0.2187 2.73 11550 0.2784
0.2255 2.74 11600 0.2782
0.2529 2.75 11650 0.2753
0.2164 2.76 11700 0.2763
0.2039 2.78 11750 0.2766
0.2238 2.79 11800 0.2742
0.2393 2.8 11850 0.2757
0.2235 2.81 11900 0.2776
0.1983 2.82 11950 0.2778
0.2078 2.83 12000 0.2757
0.2487 2.85 12050 0.2748
0.2134 2.86 12100 0.2783
0.2503 2.87 12150 0.2772
0.2481 2.88 12200 0.2726
0.2274 2.89 12250 0.2755
0.243 2.91 12300 0.2738
0.2354 2.92 12350 0.2740
0.2323 2.93 12400 0.2729
0.2709 2.94 12450 0.2708
0.247 2.95 12500 0.2732
0.2242 2.96 12550 0.2727
0.2283 2.98 12600 0.2739
0.2057 2.99 12650 0.2730
0.2255 3.0 12700 0.2708
0.187 3.01 12750 0.2869
0.183 3.02 12800 0.2857
0.1653 3.04 12850 0.2910
0.1588 3.05 12900 0.2869
0.1742 3.06 12950 0.2873
0.1671 3.07 13000 0.2935
0.1506 3.08 13050 0.2896
0.1705 3.09 13100 0.2854
0.2033 3.11 13150 0.2872
0.1758 3.12 13200 0.2857
0.1483 3.13 13250 0.2875
0.1506 3.14 13300 0.2872
0.1602 3.15 13350 0.2874
0.1678 3.17 13400 0.2918
0.189 3.18 13450 0.2877
0.1654 3.19 13500 0.2878
0.1549 3.2 13550 0.2908
0.1669 3.21 13600 0.2886
0.1586 3.22 13650 0.2905
0.1714 3.24 13700 0.2858
0.1503 3.25 13750 0.2857
0.1706 3.26 13800 0.2889
0.1692 3.27 13850 0.2851
0.1828 3.28 13900 0.2877
0.1567 3.3 13950 0.2861
0.1559 3.31 14000 0.2897
0.1752 3.32 14050 0.2899
0.1702 3.33 14100 0.2870
0.1536 3.34 14150 0.2900
0.1771 3.35 14200 0.2881
0.1705 3.37 14250 0.2871
0.1679 3.38 14300 0.2840
0.1662 3.39 14350 0.2862
0.1502 3.4 14400 0.2881
0.1694 3.41 14450 0.2871
0.1699 3.43 14500 0.2840
0.1705 3.44 14550 0.2877
0.1741 3.45 14600 0.2874
0.1654 3.46 14650 0.2854
0.1956 3.47 14700 0.2845
0.1659 3.48 14750 0.2860
0.18 3.5 14800 0.2826
0.1645 3.51 14850 0.2829
0.1835 3.52 14900 0.2828
0.1645 3.53 14950 0.2839
0.1843 3.54 15000 0.2833
0.1796 3.56 15050 0.2799
0.1639 3.57 15100 0.2839
0.169 3.58 15150 0.2809
0.1568 3.59 15200 0.2817
0.1971 3.6 15250 0.2819
0.1702 3.61 15300 0.2787
0.1778 3.63 15350 0.2792
0.1862 3.64 15400 0.2786
0.1691 3.65 15450 0.2840
0.1679 3.66 15500 0.2844
0.1693 3.67 15550 0.2801
0.1622 3.69 15600 0.2773
0.1533 3.7 15650 0.2800
0.1674 3.71 15700 0.2786
0.1711 3.72 15750 0.2784
0.1683 3.73 15800 0.2797
0.1807 3.74 15850 0.2781
0.1698 3.76 15900 0.2779
0.1557 3.77 15950 0.2799
0.1801 3.78 16000 0.2783
0.184 3.79 16050 0.2765
0.1907 3.8 16100 0.2759
0.1626 3.82 16150 0.2766
0.1524 3.83 16200 0.2803
0.1574 3.84 16250 0.2784
0.1669 3.85 16300 0.2808
0.1888 3.86 16350 0.2782
0.1847 3.87 16400 0.2779
0.1846 3.89 16450 0.2783
0.183 3.9 16500 0.2783
0.1573 3.91 16550 0.2781
0.1729 3.92 16600 0.2788
0.1626 3.93 16650 0.2771
0.177 3.95 16700 0.2770
0.1529 3.96 16750 0.2773
0.1712 3.97 16800 0.2734
0.1748 3.98 16850 0.2740
0.1555 3.99 16900 0.2729
0.1464 4.0 16950 0.2843
0.1393 4.02 17000 0.2933
0.1237 4.03 17050 0.2943
0.1168 4.04 17100 0.2953
0.1121 4.05 17150 0.2948
0.1169 4.06 17200 0.2933
0.1209 4.08 17250 0.2936
0.1145 4.09 17300 0.2953
0.1143 4.1 17350 0.2946
0.1341 4.11 17400 0.2966
0.1299 4.12 17450 0.2921
0.1162 4.13 17500 0.2917
0.1175 4.15 17550 0.2937
0.1185 4.16 17600 0.2940
0.1185 4.17 17650 0.2922
0.1332 4.18 17700 0.2916
0.13 4.19 17750 0.2916
0.1301 4.21 17800 0.2921
0.1196 4.22 17850 0.2921
0.1169 4.23 17900 0.2924
0.1079 4.24 17950 0.2977
0.1103 4.25 18000 0.2945
0.1205 4.26 18050 0.2919
0.1191 4.28 18100 0.2918
0.1271 4.29 18150 0.2924
0.1181 4.3 18200 0.2934
0.1151 4.31 18250 0.2935
0.1323 4.32 18300 0.2922
0.1073 4.33 18350 0.2940
0.1173 4.35 18400 0.2898
0.118 4.36 18450 0.2937
0.122 4.37 18500 0.2921
0.1276 4.38 18550 0.2899
0.145 4.39 18600 0.2918
0.1219 4.41 18650 0.2943
0.1198 4.42 18700 0.2917
0.1242 4.43 18750 0.2926
0.1188 4.44 18800 0.2939
0.1098 4.45 18850 0.2946
0.1163 4.46 18900 0.2912
0.1181 4.48 18950 0.2912
0.1341 4.49 19000 0.2903
0.1198 4.5 19050 0.2890
0.1234 4.51 19100 0.2892
0.1192 4.52 19150 0.2933
0.1185 4.54 19200 0.2932
0.1122 4.55 19250 0.2925
0.1259 4.56 19300 0.2877
0.1218 4.57 19350 0.2903
0.1245 4.58 19400 0.2894
0.1086 4.59 19450 0.2914
0.1234 4.61 19500 0.2924
0.1238 4.62 19550 0.2929
0.1162 4.63 19600 0.2931
0.1271 4.64 19650 0.2910
0.1165 4.65 19700 0.2875
0.125 4.67 19750 0.2902
0.122 4.68 19800 0.2882
0.115 4.69 19850 0.2896
0.1112 4.7 19900 0.2904
0.1215 4.71 19950 0.2901
0.1241 4.72 20000 0.2912
0.1181 4.74 20050 0.2911
0.1215 4.75 20100 0.2901
0.1196 4.76 20150 0.2907
0.1205 4.77 20200 0.2919
0.1237 4.78 20250 0.2915
0.127 4.8 20300 0.2888
0.1108 4.81 20350 0.2923
0.1064 4.82 20400 0.2925
0.1238 4.83 20450 0.2899
0.1213 4.84 20500 0.2894
0.1325 4.85 20550 0.2891
0.1219 4.87 20600 0.2894
0.12 4.88 20650 0.2912
0.1241 4.89 20700 0.2878
0.1258 4.9 20750 0.2873
0.1201 4.91 20800 0.2900
0.1136 4.93 20850 0.2892
0.1308 4.94 20900 0.2879
0.1143 4.95 20950 0.2879
0.1161 4.96 21000 0.2911
0.108 4.97 21050 0.2884
0.1326 4.98 21100 0.2853
0.1127 5.0 21150 0.2887
0.0953 5.01 21200 0.3096
0.078 5.02 21250 0.3143
0.0815 5.03 21300 0.3126
0.0732 5.04 21350 0.3179
0.083 5.06 21400 0.3153
0.0726 5.07 21450 0.3163
0.073 5.08 21500 0.3144
0.0787 5.09 21550 0.3164
0.0763 5.1 21600 0.3146
0.0735 5.11 21650 0.3133
0.0809 5.13 21700 0.3179
0.0745 5.14 21750 0.3136
0.0803 5.15 21800 0.3153
0.0808 5.16 21850 0.3173
0.0735 5.17 21900 0.3194
0.0773 5.19 21950 0.3181
0.0758 5.2 22000 0.3199
0.0758 5.21 22050 0.3183
0.0735 5.22 22100 0.3158
0.0791 5.23 22150 0.3178
0.0828 5.24 22200 0.3190
0.0694 5.26 22250 0.3199
0.0745 5.27 22300 0.3190
0.0728 5.28 22350 0.3194
0.0716 5.29 22400 0.3211
0.0756 5.3 22450 0.3188
0.0713 5.32 22500 0.3188
0.0772 5.33 22550 0.3199
0.0809 5.34 22600 0.3184
0.0739 5.35 22650 0.3189
0.0739 5.36 22700 0.3186
0.0815 5.37 22750 0.3177
0.0734 5.39 22800 0.3183
0.084 5.4 22850 0.3168
0.0736 5.41 22900 0.3188
0.0761 5.42 22950 0.3188
0.0735 5.43 23000 0.3183
0.075 5.45 23050 0.3187
0.0767 5.46 23100 0.3192
0.0856 5.47 23150 0.3182
0.0695 5.48 23200 0.3210
0.0754 5.49 23250 0.3207
0.0795 5.5 23300 0.3197
0.0733 5.52 23350 0.3196
0.076 5.53 23400 0.3217
0.0764 5.54 23450 0.3197
0.0742 5.55 23500 0.3212
0.075 5.56 23550 0.3211
0.078 5.58 23600 0.3196
0.0798 5.59 23650 0.3200
0.0736 5.6 23700 0.3181
0.0848 5.61 23750 0.3184
0.0752 5.62 23800 0.3193
0.0732 5.63 23850 0.3186
0.0788 5.65 23900 0.3175
0.0822 5.66 23950 0.3186
0.0772 5.67 24000 0.3195
0.0779 5.68 24050 0.3197
0.0778 5.69 24100 0.3202
0.0765 5.71 24150 0.3207
0.0819 5.72 24200 0.3193
0.0767 5.73 24250 0.3204
0.0726 5.74 24300 0.3214
0.0911 5.75 24350 0.3212
0.0665 5.76 24400 0.3208
0.0733 5.78 24450 0.3208
0.0745 5.79 24500 0.3202
0.0735 5.8 24550 0.3203
0.0717 5.81 24600 0.3202
0.0693 5.82 24650 0.3203
0.0748 5.84 24700 0.3198
0.0722 5.85 24750 0.3203
0.0805 5.86 24800 0.3205
0.0761 5.87 24850 0.3210
0.0706 5.88 24900 0.3208
0.0701 5.89 24950 0.3213
0.0776 5.91 25000 0.3210
0.081 5.92 25050 0.3208
0.0698 5.93 25100 0.3207
0.0708 5.94 25150 0.3208
0.0785 5.95 25200 0.3206
0.0708 5.97 25250 0.3206
0.0721 5.98 25300 0.3206
0.0718 5.99 25350 0.3206

Framework versions

  • PEFT 0.10.0
  • Transformers 4.39.1
  • Pytorch 2.2.1+cu121
  • Datasets 2.18.0
  • Tokenizers 0.15.2