Team-PIXEL/pixel-small-mono

monospace-pixel-small

This model is a fine-tuned version of on the wikipedia dataset. It achieves the following results on the evaluation set:

• Loss: 0.2340

Model description

More information needed

Intended uses & limitations

More information needed

Training and evaluation data

More information needed

Training procedure

Training hyperparameters

The following hyperparameters were used during training:

• learning_rate: 0.0003
• train_batch_size: 64
• eval_batch_size: 8
• seed: 42
• distributed_type: multi-GPU
• num_devices: 8
• total_train_batch_size: 512
• total_eval_batch_size: 64
• optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
• lr_scheduler_type: cosine
• lr_scheduler_warmup_ratio: 0.05
• training_steps: 500000

Training results

Training Loss	Epoch	Step	Validation Loss
0.6779	0.02	1000	0.6512
0.6505	0.05	2000	0.6479
0.6475	0.07	3000	0.6461
0.6464	0.09	4000	0.6451
0.6455	0.12	5000	0.6444
0.6448	0.14	6000	0.6439
0.6222	0.16	7000	0.6123
0.6019	0.19	8000	0.5873
0.5838	0.21	9000	0.5689
0.5612	0.23	10000	0.5473
0.5428	0.26	11000	0.5301
0.527	0.28	12000	0.5141
0.5142	0.3	13000	0.5023
0.5002	0.33	14000	0.4842
0.4852	0.35	15000	0.4707
0.4697	0.37	16000	0.4562
0.459	0.4	17000	0.4430
0.45	0.42	18000	0.4343
0.4411	0.44	19000	0.4250
0.4322	0.47	20000	0.4133
0.4233	0.49	21000	0.4033
0.4146	0.51	22000	0.3944
0.4077	0.54	23000	0.3865
0.4019	0.56	24000	0.3818
0.3968	0.58	25000	0.3785
0.392	0.61	26000	0.3732
0.3869	0.63	27000	0.3670
0.3828	0.65	28000	0.3616
0.3786	0.68	29000	0.3613
0.3751	0.7	30000	0.3555
0.3713	0.72	31000	0.3529
0.3681	0.75	32000	0.3517
0.3656	0.77	33000	0.3477
0.3626	0.79	34000	0.3423
0.3601	0.82	35000	0.3443
0.3577	0.84	36000	0.3400
0.3555	0.86	37000	0.3369
0.3532	0.89	38000	0.3357
0.3514	0.91	39000	0.3329
0.3493	0.93	40000	0.3323
0.3477	0.96	41000	0.3314
0.3459	0.98	42000	0.3256
0.3441	1.0	43000	0.3270
0.3424	1.03	44000	0.3216
0.3408	1.05	45000	0.3245
0.3394	1.07	46000	0.3232
0.338	1.1	47000	0.3225
0.3363	1.12	48000	0.3195
0.3353	1.14	49000	0.3167
0.3338	1.16	50000	0.3172
0.3325	1.19	51000	0.3168
0.3316	1.21	52000	0.3141
0.3305	1.23	53000	0.3114
0.3303	1.26	54000	0.3110
0.3284	1.28	55000	0.3112
0.3276	1.3	56000	0.3099
0.3264	1.33	57000	0.3089
0.3256	1.35	58000	0.3104
0.3247	1.37	59000	0.3088
0.3241	1.4	60000	0.3056
0.3229	1.42	61000	0.3048
0.3223	1.44	62000	0.3062
0.3215	1.47	63000	0.3042
0.3208	1.49	64000	0.3029
0.3201	1.51	65000	0.3009
0.3198	1.54	66000	0.3037
0.3187	1.56	67000	0.3021
0.3179	1.58	68000	0.2990
0.3176	1.61	69000	0.3009
0.3169	1.63	70000	0.3002
0.3161	1.65	71000	0.2997
0.3156	1.68	72000	0.2982
0.3148	1.7	73000	0.2982
0.3143	1.72	74000	0.2961
0.3137	1.75	75000	0.2935
0.3132	1.77	76000	0.2974
0.313	1.79	77000	0.2965
0.3147	1.82	78000	0.2947
0.3118	1.84	79000	0.2940
0.3113	1.86	80000	0.2935
0.3109	1.89	81000	0.2936
0.3103	1.91	82000	0.2913
0.3102	1.93	83000	0.2955
0.3096	1.96	84000	0.2917
0.3093	1.98	85000	0.2931
0.3084	2.0	86000	0.2907
0.3086	2.03	87000	0.2908
0.3077	2.05	88000	0.2881
0.3087	2.07	89000	0.2878
0.3065	2.1	90000	0.2883
0.3063	2.12	91000	0.2891
0.3057	2.14	92000	0.2866
0.3066	2.17	93000	0.2894
0.3048	2.19	94000	0.2859
0.3051	2.21	95000	0.2881
0.3041	2.24	96000	0.2859
0.3039	2.26	97000	0.2837
0.3032	2.28	98000	0.2860
0.3039	2.31	99000	0.2858
0.3025	2.33	100000	0.2849
0.3023	2.35	101000	0.2857
0.3024	2.38	102000	0.2879
0.3018	2.4	103000	0.2866
0.3015	2.42	104000	0.2861
0.301	2.45	105000	0.2853
0.3008	2.47	106000	0.2859
0.3006	2.49	107000	0.2829
0.3003	2.52	108000	0.2835
0.2998	2.54	109000	0.2799
0.3001	2.56	110000	0.2816
0.2991	2.59	111000	0.2831
0.2987	2.61	112000	0.2819
0.2985	2.63	113000	0.2830
0.2981	2.66	114000	0.2824
0.2978	2.68	115000	0.2790
0.2973	2.7	116000	0.2793
0.2977	2.73	117000	0.2807
0.2969	2.75	118000	0.2817
0.2967	2.77	119000	0.2808
0.2965	2.8	120000	0.2787
0.2958	2.82	121000	0.2786
0.2968	2.84	122000	0.2792
0.2956	2.87	123000	0.2779
0.2948	2.89	124000	0.2770
0.2952	2.91	125000	0.2796
0.2943	2.94	126000	0.2771
0.2945	2.96	127000	0.2768
0.2945	2.98	128000	0.2766
0.2944	3.01	129000	0.2760
0.2944	3.03	130000	0.2758
0.2937	3.05	131000	0.2751
0.2935	3.08	132000	0.2737
0.2931	3.1	133000	0.2755
0.2936	3.12	134000	0.2768
0.2934	3.15	135000	0.2776
0.2925	3.17	136000	0.2716
0.2924	3.19	137000	0.2737
0.2931	3.22	138000	0.2753
0.2917	3.24	139000	0.2745
0.2918	3.26	140000	0.2774
0.2914	3.29	141000	0.2756
0.2913	3.31	142000	0.2743
0.2909	3.33	143000	0.2742
0.2911	3.36	144000	0.2735
0.2904	3.38	145000	0.2727
0.2903	3.4	146000	0.2748
0.2899	3.43	147000	0.2698
0.2896	3.45	148000	0.2718
0.2895	3.47	149000	0.2725
0.2892	3.49	150000	0.2716
0.2889	3.52	151000	0.2722
0.289	3.54	152000	0.2718
0.2888	3.56	153000	0.2718
0.2887	3.59	154000	0.2725
0.2888	3.61	155000	0.2710
0.289	3.63	156000	0.2686
0.2873	3.66	157000	0.2693
0.2876	3.68	158000	0.2717
0.2873	3.7	159000	0.2711
0.2883	3.73	160000	0.2702
0.287	3.75	161000	0.2717
0.2868	3.77	162000	0.2690
0.2869	3.8	163000	0.2686
0.286	3.82	164000	0.2662
0.286	3.84	165000	0.2697
0.2859	3.87	166000	0.2704
0.2858	3.89	167000	0.2678
0.2854	3.91	168000	0.2670
0.2853	3.94	169000	0.2691
0.2849	3.96	170000	0.2683
0.2858	3.98	171000	0.2663
0.2846	4.01	172000	0.2714
0.2846	4.03	173000	0.2669
0.2844	4.05	174000	0.2691
0.2839	4.08	175000	0.2685
0.284	4.1	176000	0.2669
0.2835	4.12	177000	0.2660
0.2833	4.15	178000	0.2681
0.2833	4.17	179000	0.2678
0.2839	4.19	180000	0.2671
0.2832	4.22	181000	0.2657
0.2828	4.24	182000	0.2643
0.2825	4.26	183000	0.2665
0.2854	4.29	184000	0.2665
0.2824	4.31	185000	0.2619
0.2819	4.33	186000	0.2657
0.2824	4.36	187000	0.2655
0.2815	4.38	188000	0.2621
0.2814	4.4	189000	0.2638
0.2821	4.43	190000	0.2650
0.281	4.45	191000	0.2648
0.2812	4.47	192000	0.2635
0.2809	4.5	193000	0.2629
0.2809	4.52	194000	0.2643
0.2805	4.54	195000	0.2625
0.2806	4.57	196000	0.2639
0.2805	4.59	197000	0.2628
0.2799	4.61	198000	0.2629
0.2802	4.64	199000	0.2624
0.2799	4.66	200000	0.2646
0.2796	4.68	201000	0.2606
0.2796	4.71	202000	0.2641
0.2795	4.73	203000	0.2627
0.2793	4.75	204000	0.2612
0.2789	4.78	205000	0.2591
0.2789	4.8	206000	0.2602
0.2789	4.82	207000	0.2611
0.2787	4.85	208000	0.2650
0.2784	4.87	209000	0.2615
0.2782	4.89	210000	0.2624
0.2783	4.92	211000	0.2621
0.2781	4.94	212000	0.2614
0.2779	4.96	213000	0.2598
0.2776	4.99	214000	0.2595
0.2774	5.01	215000	0.2608
0.2782	5.03	216000	0.2615
0.2779	5.06	217000	0.2626
0.2768	5.08	218000	0.2594
0.2774	5.1	219000	0.2606
0.2767	5.13	220000	0.2606
0.2763	5.15	221000	0.2605
0.2766	5.17	222000	0.2599
0.2763	5.2	223000	0.2582
0.2764	5.22	224000	0.2606
0.276	5.24	225000	0.2585
0.2758	5.27	226000	0.2608
0.2761	5.29	227000	0.2606
0.2759	5.31	228000	0.2582
0.2754	5.34	229000	0.2570
0.2753	5.36	230000	0.2596
0.2753	5.38	231000	0.2578
0.2749	5.41	232000	0.2568
0.2749	5.43	233000	0.2575
0.2748	5.45	234000	0.2570
0.2744	5.48	235000	0.2594
0.2748	5.5	236000	0.2592
0.2742	5.52	237000	0.2585
0.2742	5.55	238000	0.2570
0.2743	5.57	239000	0.2567
0.274	5.59	240000	0.2570
0.2739	5.62	241000	0.2584
0.2738	5.64	242000	0.2564
0.2737	5.66	243000	0.2559
0.2732	5.69	244000	0.2552
0.2733	5.71	245000	0.2560
0.2733	5.73	246000	0.2555
0.2732	5.76	247000	0.2539
0.2732	5.78	248000	0.2552
0.2729	5.8	249000	0.2535
0.2728	5.82	250000	0.2543
0.2729	5.85	251000	0.2555
0.2723	5.87	252000	0.2528
0.2722	5.89	253000	0.2557
0.2722	5.92	254000	0.2576
0.2718	5.94	255000	0.2552
0.2715	5.96	256000	0.2557
0.2725	5.99	257000	0.2527
0.2717	6.01	258000	0.2517
0.272	6.03	259000	0.2557
0.2717	6.06	260000	0.2546
0.2709	6.08	261000	0.2549
0.2708	6.1	262000	0.2543
0.2719	6.13	263000	0.2540
0.2706	6.15	264000	0.2522
0.2705	6.17	265000	0.2552
0.2708	6.2	266000	0.2525
0.2704	6.22	267000	0.2517
0.2701	6.24	268000	0.2536
0.2704	6.27	269000	0.2539
0.2702	6.29	270000	0.2548
0.2698	6.31	271000	0.2508
0.2703	6.34	272000	0.2518
0.2693	6.36	273000	0.2533
0.2698	6.38	274000	0.2530
0.2697	6.41	275000	0.2507
0.2691	6.43	276000	0.2510
0.2691	6.45	277000	0.2523
0.2689	6.48	278000	0.2522
0.2688	6.5	279000	0.2515
0.2686	6.52	280000	0.2516
0.2686	6.55	281000	0.2526
0.2686	6.57	282000	0.2530
0.2681	6.59	283000	0.2523
0.2683	6.62	284000	0.2518
0.268	6.64	285000	0.2508
0.2683	6.66	286000	0.2502
0.2681	6.69	287000	0.2507
0.2681	6.71	288000	0.2518
0.2679	6.73	289000	0.2504
0.2675	6.76	290000	0.2505
0.2679	6.78	291000	0.2502
0.2675	6.8	292000	0.2517
0.2672	6.83	293000	0.2517
0.2673	6.85	294000	0.2483
0.2671	6.87	295000	0.2483
0.2669	6.9	296000	0.2523
0.2666	6.92	297000	0.2494
0.2664	6.94	298000	0.2497
0.2953	6.97	299000	0.6473
0.6483	6.99	300000	0.6471
0.6477	7.01	301000	0.6461
0.6471	7.04	302000	0.6455
0.4659	7.06	303000	0.2599
0.2707	7.08	304000	0.2535
0.2681	7.11	305000	0.2525
0.2678	7.13	306000	0.2504
0.267	7.15	307000	0.2485
0.2663	7.18	308000	0.2510
0.266	7.2	309000	0.2499
0.2658	7.22	310000	0.2481
0.2656	7.25	311000	0.2481
0.2653	7.27	312000	0.2519
0.2652	7.29	313000	0.2483
0.2654	7.32	314000	0.2468
0.2653	7.34	315000	0.2493
0.265	7.36	316000	0.2473
0.2646	7.39	317000	0.2479
0.2647	7.41	318000	0.2483
0.2645	7.43	319000	0.2484
0.2642	7.46	320000	0.2467
0.2643	7.48	321000	0.2483
0.2643	7.5	322000	0.2488
0.2638	7.53	323000	0.2484
0.2636	7.55	324000	0.2478
0.2633	7.57	325000	0.2480
0.2633	7.6	326000	0.2482
0.2637	7.62	327000	0.2486
0.2634	7.64	328000	0.2464
0.2631	7.67	329000	0.2453
0.2631	7.69	330000	0.2482
0.263	7.71	331000	0.2436
0.2631	7.74	332000	0.2457
0.2629	7.76	333000	0.2470
0.2626	7.78	334000	0.2488
0.2626	7.81	335000	0.2465
0.2623	7.83	336000	0.2481
0.2624	7.85	337000	0.2449
0.2623	7.88	338000	0.2460
0.2626	7.9	339000	0.2447
0.262	7.92	340000	0.2456
0.2624	7.95	341000	0.2436
0.2618	7.97	342000	0.2451
0.2617	7.99	343000	0.2431
0.2614	8.02	344000	0.2446
0.2617	8.04	345000	0.2446
0.2612	8.06	346000	0.2443
0.261	8.08	347000	0.2445
0.261	8.11	348000	0.2460
0.261	8.13	349000	0.2420
0.2608	8.15	350000	0.2434
0.2607	8.18	351000	0.2465
0.261	8.2	352000	0.2440
0.2605	8.22	353000	0.2437
0.2605	8.25	354000	0.2444
0.2603	8.27	355000	0.2447
0.2599	8.29	356000	0.2416
0.2601	8.32	357000	0.2435
0.26	8.34	358000	0.2428
0.26	8.36	359000	0.2448
0.2596	8.39	360000	0.2432
0.2596	8.41	361000	0.2435
0.2595	8.43	362000	0.2439
0.2593	8.46	363000	0.2452
0.2593	8.48	364000	0.2412
0.2592	8.5	365000	0.2430
0.2587	8.53	366000	0.2405
0.2591	8.55	367000	0.2447
0.2586	8.57	368000	0.2428
0.259	8.6	369000	0.2415
0.2588	8.62	370000	0.2388
0.2585	8.64	371000	0.2436
0.2582	8.67	372000	0.2406
0.2583	8.69	373000	0.2428
0.2585	8.71	374000	0.2433
0.2578	8.74	375000	0.2411
0.2582	8.76	376000	0.2427
0.258	8.78	377000	0.2417
0.2576	8.81	378000	0.2399
0.2574	8.83	379000	0.2415
0.2579	8.85	380000	0.2417
0.2573	8.88	381000	0.2407
0.2575	8.9	382000	0.2418
0.2573	8.92	383000	0.2398
0.2573	8.95	384000	0.2400
0.2569	8.97	385000	0.2390
0.2572	8.99	386000	0.2373
0.2566	9.02	387000	0.2406
0.2565	9.04	388000	0.2388
0.2566	9.06	389000	0.2398
0.2564	9.09	390000	0.2411
0.2566	9.11	391000	0.2374
0.2564	9.13	392000	0.2417
0.2565	9.16	393000	0.2408
0.2566	9.18	394000	0.2391
0.2561	9.2	395000	0.2375
0.2562	9.23	396000	0.2393
0.256	9.25	397000	0.2419
0.2561	9.27	398000	0.2420
0.2554	9.3	399000	0.2418
0.2559	9.32	400000	0.2379
0.2555	9.34	401000	0.2394
0.2553	9.37	402000	0.2388
0.2553	9.39	403000	0.2373
0.2553	9.41	404000	0.2365
0.2555	9.44	405000	0.2398
0.2553	9.46	406000	0.2392
0.255	9.48	407000	0.2371
0.2548	9.51	408000	0.2382
0.2548	9.53	409000	0.2374
0.2548	9.55	410000	0.2390
0.2547	9.58	411000	0.2395
0.2544	9.6	412000	0.2367
0.2548	9.62	413000	0.2361
0.2545	9.65	414000	0.2389
0.2547	9.67	415000	0.2401
0.2545	9.69	416000	0.2389
0.2543	9.72	417000	0.2375
0.2543	9.74	418000	0.2396
0.2541	9.76	419000	0.2385
0.2541	9.79	420000	0.2357
0.2539	9.81	421000	0.2378
0.254	9.83	422000	0.2355
0.2537	9.86	423000	0.2358
0.2536	9.88	424000	0.2361
0.2534	9.9	425000	0.2385
0.2534	9.93	426000	0.2372
0.2535	9.95	427000	0.2362
0.2535	9.97	428000	0.2361
0.2532	10.0	429000	0.2369
0.2533	10.02	430000	0.2366
0.2529	10.04	431000	0.2381
0.2532	10.07	432000	0.2370
0.253	10.09	433000	0.2379
0.2531	10.11	434000	0.2394
0.2528	10.14	435000	0.2357
0.253	10.16	436000	0.2384
0.2525	10.18	437000	0.2387
0.2526	10.21	438000	0.2344
0.2527	10.23	439000	0.2362
0.2528	10.25	440000	0.2371
0.2525	10.28	441000	0.2355
0.2521	10.3	442000	0.2365
0.2523	10.32	443000	0.2356
0.2523	10.35	444000	0.2366
0.2519	10.37	445000	0.2352
0.2523	10.39	446000	0.2358
0.2521	10.41	447000	0.2341
0.2519	10.44	448000	0.2375
0.2519	10.46	449000	0.2350
0.2519	10.48	450000	0.2356
0.2518	10.51	451000	0.2345
0.252	10.53	452000	0.2365
0.2517	10.55	453000	0.2377
0.2516	10.58	454000	0.2362
0.2517	10.6	455000	0.2354
0.2515	10.62	456000	0.2340
0.2515	10.65	457000	0.2348
0.2517	10.67	458000	0.2370
0.2514	10.69	459000	0.2341
0.2514	10.72	460000	0.2361
0.2513	10.74	461000	0.2357
0.2516	10.76	462000	0.2352
0.2511	10.79	463000	0.2325
0.2515	10.81	464000	0.2364
0.2509	10.83	465000	0.2379
0.2511	10.86	466000	0.2361
0.2513	10.88	467000	0.2350
0.2509	10.9	468000	0.2350
0.2512	10.93	469000	0.2339
0.2508	10.95	470000	0.2333
0.2508	10.97	471000	0.2342
0.2508	11.0	472000	0.2346
0.2509	11.02	473000	0.2332
0.2506	11.04	474000	0.2351
0.2506	11.07	475000	0.2317
0.2508	11.09	476000	0.2339
0.2506	11.11	477000	0.2343
0.2506	11.14	478000	0.2336
0.2508	11.16	479000	0.2331
0.2507	11.18	480000	0.2337
0.2506	11.21	481000	0.2345
0.2505	11.23	482000	0.2329
0.2505	11.25	483000	0.2361
0.2505	11.28	484000	0.2341
0.2503	11.3	485000	0.2339
0.2505	11.32	486000	0.2341
0.2505	11.35	487000	0.2334
0.2504	11.37	488000	0.2337
0.2504	11.39	489000	0.2356
0.2506	11.42	490000	0.2319
0.2503	11.44	491000	0.2337
0.2501	11.46	492000	0.2318
0.2505	11.49	493000	0.2325
0.2504	11.51	494000	0.2338
0.2503	11.53	495000	0.2317
0.2502	11.56	496000	0.2340
0.25	11.58	497000	0.2341
0.2502	11.6	498000	0.2324
0.2504	11.63	499000	0.2360
0.2501	11.65	500000	0.2346

Framework versions

• Transformers 4.17.0
• Pytorch 1.11.0
• Datasets 2.5.0
• Tokenizers 0.12.1