| { | |
| "best_metric": null, | |
| "best_model_checkpoint": null, | |
| "epoch": 2.0, | |
| "eval_steps": 30, | |
| "global_step": 150, | |
| "is_hyper_param_search": false, | |
| "is_local_process_zero": true, | |
| "is_world_process_zero": true, | |
| "log_history": [ | |
| { | |
| "epoch": 0, | |
| "eval_loss": 0.11211773008108139, | |
| "eval_runtime": 0.9743, | |
| "eval_samples_per_second": 1.026, | |
| "eval_steps_per_second": 1.026, | |
| "step": 0 | |
| }, | |
| { | |
| "epoch": 0.013333333333333334, | |
| "grad_norm": 0.031030020275519335, | |
| "learning_rate": 3.3333333333333333e-06, | |
| "loss": 0.1667, | |
| "step": 1 | |
| }, | |
| { | |
| "epoch": 0.06666666666666667, | |
| "grad_norm": 0.03834570557711562, | |
| "learning_rate": 1.6666666666666667e-05, | |
| "loss": 0.2058, | |
| "step": 5 | |
| }, | |
| { | |
| "epoch": 0.13333333333333333, | |
| "grad_norm": 0.028094023294595035, | |
| "learning_rate": 3.3333333333333335e-05, | |
| "loss": 0.1865, | |
| "step": 10 | |
| }, | |
| { | |
| "epoch": 0.2, | |
| "grad_norm": 0.04762041128095506, | |
| "learning_rate": 5e-05, | |
| "loss": 0.1856, | |
| "step": 15 | |
| }, | |
| { | |
| "epoch": 0.26666666666666666, | |
| "grad_norm": 0.028418698028222177, | |
| "learning_rate": 4.983095894354858e-05, | |
| "loss": 0.0908, | |
| "step": 20 | |
| }, | |
| { | |
| "epoch": 0.3333333333333333, | |
| "grad_norm": 0.034568736978493136, | |
| "learning_rate": 4.9326121764495596e-05, | |
| "loss": 0.1115, | |
| "step": 25 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "grad_norm": 0.016206653452619863, | |
| "learning_rate": 4.849231551964771e-05, | |
| "loss": 0.1136, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.4, | |
| "eval_loss": 0.032250553369522095, | |
| "eval_runtime": 1.0414, | |
| "eval_samples_per_second": 0.96, | |
| "eval_steps_per_second": 0.96, | |
| "step": 30 | |
| }, | |
| { | |
| "epoch": 0.4666666666666667, | |
| "grad_norm": 0.021469934923105765, | |
| "learning_rate": 4.734081600808531e-05, | |
| "loss": 0.0643, | |
| "step": 35 | |
| }, | |
| { | |
| "epoch": 0.5333333333333333, | |
| "grad_norm": 0.055096082731337134, | |
| "learning_rate": 4.588719528532342e-05, | |
| "loss": 0.1261, | |
| "step": 40 | |
| }, | |
| { | |
| "epoch": 0.6, | |
| "grad_norm": 0.05031835137603206, | |
| "learning_rate": 4.415111107797445e-05, | |
| "loss": 0.1096, | |
| "step": 45 | |
| }, | |
| { | |
| "epoch": 0.6666666666666666, | |
| "grad_norm": 0.05516939025833793, | |
| "learning_rate": 4.215604094671835e-05, | |
| "loss": 0.0866, | |
| "step": 50 | |
| }, | |
| { | |
| "epoch": 0.7333333333333333, | |
| "grad_norm": 0.032766685078341795, | |
| "learning_rate": 3.9928964792569655e-05, | |
| "loss": 0.083, | |
| "step": 55 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "grad_norm": 0.062414929894008056, | |
| "learning_rate": 3.7500000000000003e-05, | |
| "loss": 0.0854, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.8, | |
| "eval_loss": 0.02738812565803528, | |
| "eval_runtime": 0.8308, | |
| "eval_samples_per_second": 1.204, | |
| "eval_steps_per_second": 1.204, | |
| "step": 60 | |
| }, | |
| { | |
| "epoch": 0.8666666666666667, | |
| "grad_norm": 0.04592653742748478, | |
| "learning_rate": 3.490199415097892e-05, | |
| "loss": 0.0982, | |
| "step": 65 | |
| }, | |
| { | |
| "epoch": 0.9333333333333333, | |
| "grad_norm": 0.050049367221732345, | |
| "learning_rate": 3.217008081777726e-05, | |
| "loss": 0.0871, | |
| "step": 70 | |
| }, | |
| { | |
| "epoch": 1.0, | |
| "grad_norm": 0.05998266046794504, | |
| "learning_rate": 2.9341204441673266e-05, | |
| "loss": 0.1206, | |
| "step": 75 | |
| }, | |
| { | |
| "epoch": 1.0666666666666667, | |
| "grad_norm": 0.019636243300368693, | |
| "learning_rate": 2.6453620722761896e-05, | |
| "loss": 0.088, | |
| "step": 80 | |
| }, | |
| { | |
| "epoch": 1.1333333333333333, | |
| "grad_norm": 0.043655221641392454, | |
| "learning_rate": 2.3546379277238107e-05, | |
| "loss": 0.0855, | |
| "step": 85 | |
| }, | |
| { | |
| "epoch": 1.2, | |
| "grad_norm": 0.04216235250268384, | |
| "learning_rate": 2.0658795558326743e-05, | |
| "loss": 0.0524, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 1.2, | |
| "eval_loss": 0.029387038201093674, | |
| "eval_runtime": 0.8351, | |
| "eval_samples_per_second": 1.197, | |
| "eval_steps_per_second": 1.197, | |
| "step": 90 | |
| }, | |
| { | |
| "epoch": 1.2666666666666666, | |
| "grad_norm": 0.06963947213522952, | |
| "learning_rate": 1.7829919182222752e-05, | |
| "loss": 0.071, | |
| "step": 95 | |
| }, | |
| { | |
| "epoch": 1.3333333333333333, | |
| "grad_norm": 0.043611217695380816, | |
| "learning_rate": 1.509800584902108e-05, | |
| "loss": 0.0664, | |
| "step": 100 | |
| }, | |
| { | |
| "epoch": 1.4, | |
| "grad_norm": 0.04198147697434117, | |
| "learning_rate": 1.2500000000000006e-05, | |
| "loss": 0.0678, | |
| "step": 105 | |
| }, | |
| { | |
| "epoch": 1.4666666666666668, | |
| "grad_norm": 0.07071909102500858, | |
| "learning_rate": 1.0071035207430352e-05, | |
| "loss": 0.0654, | |
| "step": 110 | |
| }, | |
| { | |
| "epoch": 1.5333333333333332, | |
| "grad_norm": 0.06390301372675955, | |
| "learning_rate": 7.843959053281663e-06, | |
| "loss": 0.0827, | |
| "step": 115 | |
| }, | |
| { | |
| "epoch": 1.6, | |
| "grad_norm": 0.049604240366544386, | |
| "learning_rate": 5.848888922025553e-06, | |
| "loss": 0.0612, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 1.6, | |
| "eval_loss": 0.02892993949353695, | |
| "eval_runtime": 0.839, | |
| "eval_samples_per_second": 1.192, | |
| "eval_steps_per_second": 1.192, | |
| "step": 120 | |
| }, | |
| { | |
| "epoch": 1.6666666666666665, | |
| "grad_norm": 0.07360390322146955, | |
| "learning_rate": 4.112804714676594e-06, | |
| "loss": 0.0845, | |
| "step": 125 | |
| }, | |
| { | |
| "epoch": 1.7333333333333334, | |
| "grad_norm": 0.06226824488391461, | |
| "learning_rate": 2.659183991914696e-06, | |
| "loss": 0.0926, | |
| "step": 130 | |
| }, | |
| { | |
| "epoch": 1.8, | |
| "grad_norm": 0.05406489110230538, | |
| "learning_rate": 1.5076844803522922e-06, | |
| "loss": 0.0688, | |
| "step": 135 | |
| }, | |
| { | |
| "epoch": 1.8666666666666667, | |
| "grad_norm": 0.06035274580908478, | |
| "learning_rate": 6.738782355044049e-07, | |
| "loss": 0.0741, | |
| "step": 140 | |
| }, | |
| { | |
| "epoch": 1.9333333333333333, | |
| "grad_norm": 0.06719978224301647, | |
| "learning_rate": 1.6904105645142444e-07, | |
| "loss": 0.0547, | |
| "step": 145 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "grad_norm": 0.09296641078603293, | |
| "learning_rate": 0.0, | |
| "loss": 0.082, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "eval_loss": 0.02918284200131893, | |
| "eval_runtime": 0.839, | |
| "eval_samples_per_second": 1.192, | |
| "eval_steps_per_second": 1.192, | |
| "step": 150 | |
| }, | |
| { | |
| "epoch": 2.0, | |
| "step": 150, | |
| "total_flos": 8212577402880.0, | |
| "train_loss": 0.09479607075452805, | |
| "train_runtime": 682.7157, | |
| "train_samples_per_second": 0.439, | |
| "train_steps_per_second": 0.22 | |
| } | |
| ], | |
| "logging_steps": 5, | |
| "max_steps": 150, | |
| "num_input_tokens_seen": 0, | |
| "num_train_epochs": 2, | |
| "save_steps": 500, | |
| "stateful_callbacks": { | |
| "TrainerControl": { | |
| "args": { | |
| "should_epoch_stop": false, | |
| "should_evaluate": false, | |
| "should_log": false, | |
| "should_save": true, | |
| "should_training_stop": true | |
| }, | |
| "attributes": {} | |
| } | |
| }, | |
| "total_flos": 8212577402880.0, | |
| "train_batch_size": 1, | |
| "trial_name": null, | |
| "trial_params": null | |
| } | |