Upload folder using huggingface_hub

README.md

@@ -0,0 +1,78 @@
+---
+license: apache-2.0
+base_model: jackaduma/SecBERT
+tags:
+- generated_from_trainer
+metrics:
+- precision
+- recall
+- f1
+- accuracy
+model-index:
+- name: dnrti_secbert
+  results: []
+---
+
+<!-- This model card has been generated automatically according to the information the Trainer had access to. You
+should probably proofread and complete it, then remove this comment. -->
+
+# dnrti_secbert
+
+This model is a fine-tuned version of [jackaduma/SecBERT](https://huggingface.co/jackaduma/SecBERT) on an unknown dataset.
+It achieves the following results on the evaluation set:
+- Loss: 0.2274
+- Precision: 0.7405
+- Recall: 0.7780
+- F1: 0.7588
+- Accuracy: 0.9389
+
+## Model description
+
+More information needed
+
+## Intended uses & limitations
+
+More information needed
+
+## Training and evaluation data
+
+More information needed
+
+## Training procedure
+
+### Training hyperparameters
+
+The following hyperparameters were used during training:
+- learning_rate: 2e-05
+- train_batch_size: 8
+- eval_batch_size: 8
+- seed: 42
+- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
+- lr_scheduler_type: linear
+- num_epochs: 10.0
+
+### Training results
+
+| Training Loss | Epoch | Step | Validation Loss | Precision | Recall | F1     | Accuracy |
+|:-------------:|:-----:|:----:|:---------------:|:---------:|:------:|:------:|:--------:|
+| 0.6137        | 0.76  | 500  | 0.3731          | 0.5348    | 0.5951 | 0.5633 | 0.8842   |
+| 0.2993        | 1.52  | 1000 | 0.2853          | 0.6684    | 0.6665 | 0.6674 | 0.9131   |
+| 0.2157        | 2.28  | 1500 | 0.2624          | 0.6685    | 0.7282 | 0.6971 | 0.9212   |
+| 0.152         | 3.04  | 2000 | 0.2414          | 0.6923    | 0.7619 | 0.7254 | 0.9308   |
+| 0.1047        | 3.81  | 2500 | 0.2274          | 0.7405    | 0.7780 | 0.7588 | 0.9389   |
+| 0.0725        | 4.57  | 3000 | 0.2563          | 0.7262    | 0.7964 | 0.7597 | 0.9370   |
+| 0.0589        | 5.33  | 3500 | 0.2615          | 0.7489    | 0.8024 | 0.7747 | 0.9411   |
+| 0.0442        | 6.09  | 4000 | 0.2638          | 0.7543    | 0.8061 | 0.7793 | 0.9434   |
+| 0.0344        | 6.85  | 4500 | 0.2671          | 0.7635    | 0.8088 | 0.7855 | 0.9448   |
+| 0.0282        | 7.61  | 5000 | 0.2861          | 0.7584    | 0.8111 | 0.7839 | 0.9439   |
+| 0.0226        | 8.37  | 5500 | 0.2849          | 0.7693    | 0.8093 | 0.7888 | 0.9456   |
+| 0.0207        | 9.13  | 6000 | 0.2932          | 0.7643    | 0.8185 | 0.7905 | 0.9456   |
+| 0.0181        | 9.89  | 6500 | 0.2952          | 0.7665    | 0.8167 | 0.7908 | 0.9459   |
+
+
+### Framework versions
+
+- Transformers 4.36.0.dev0
+- Pytorch 2.1.0+cu118
+- Datasets 2.14.6
+- Tokenizers 0.14.1

all_results.json

@@ -0,0 +1,25 @@
+{
+    "epoch": 10.0,
+    "eval_accuracy": 0.9389230418943534,
+    "eval_f1": 0.7587601078167115,
+    "eval_loss": 0.2273811250925064,
+    "eval_precision": 0.7404647084612013,
+    "eval_recall": 0.7779824965453708,
+    "eval_runtime": 1.576,
+    "eval_samples": 661,
+    "eval_samples_per_second": 419.41,
+    "eval_steps_per_second": 52.664,
+    "predict_accuracy": 0.9537974325623481,
+    "predict_f1": 0.818848167539267,
+    "predict_loss": 0.16769015789031982,
+    "predict_precision": 0.803534730785039,
+    "predict_recall": 0.8347566182749786,
+    "predict_runtime": 1.4817,
+    "predict_samples_per_second": 447.47,
+    "predict_steps_per_second": 56.018,
+    "train_loss": 0.12845844870470066,
+    "train_runtime": 531.3663,
+    "train_samples": 5250,
+    "train_samples_per_second": 98.802,
+    "train_steps_per_second": 12.364
+}

config.json

@@ -0,0 +1,85 @@
+{
+  "_name_or_path": "jackaduma/SecBERT",
+  "architectures": [
+    "BertForTokenClassification"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "classifier_dropout": null,
+  "finetuning_task": "ner",
+  "gradient_checkpointing": false,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "id2label": {
+    "0": "B-Area",
+    "1": "B-Exp",
+    "2": "B-Features",
+    "3": "B-HackOrg",
+    "4": "B-Idus",
+    "5": "B-OffAct",
+    "6": "B-Org",
+    "7": "B-Purp",
+    "8": "B-SamFile",
+    "9": "B-SecTeam",
+    "10": "B-Time",
+    "11": "B-Tool",
+    "12": "B-Way",
+    "13": "I-Area",
+    "14": "I-Exp",
+    "15": "I-Features",
+    "16": "I-HackOrg",
+    "17": "I-Idus",
+    "18": "I-OffAct",
+    "19": "I-Org",
+    "20": "I-Purp",
+    "21": "I-SamFile",
+    "22": "I-SecTeam",
+    "23": "I-Time",
+    "24": "I-Tool",
+    "25": "I-Way",
+    "26": "O"
+  },
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "label2id": {
+    "B-Area": 0,
+    "B-Exp": 1,
+    "B-Features": 2,
+    "B-HackOrg": 3,
+    "B-Idus": 4,
+    "B-OffAct": 5,
+    "B-Org": 6,
+    "B-Purp": 7,
+    "B-SamFile": 8,
+    "B-SecTeam": 9,
+    "B-Time": 10,
+    "B-Tool": 11,
+    "B-Way": 12,
+    "I-Area": 13,
+    "I-Exp": 14,
+    "I-Features": 15,
+    "I-HackOrg": 16,
+    "I-Idus": 17,
+    "I-OffAct": 18,
+    "I-Org": 19,
+    "I-Purp": 20,
+    "I-SamFile": 21,
+    "I-SecTeam": 22,
+    "I-Time": 23,
+    "I-Tool": 24,
+    "I-Way": 25,
+    "O": 26
+  },
+  "layer_norm_eps": 1e-12,
+  "max_position_embeddings": 514,
+  "model_type": "bert",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 6,
+  "pad_token_id": 0,
+  "position_embedding_type": "absolute",
+  "torch_dtype": "float32",
+  "transformers_version": "4.36.0.dev0",
+  "type_vocab_size": 1,
+  "use_cache": true,
+  "vocab_size": 52000
+}

eval_results.json

@@ -0,0 +1,12 @@
+{
+    "epoch": 10.0,
+    "eval_accuracy": 0.9389230418943534,
+    "eval_f1": 0.7587601078167115,
+    "eval_loss": 0.2273811250925064,
+    "eval_precision": 0.7404647084612013,
+    "eval_recall": 0.7779824965453708,
+    "eval_runtime": 1.576,
+    "eval_samples": 661,
+    "eval_samples_per_second": 419.41,
+    "eval_steps_per_second": 52.664
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:1a49825f7667011de8e0ebabcd9f54337daeb24ac88b56472cbbae82b27de732
+size 331536228

predict_results.json

@@ -0,0 +1,10 @@
+{
+    "predict_accuracy": 0.9537974325623481,
+    "predict_f1": 0.818848167539267,
+    "predict_loss": 0.16769015789031982,
+    "predict_precision": 0.803534730785039,
+    "predict_recall": 0.8347566182749786,
+    "predict_runtime": 1.4817,
+    "predict_samples_per_second": 447.47,
+    "predict_steps_per_second": 56.018
+}

predictions.txt

@@ -0,0 +1,663 @@
+B-SecTeam O O B-HackOrg O B-HackOrg O O O O O O O O O O O O O O O O O O O B-HackOrg O O O
+O O B-SecTeam O O O B-HackOrg I-HackOrg O O O O O
+B-SecTeam O O O O O O O B-Area B-HackOrg O O O
+O O B-SecTeam O O O O O O O O O O O B-HackOrg O
+O O O B-HackOrg O O B-SecTeam O O O O O O B-Area O
+O O O O O O O O O O O O O B-HackOrg I-HackOrg O O O O O O B-HackOrg I-HackOrg O O O O O B-Area I-Area O
+O O O O O O B-SecTeam O O B-HackOrg I-HackOrg I-HackOrg O O I-HackOrg I-HackOrg O B-Area O B-Area O O O O
+O B-Tool O O O B-HackOrg I-HackOrg O
+O O O O O O O B-Tool I-Tool O O B-Tool I-Tool O O O O O O B-SecTeam O O B-SecTeam I-SecTeam O O
+O O O O O O O O O O O O O O B-HackOrg I-HackOrg O O B-HackOrg O O O
+O B-SecTeam O O O O O O B-HackOrg I-HackOrg O O O B-Tool I-Tool O
+O B-SamFile O B-Tool O O O O O O O O O O O O O O O O O O O O O
+O O O B-SamFile I-SamFile O O O O O B-SamFile O O O O O O O B-SamFile O O O O B-SamFile O O
+B-HackOrg I-HackOrg O O O O B-HackOrg O O O O O O O O O B-Purp O O O O O O O B-Org I-Org O
+O O O O O O O O B-HackOrg I-HackOrg I-HackOrg O O O O O O O O O O O O O O O O O O O O I-Area O O O O O O O O O O O B-Area O B-HackOrg I-HackOrg O
+B-HackOrg I-HackOrg O O O O O O O B-Area O O O O O O B-Purp I-Purp O O O O O
+B-SecTeam O B-HackOrg O O O O O O O O O O O O O O O O I-Org O O O O O O O O
+B-SecTeam O B-HackOrg O O O O O O O O O O O O O O O I-Org I-Org O O O O O O O O
+O B-Time O O O O B-SecTeam O O O O O O B-Area I-HackOrg O I-HackOrg O O B-HackOrg I-HackOrg O O B-SecTeam O B-SecTeam O O O B-HackOrg O
+O B-Time O O O O B-SecTeam O O O O O O B-Area I-HackOrg O I-HackOrg O O B-HackOrg I-HackOrg O O B-SecTeam O B-SecTeam O O O B-HackOrg O
+O B-HackOrg I-HackOrg O B-Org I-Org O B-Org I-Org O
+O O O B-Exp O O O O O O O O O O O O
+B-SecTeam I-SecTeam O O O O O O O O O O O O O O B-Tool O O
+O B-HackOrg O O B-OffAct O O O O O O O O O O O O O O O O O O O O O
+O O B-SamFile I-SamFile O O O B-OffAct O O B-Way I-Way I-Way O O O O O O O O
+O O O O O O O B-HackOrg I-HackOrg O O B-Idus I-Idus O
+O O O B-SamFile I-SamFile O O O O O O O O O O O O B-Org I-Org O O O O O O O B-Org O
+O O O O O O O O O O O O O B-OffAct O O O B-Area I-Area I-Area O
+O O B-HackOrg O O O B-Time I-Time O O O O O O O O O O O O O O O O O O B-Time I-Time O
+O B-Tool O O O O O O B-OffAct I-OffAct O O O O B-Area I-Area I-Area O O
+O O O O O O O O O O O O O O O B-Area O B-Area O O
+O O O O O O B-Idus O O O O O O O O O O O O O O
+O O B-HackOrg O B-HackOrg O O O O O O O O O O O O O O O O
+O B-HackOrg O O O O O O O O O O O O B-Way I-Way O B-Way O
+O O O O B-Idus O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O
+O O O O O O B-Tool O O O O O O O O
+O O O O O O O O B-Tool I-Tool O O O O O O O O O O O O O O O O O O O O O O O O B-OffAct O O O B-Tool I-OffAct O O
+B-SamFile O O B-Area O O O O O O O O O O O O O B-SamFile O O O O O O O
+O B-HackOrg O O O B-HackOrg O B-HackOrg O B-HackOrg O O O O O O O O B-Purp I-Purp O B-Org I-Org O O B-Org O B-Area O
+O O O O B-SamFile I-SamFile O O O B-Area B-Idus O O O O O O O O B-HackOrg O
+O O O O B-SecTeam I-SecTeam O O O O O O O O O O B-Area O O O O O
+O O O O O O O O O O O O B-SecTeam O O O O B-HackOrg O O O O O O O O O O O O O O
+B-SecTeam O O B-HackOrg I-HackOrg O O O O O O O O O O O O B-OffAct O B-Time I-Time O O O O O O O O B-Exp I-Exp O B-Exp O
+B-HackOrg I-HackOrg O O O O O O O O B-Time I-Time I-Time O O O O O O O O O O O O B-HackOrg O O O O O O O O O O O O O O
+O O O O O O O B-Tool I-Tool O O O B-Area O O B-Time O O O O O O B-HackOrg I-HackOrg O
+B-SecTeam I-SecTeam O O B-HackOrg I-HackOrg O O O O O O O O O O O O B-OffAct O B-Time I-Time O O O O O O O O B-Exp I-Exp O B-Exp O
+B-HackOrg O O O B-Purp I-Purp O O O O O O I-Idus O O O O B-Tool O O O O O O O
+O O B-SecTeam O O O O O O O B-Tool I-Tool O O O I-SecTeam O I-SecTeam O B-SecTeam I-SecTeam O
+O O O O B-HackOrg I-HackOrg O O B-OffAct O B-Area O O B-Area I-Area O O O O O O O O O O O B-OffAct I-OffAct O
+O O O O O O O O O O O O O O O B-HackOrg I-HackOrg O O O O O O O O O O O O O O
+B-HackOrg I-HackOrg O O O O O O O O O O O B-Area O O
+O I-Tool O O B-HackOrg I-HackOrg O O O O B-Tool O
+O O O O O B-HackOrg O O B-Tool O B-Tool O O O O O O O O
+O O O O O O O O O O O O O O O O O B-Tool I-Tool O O O O O B-Idus O O O O O B-Idus O B-Idus O O B-Idus O B-HackOrg O O O O O O O B-Time O
+O O O O O O O B-HackOrg O O O O O O O O O O O B-Time B-Time O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O B-Tool I-Tool O O O O O B-Idus O B-Idus O O B-Idus O B-HackOrg O O O O O O O B-Time O
+O O O O O O O B-HackOrg I-HackOrg O O O O B-Area O O O
+O O O O O O O O O O O B-Area O O O O O O O B-Area B-Idus I-Idus I-OffAct O O O O O O B-Time I-Time O
+B-HackOrg I-HackOrg O O O O O O O O O O O O O O O O O
+O O B-Time I-Time I-Time O B-Tool O O O O O O O O O O O O O O O B-Area B-Org I-Org O
+O O O O O O O O O O B-HackOrg O O O O O O B-Tool I-Tool O O O B-Purp I-Purp O O O O
+O O O O O O O B-Tool I-Tool O O O O O O O O O O O B-Tool O O O O O O O O O B-Idus O O
+O O O O O O O O O O O B-OffAct I-OffAct O B-Area B-Org I-Org O O I-Time O
+O O O O O O O O O O B-Tool I-Tool O O O O O B-HackOrg I-HackOrg O O B-Time I-Time O B-Time O
+O O O O O O O O O O O O B-Area O O O O O O O O O O O O O
+B-HackOrg I-HackOrg O O O O O O O O O O O O O O O O O O O O O B-Tool O B-Tool O O O O O O O
+O O O O O O O O O O O O O O O B-OffAct O B-Area B-Org I-Org O
+O O B-Time I-Time I-Time O O O O O O O B-Tool I-Tool O O B-Area B-Org I-Org O B-Purp I-Purp O
+O O O O O O O O O O B-HackOrg O O O O O O O O B-HackOrg O O O O O O O O B-Org I-Org O
+O B-OffAct O O O B-HackOrg I-HackOrg O O O B-Org O B-Org I-Org O O O O O O O O O O O
+O O O O O O O O O B-HackOrg O O B-HackOrg I-HackOrg O O B-Way O B-OffAct I-Way O O O O O B-OffAct O
+O O O O B-HackOrg O O B-Way O O O O B-HackOrg I-HackOrg O O O O O O O O O
+O O O B-OffAct I-OffAct I-OffAct O O O O O O B-Time O O O B-HackOrg O O O O O O B-Org I-Org O O O O O O O B-Area O O B-Area O O O O
+O O O B-HackOrg I-HackOrg O O O O O O O B-Way I-Way O O O O O O O O O O O O O O B-OffAct I-OffAct O O
+O O O O O B-OffAct O O O O O O O B-Tool I-Tool O O O O O O O
+O O O O O O O O O O O O O B-SecTeam I-SecTeam O O B-OffAct O O O O O O O O O O O O O O O O O O O O O O O I-Org O O O O O B-Area B-Area O
+B-OffAct O O O B-HackOrg O O O O B-Time O O B-SecTeam I-SecTeam O O O B-Tool I-Tool O
+O O O O O O O O O O O O O O O O O O B-Tool O O O O O O O O O B-HackOrg I-HackOrg O O O O O O O O
+O O O O B-HackOrg I-HackOrg O O O O O O O O B-HackOrg I-Org O O O O O O O O O O O O O O B-HackOrg O O O O O B-Org I-Org I-Org O
+O O O B-HackOrg I-HackOrg O O O O O O O O O O O O O O O B-Tool O O O O O O
+B-SecTeam I-SecTeam O O O O B-Tool O O O B-Tool O B-Tool O B-Tool I-Tool I-Tool O
+O B-Time I-Time I-Time O O O O O B-Way O O O O O O O O O B-Exp I-Exp I-Exp O O
+O O O O O O O B-HackOrg I-HackOrg O O O B-Way O O O O
+O B-Time O O B-HackOrg O O B-OffAct I-OffAct I-OffAct O O O O O O O O O O O O O O O
+B-Tool O O O O O O O O O O O O O O O O O O
+O O O B-Time I-Time O O B-SecTeam I-SecTeam O O B-Tool O O O O O O O O O O O O
+O O O O O O O O O O O B-Tool O O O B-HackOrg I-HackOrg O
+B-Org O O O O B-Time I-Time O O O O B-OffAct I-OffAct I-OffAct O O O O O O O O O B-HackOrg I-HackOrg O O O O O O O B-Way O O
+B-Org O O O O B-Time I-Time O O O O B-OffAct I-OffAct I-OffAct O O O O O O O O B-HackOrg I-HackOrg O O O O O O O B-Way O O
+O O O O O O O O O O O O O O O O O O O O O O B-Time O O O O I-Time B-Time O
+B-SecTeam I-SecTeam O O B-Tool I-Tool O B-Tool O O O O O O O O O O O O O O
+O O O O O O O B-Tool O O O B-OffAct O O O O B-Tool O B-Tool I-Tool O O B-Tool O O O O O B-OffAct O O O B-Time O
+O O O O O O O O O O O O O O O B-Tool O O O O O O O O B-Tool O B-Tool O O B-Tool O
+B-SecTeam I-SecTeam O O O O O B-Tool I-Tool O B-Time I-Time O B-Time O O O O O O B-Tool O
+O O O O O O O O O O B-SecTeam I-SecTeam I-SecTeam I-SecTeam O O O O O O B-OffAct O O O O
+B-HackOrg I-HackOrg O O O O B-Tool I-Tool O O O O O O O O O
+B-HackOrg I-HackOrg O O B-Way I-Way O O O O O O O O O O O B-OffAct I-OffAct I-OffAct O B-Time O
+B-SecTeam I-SecTeam O O O O O B-HackOrg O O O
+B-HackOrg O O B-Tool O O O O O O O O O O O O O O O O B-HackOrg O O B-Tool O O I-Way O O O O O O O O O O
+O O O O B-SecTeam I-SecTeam O O O O B-HackOrg I-HackOrg O O O O O O O B-HackOrg O O
+B-HackOrg I-HackOrg O O O B-OffAct O O B-Way O B-Way I-Way O O O B-Time O O O O O O O O O O O O O O O O O
+O O O O O O O O B-Tool I-Tool O O B-HackOrg I-HackOrg O
+O O O O O O O O O O O O O O O O O O O B-SecTeam O O O B-OffAct I-OffAct O O B-Area B-Idus O O O B-Idus O O O O O O
+O B-HackOrg O O B-Way I-Way O O O O O O O O O O O B-OffAct I-OffAct I-OffAct O B-Time O
+O B-HackOrg O B-Tool I-Tool I-Tool O B-Purp I-Purp I-Purp I-Purp O O O O O O O O O B-OffAct I-OffAct O O O O O O O O
+O B-Time I-Time I-Time I-Time O B-SecTeam O O O O O O O O O B-HackOrg B-SecTeam O O O B-HackOrg O B-SecTeam O O B-HackOrg I-HackOrg O O
+O B-Time O B-SecTeam I-SecTeam O O O O O O O O O O O O O O O O O O O O O O
+O B-Time O B-SecTeam I-SecTeam O O O O O O O O O O O O O O O O O O B-HackOrg O O O B-Purp I-Purp O
+O O O O O O B-Time I-Time O O B-SecTeam O O O O O O O O O O O O B-Time I-Time O O O O O O O O O O O O O O O O O O O O O O O O O O O B-SecTeam I-SecTeam O O O O O O B-HackOrg O O O O O O O
+O O B-Time O O O O O O B-SecTeam O B-SecTeam O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O I-HackOrg O B-SecTeam I-SecTeam O O O O O O O O O O O O O O
+B-Tool O O O O O O O O O O O O O B-Time O O O O O O O O O O B-Time I-Time O
+O O O O B-HackOrg O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+B-Tool O B-Tool O B-Tool O B-Tool O B-Tool O B-Tool I-Tool O O O O B-Features I-Features I-Features O O O O
+B-SecTeam I-SecTeam O O O O O O O O O O O B-HackOrg I-HackOrg O O O O O O O O O O O O O O O O O O O
+O O O O B-HackOrg I-HackOrg O O O B-Tool I-Tool I-Tool B-Tool I-Tool I-Tool O B-Purp O O O O O O O I-Purp O
+O O B-Way I-Way O B-HackOrg I-HackOrg O O O O O O O O O O O O O O O O O O
+B-SecTeam I-SecTeam O O O B-HackOrg I-HackOrg O O O O O O O O O O O O O
+O O O O I-Purp O O O O I-Purp O O B-HackOrg I-HackOrg O O O O O O O O O O O O
+O O O O O O O O O O B-Area I-Area B-Idus O O O O O B-Org I-Org O O O O I-HackOrg O O O O O O O O O O O O
+O O O O O O O O O O O O O O O B-Idus I-Idus O O B-Org O B-Org O B-Org O B-Org O O O B-Org I-Idus B-Org I-Org O
+O O I-Time O B-SecTeam O O O O O B-OffAct O B-Org I-Org O O O O O O O O O O O O O O
+O O O O O O O O B-OffAct I-OffAct I-HackOrg O O O O O O B-Time O O O O O O O B-OffAct O O B-HackOrg I-HackOrg O B-Org I-Org O
+O I-HackOrg O O O O O O O O O O O O O O O O O O O O O O O O B-Purp I-Purp O B-Purp I-Purp I-Purp O O B-Purp I-Purp O
+O O O O O O O O O O O O B-Area I-Area I-Area O O O B-HackOrg O O B-HackOrg I-HackOrg O O O O O O O B-Area O O O O O
+O B-HackOrg I-HackOrg O O B-Purp I-Purp I-Purp O O O B-Purp I-Purp O B-Purp I-Purp O O O B-Purp I-Purp O
+O B-OffAct O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O B-OffAct O O O O O O O O O O O O O O O O O B-SamFile O O
+O O O O O I-Tool O O O O O O O O O B-SamFile I-Tool I-Tool I-Tool O O O B-OffAct O O O O
+O B-HackOrg I-HackOrg O O O O O B-Tool I-Tool O O O O O B-Purp I-Purp O O O O O O
+O O I-Tool O O O O O O O B-SamFile I-SamFile O O O O O B-SecTeam O O O B-SamFile I-SamFile O
+O O O O O B-Features O O O O O O O O O B-OffAct O O O O O O
+O B-Tool O O O O O B-Area B-HackOrg I-HackOrg O O O B-HackOrg I-HackOrg O B-HackOrg I-HackOrg O
+O O O O O O O O O B-HackOrg I-HackOrg O O O B-Tool O B-Features I-Features I-Features O
+O B-HackOrg I-HackOrg O O B-Tool O B-Tool O O O O O O O O O O O
+O O O O O B-HackOrg O B-OffAct I-OffAct I-OffAct O B-Purp I-Purp I-Purp O O O O O O O O O O O O
+O O O O O I-HackOrg O O B-Purp I-Purp O O O O O O O O O O B-Tool I-Tool O B-Tool O O
+O O B-Tool O O O O O O B-Area I-Area I-Area O O B-HackOrg O B-HackOrg O O B-HackOrg O
+O O O O O O I-Tool O O O O I-HackOrg O I-Features I-Features O O O O
+O O O O O O O O O O O O O O O O B-Tool O O O O O O
+O O O O O O O O O O O O O O O O O O O O O O B-HackOrg B-OffAct O O O O O O
+O O B-Tool I-Tool O I-Tool O O B-HackOrg I-HackOrg B-Features I-Features I-Features I-Features O O O O O O O O O
+O O O B-Purp I-Purp I-Purp O I-Purp O O O O O O O O B-HackOrg I-HackOrg O O O O O B-Tool O
+O O O O O O B-Tool O O O O B-Area I-Area I-Area O O O B-HackOrg O B-HackOrg O B-HackOrg O
+O B-HackOrg I-HackOrg O O O O O O O O O B-Tool O
+O B-HackOrg O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O B-HackOrg O B-HackOrg O B-Tool I-Tool O
+O O O O O B-OffAct O O O O O O B-HackOrg I-HackOrg O O B-Purp I-Purp I-Purp O B-Org I-Org O O O O
+O O O O O O I-HackOrg O O O O O O O O O O O O O O O O O O O O O B-HackOrg I-HackOrg O O O O O O O O B-Area I-Area O O O O O B-Area O
+B-SecTeam O O O O O B-OffAct I-OffAct O O O O B-Time I-Time O O O O O O O O B-Tool O O O O O B-Area I-Area O
+B-SecTeam O O O O O B-HackOrg I-HackOrg O O O O B-Time I-Time O O O O O O O O B-Tool O O O O O B-Area I-Area O
+B-SecTeam O O O O O O O B-OffAct I-OffAct O B-HackOrg O O O O O O O O O O B-Time O O O O O O O O
+O O O B-HackOrg O O O O O O B-Org O O B-Area I-Area O B-Area I-Area O O O O O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O
+O O O O O B-Time B-OffAct O O B-Area I-Area I-Org I-Org O O O O O O O O O O O O
+O O O O O O O O B-Time I-Time I-Time I-Time O B-OffAct O O O O O O O B-Time I-Time O
+O O O O O O O O O O O O O O O O O B-Time O B-Time I-Time O
+O O O O B-HackOrg O O O O O O B-Area I-Area O O B-Idus O O B-Area I-Area O O O O O O O O O O O O O O O
+O O O B-SamFile I-SamFile O O O O B-HackOrg O O O O O O O O O O O O O O B-Area I-Area I-Org O O O O O B-Area I-Area O O O O O O O O O O O O O O O
+B-Area I-Area O O O O O O O O O O O O O B-Area I-Area O B-Area I-Area O O O B-Idus O O B-Idus O O
+B-SecTeam O O O O O B-HackOrg I-HackOrg I-HackOrg O O O O O O O O O O O O O O O O O O B-Org I-Org O O O O O O O O O
+B-SamFile O O O O O O O O O I-SamFile O
+B-SamFile O O O O O O O O O O O O O O O O O B-Time I-Time O
+O B-Tool O B-Way I-Way O O O O B-SamFile O
+O B-HackOrg O O O O O O O O O O O O B-Purp I-Purp I-Purp I-Purp O O O
+O O O B-OffAct O O O O B-Area I-Area O O O O O O O O O O B-Org I-Org O O O
+O O B-Time I-Time I-Time O B-SamFile O O O O O O O O B-Tool O
+O O O O B-OffAct O B-HackOrg O O B-HackOrg O O O O O O O O O O O O O O O B-Area I-Area O
+O O O O O O O O O O O O B-SecTeam O O O O O O B-SamFile I-SamFile O
+O O O O B-HackOrg O I-Purp O O O O O O B-Purp I-Purp O O
+O O O O O O O O O O B-Exp O O O B-SamFile I-SamFile O O
+O O B-Time O O B-Way I-Way O B-SamFile I-SamFile O O O O O O O O B-Exp O
+O O O O O O B-HackOrg O O O O O O O B-Idus O O O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-HackOrg I-HackOrg I-OffAct O B-SecTeam O O O I-HackOrg B-HackOrg I-HackOrg B-HackOrg O
+O B-Time O O O B-SecTeam O O O O O B-HackOrg O O O O O O O O B-Idus I-Idus O O O O O O O B-Area O
+O B-Time I-Time O O O O O O O B-SecTeam O O O O O O O O O O O O O O O B-SecTeam O O O B-SecTeam O O O O O B-SecTeam I-SecTeam I-SecTeam O O B-SecTeam I-SecTeam O O O O O O O B-HackOrg O O
+O O O B-OffAct O B-HackOrg O O B-SamFile I-SamFile O O B-Way I-Way O O O O O O O O O
+B-HackOrg O O O O O B-SamFile I-SamFile O B-Way O O
+B-HackOrg O O O O O O O B-SamFile I-SamFile I-SamFile O B-Purp O O O O
+O O O O O B-SecTeam O O O O O O O O O O O O O O O O B-HackOrg O O B-Way O O
+O O B-Time O B-HackOrg O O O O O O B-Area O O O O
+O B-Time O B-SecTeam I-SecTeam O O O O O O O B-Area O B-SecTeam I-HackOrg O O O O O O O O O O B-Area I-Org O B-Org I-Org O B-Org I-Org O B-Org I-Org O B-Org I-Org O B-Idus I-Org O O B-Org I-Org O
+O O O O O O O B-Way I-Way O O O O O O O O O O O O B-HackOrg O O B-Way I-Tool O O O O O O
+O O O B-Time O B-SecTeam O O B-HackOrg O B-Idus I-Idus O O O O O B-Area B-Idus O B-Idus I-Idus O O B-Org I-Org O
+B-SecTeam O O O B-HackOrg O O O O O B-Purp I-Purp I-Purp I-Purp I-Purp O O O O O O
+B-HackOrg O O O O O O O O B-Tool I-Tool I-Tool I-Tool O
+O O O O O O O B-HackOrg O O O B-SecTeam O O O O O O O O O O O O O O O O O O O O O
+O O O O O B-HackOrg O O O O O O O O O O O O O O O O O O O O O B-Idus I-Idus O O O O O O O O O O O O O O O O O O O
+O O O B-Area O B-Area O B-Area O O B-Area I-Area O O O O O O O O O O O O B-SecTeam O B-HackOrg O O O O O O O O O O O O O O
+O B-SecTeam O O O O O O O O B-HackOrg O O O O O O O O O O B-Tool I-Tool O O O O O O O O O
+O O B-HackOrg O O O B-Idus O O O O O B-Area I-Area O O B-Org I-Org O O
+B-Area I-Area O O O O O O O O B-Tool I-Tool O O O O O O O O O O
+O O O O O O O O O O O O O O B-Exp O
+O O O B-Purp O O O O O O O O B-SamFile O O O O O O O O O O O
+O B-Time I-Time O B-SecTeam O O B-Area I-Area O O O O O B-Area I-Area O O O O O O O B-Purp I-Purp O
+B-Time O O O O O O O O O O O O O O O O O O O O O O O O O B-HackOrg O O O O O B-HackOrg O O O O O O B-SamFile I-SamFile O
+O O B-Time O O B-SecTeam O B-Org I-HackOrg O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O B-Time I-Time O B-Time O B-SamFile I-SamFile O B-Exp O O O O O B-Tool I-Tool O
+B-Tool O O O O O O O O O O O O B-SecTeam I-SecTeam I-SecTeam O B-Time I-Time O
+O O O O O O O O O O B-Features I-Features O B-Features I-Features O B-Features I-Features O B-Features I-Features I-Features O O B-Features I-Features I-Features O
+O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O B-OffAct I-OffAct O O O O O B-Time I-Time I-Time B-Time O
+O B-OffAct O O O B-Org I-Org O O B-Area I-Area O B-Area O O B-Area O
+O B-OffAct O O O B-Org I-Org O O B-Area I-Area O B-Area O O B-Area O
+B-SecTeam O O O B-HackOrg O O O O O B-Idus O O O O O O O O O B-Exp O O B-HackOrg O O O O O O B-Exp O O O O O O O O O B-Exp O
+B-HackOrg O B-HackOrg O B-Area B-HackOrg O I-HackOrg O O O O B-Exp O O B-Idus O B-Org O O
+O O O B-SamFile O O O O O O O O O O B-Exp O O O O O O O O O O O O O O O B-SamFile O
+O O O O O O B-SamFile O B-Exp O
+O O O O B-Exp O O O O O B-HackOrg O
+B-Area O O O O O O O O O B-Purp I-Purp I-Purp O
+O O O O B-Exp O O B-Tool O O O O O O B-HackOrg O O O O O
+O O O O O O O O O O O I-Purp O O O B-SecTeam O B-HackOrg O O O O O O O O I-HackOrg O O O O O O O
+O O O O O O O O O O O O B-HackOrg O O O O O B-Tool I-Tool O O O O B-SamFile O O O O O O O O O O O O O O O
+O O O O B-SecTeam O O B-HackOrg O O O O O O O O O O O O O O B-SamFile O O B-Tool O O
+B-HackOrg O O B-Idus O O O O O O O O O B-Way I-Way O O O O O
+O O O O B-SecTeam O O B-HackOrg O O O O O O O O O O O O O O O O O B-Tool O O
+B-Tool I-Tool O O O O O B-HackOrg O O O O
+O O O O O B-HackOrg O O O O B-OffAct O O O O O O O O O O B-SamFile I-SamFile O O O O O O O O O O O O O O O O O O O O O O O
+O O B-HackOrg O O O O O O O O O O O O O I-Purp O O O O O B-Purp I-Purp I-Purp O O B-Purp I-Purp O
+O O O O B-Tool I-Tool O B-HackOrg O O O O O O O B-OffAct O O O O O B-OffAct I-OffAct O O O B-Idus I-Idus O O O O O O O O O
+O O O O O B-Way I-SamFile O O B-HackOrg I-HackOrg O O O O O
+O B-Tool I-Tool O O O O B-Purp I-Purp O O O O O O O O O O O O O O O O O
+B-Tool O O O O O O O B-HackOrg O B-Purp I-Purp O
+O O O O B-OffAct I-OffAct O O O O O O O O B-Purp I-Purp I-Purp O O I-Purp O O
+B-SecTeam O O O O O O B-Time I-Time I-Time O
+O O B-SecTeam B-Time O O O O O O O O O O O B-Time I-Time O O O O O O O B-Area O B-Area O B-Area O O O B-OffAct O O O B-Idus O B-Idus O O
+O O O O B-Time B-Time O B-SecTeam I-SecTeam O O B-Purp I-Purp O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O B-SecTeam B-Time O O O O B-SecTeam O O O O O O O O O O O
+O O O O O O O O B-SecTeam I-SecTeam I-SecTeam I-SecTeam O O O O B-Time I-Time O O O O O O O O B-OffAct I-OffAct I-OffAct O O O O O O B-Time O O O O O O B-Time O
+B-OffAct B-OffAct I-OffAct O O O O O O B-Time I-Time O B-Time O O O O O O O O O O B-Area I-Area O
+O B-Tool I-Tool O O O O B-Exp O O O O O O B-SecTeam O O O O B-Tool I-Tool I-Tool O O O O O
+O O B-Time B-Time I-Time B-Time O O O I-Time B-Time O B-SecTeam I-SecTeam I-SecTeam I-SecTeam O O O O O O O O O O O O O O O O O B-Area I-Area O
+O B-Time I-Time O O O O O O O B-OffAct O O O O O O O
+O O O O B-SamFile O O O O O B-HackOrg O O B-Time I-OffAct O B-Org I-Org O
+O O O O O B-Time I-Time O O O O O O O O O O B-Area I-Area O O O O O O B-Area I-Area O
+O O O O O O O O O O O O O O O O O O O O O O
+O B-SamFile O O O O O O O O O O O O O B-Way I-Way O B-Way I-Way O O O B-Tool I-Tool O O O B-OffAct O O B-Time I-Time O
+O O O O O O O O O O O O B-Time O O O O O O B-OffAct I-OffAct O O O O O O O O O O O O O O O
+O O O O O O O B-Exp O O O O O O B-HackOrg I-HackOrg O B-Time I-Time I-Time I-Time O
+O B-SamFile O O O O O O B-SamFile I-SamFile O B-Features O I-Features O O O O O O O O O O O O O O O O O
+O B-SamFile O O O B-SamFile O O O O O O O O O O O O O O
+O B-SamFile O O O O O O B-SamFile O O O O O O O O O O O O O O O
+O B-SamFile O O O O O O O O O O O
+O O O B-SamFile O O O O O O O B-Features I-Features O O O
+O O B-SamFile I-SamFile O B-SamFile O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O B-OffAct I-OffAct O O O O O O O B-Org O O O O O B-Time I-Time O B-Time I-Time O
+O O O O O O O O O O O O O O O O O B-HackOrg I-HackOrg I-HackOrg O O O B-Idus I-Purp O O O
+O O B-HackOrg O O O B-SecTeam I-SecTeam O O O O O O O O O O O O O O B-Purp I-Purp I-Purp O O O O O O O O O O O O O B-Way O O O O O
+O O O O O O B-HackOrg O O O O O O O B-Purp I-Purp I-Purp I-Purp O
+O O O O B-HackOrg O O O O O O O B-Tool O O O O O O O B-Purp I-Purp I-Purp I-Purp O O O
+O O O O O O B-HackOrg O B-Way I-Purp I-Purp O O O O O O O O
+O O O O O B-HackOrg O O O O O B-Tool O O O O
+O O O O B-HackOrg O B-Tool I-Tool B-Tool I-Tool O O B-Tool O O B-Tool O O O O O O O
+O O O O B-SamFile B-Features I-Features I-Features I-Features I-Features O O O O O O O O B-Purp I-Purp O B-Purp I-Purp I-Purp O
+O O O O O O B-HackOrg O O O O O O O O B-Purp O O O O O O O O
+B-Purp O O O O O O B-HackOrg B-HackOrg I-HackOrg O B-Idus I-Idus O O O B-Org O B-Tool O O B-Tool B-Tool I-Tool O
+O O O B-HackOrg O O O O O O O B-Way I-Tool O B-Purp I-Purp O O O O O O O O O B-Purp I-Purp O
+O B-HackOrg O O O O O O O B-Purp I-Purp I-Purp O
+O O O O B-Area I-Area O O O O O O O O O O O B-Area O
+O B-HackOrg O O O B-Tool I-Tool O O O O O O O O O O O O O O O B-Purp I-Purp I-Purp B-Purp I-Purp O O O O O
+O O O O O O O O O O O O O O O O O O B-Area O
+O O O O O O O O O O B-HackOrg O O O O O O O O B-Purp I-Purp I-Purp I-Purp O O O O O O O O O O O O
+O O O O O O O O B-Tool B-SamFile I-Tool O O O O O O O O O B-Tool O O O O O O O O O O O O O O O O O O O B-Tool I-Purp I-Purp O O O O
+O O O O O O O O O O O B-Time I-Time O B-Time I-Time O O O O O O O O O O O O O O O O O O B-Area O O O B-Area O O B-Area O
+O B-HackOrg O O O O O O B-Purp I-Purp I-Purp I-Purp O O O O O O O B-Purp I-Purp O O O
+O B-HackOrg O O O B-Tool I-Tool I-Tool O O O B-Tool O O O B-Purp I-Purp I-Purp O
+O O B-Area B-HackOrg O O O O O O O O O O O O O O O O O O O B-Purp I-Purp O O O O O O O O O O O O O O O
+O O I-Tool O O O O O O O O B-Area O
+O B-Time I-Time O O O O O O O B-HackOrg O O O B-Area B-HackOrg I-HackOrg O O O O O O B-Idus O B-Idus O O O O O O B-Idus B-Idus O B-Idus O B-Idus O O
+O O O B-Tool O O O O O O B-Tool O O O O O O O O O O O O O O O O B-Purp I-Purp O O O O
+O O O B-OffAct I-OffAct O O O O B-SecTeam I-SecTeam O O O
+O B-HackOrg O O O B-OffAct O O O O B-Area O O O O O O
+O O O O O O O O O O O O O O B-SamFile I-SamFile O B-SamFile O O O O B-Features I-Features O B-Features O O B-Purp O B-Purp I-Purp I-Purp O
+O O O O O O O O B-Way I-Way I-Way O O O O O O O O O O O O O O B-SamFile O
+O O O O O O O O B-SamFile O B-SamFile O O O B-Purp I-Purp O
+O O O O O O O O O O O B-Features O O O O B-SamFile I-SamFile O B-SamFile O O O O O O O
+O O O O B-SecTeam O O O O B-SamFile I-SamFile O O O O B-SamFile O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-Idus O B-Area O
+B-SamFile B-Features I-Features I-Features I-Features O O O O O O O O O O O O O O O O O O
+B-SamFile O B-Features O O O O O O O O B-Org I-Org O O B-Features I-Features I-Features O O O
+O O O O O O O O O O O O B-SamFile O B-Features I-Features I-Features O O O O O B-Purp I-Purp I-Purp O
+O B-SamFile O O O O O B-Features I-Features I-Features I-Features O B-Features I-Features I-Features O O O O O
+O O O O O O O O O B-SamFile O O O B-Features O O O O O O O O O B-Time O
+O O O O O O B-Area O O B-Time O B-SamFile O O O B-Features I-Features O O O O O O O O O O B-Features I-Features I-Features O O O O O O O O O O
+B-SecTeam O O O O O O O O B-SamFile O O B-SamFile O O B-Features O O O O O O O
+O B-SamFile O O O O B-Org I-Org I-Org O
+O O O O O O O O O O O O O O B-SamFile O O O O B-Idus O O O O O O O O
+B-SamFile O O O B-HackOrg O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+B-SamFile O O O O O O O O O O B-Purp O O O O O O O O O O O O
+O B-SamFile O O O O O O O O O O O B-SamFile O O O O O O O B-Org I-Org O O
+O O B-SecTeam O O O B-HackOrg I-SecTeam O B-SecTeam I-SecTeam I-SecTeam O O O O O B-HackOrg O O O O O O O B-SecTeam O O B-Time O
+O B-Time O B-SecTeam O O B-SecTeam I-Org O O O O O B-OffAct O O O O O O O O B-Area I-Area O
+O B-HackOrg O O B-Purp I-Purp I-Purp O O O O O O O O O O O O O O O O O
+B-SecTeam O O O B-Way O O O O O O O O O O O O O O O B-OffAct O
+O O O B-HackOrg O O O O O O O B-Time O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O O O O B-HackOrg O O B-Area O O
+O O B-HackOrg O O O O O O O O O O O O O O B-Way I-Way O O B-SamFile O O
+O B-SamFile O O O O O O O O O O O O O O O O O O O B-SamFile I-SamFile O O O O
+O O O O O O O O O O O O B-SamFile O O O O O O O O O O O O O B-SamFile I-SamFile O
+O O O O O O O O O O O O O O O O O B-SamFile O O O B-SamFile B-SamFile O
+B-SamFile O O O O O O O O O O O O O O O O B-SamFile O O O O O O O
+O O O B-Tool I-Tool O O O O O B-HackOrg I-HackOrg O O O O O O O O O O B-Org O O O O B-Tool O O O O O
+O O O O O O O O O O O B-HackOrg I-HackOrg O O O O O O O B-Tool I-Tool O O O O O O
+O O O O O O O O O B-Exp I-Tool I-Tool O O O O O O O O O O B-Features I-Features I-Features I-Features I-Features O O O O O B-Idus I-Features B-Idus I-Features O
+O O O O O O O B-Exp I-Exp O O O O
+B-Tool O O O O O B-Features I-Features O B-Features I-Features O B-Features I-Features I-Features I-Features O
+B-Tool O O O O O B-Features I-Features O B-Features I-Features O B-Features I-Features I-Features I-Features O
+B-Tool O O O O O O O O O O O O O B-SamFile O O B-Purp I-Purp I-Purp O O O O O O
+B-Tool O O O O O O O O O O B-Tool O O O O O O O O O O O O O O O O B-Tool O B-Tool O B-Tool O
+B-Tool O O O O B-Tool O O O O O B-Features I-Features O B-Features I-Features I-Features I-Features O
+O B-Tool O B-Tool O O O O O O O O B-Features I-Features O O O O O O
+O O O O O O O O O O O O O O O B-Tool I-Tool O O O B-Features I-Features I-Features I-Features I-Features O O O O B-Tool O O B-Features O B-Features I-Features I-Features I-Features O
+O O B-Tool O O O O O O O O O B-HackOrg B-HackOrg I-HackOrg I-HackOrg O O O O O O O O O O O O O B-HackOrg I-HackOrg O O O O O O O O O O O O B-Area O B-Area O
+O O O O O O O O O O O B-Org O O O O O O O O O O O O O O O O O O O O O O B-Area O O B-Area O I-Org I-Org O
+O O O O O B-HackOrg O O O O O O O O O O O O O O O O O O O O O
+O O I-Tool O O O O O O O O O O B-HackOrg O O O O
+O O I-SamFile O O B-SamFile O O O B-Area O B-Area O B-Area O O B-Area O
+O O O O O O O B-Time O O O O O O O B-Idus O B-Org I-Org O O B-Area I-Area O
+O O B-SecTeam O O B-HackOrg I-HackOrg O O O O O O O O O O O O B-Time O
+O O O O O O O O O O B-Time I-Time O O O B-Area I-SecTeam O B-SecTeam I-SecTeam O O O O O O O O O O O O O O O O O
+O O O B-HackOrg I-HackOrg O O O O O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O O B-Area O
+O O B-SecTeam O O B-HackOrg O O O O O B-Purp I-Purp I-Purp O O B-Purp I-Purp I-Purp O B-Purp O O O I-Area O O O
+O O O O O O O O O O B-HackOrg I-HackOrg O O O O O O O O O O O O
+O O O O O O O O O B-Exp I-Exp I-Exp O O O O O O O O O O O O O O O O B-Features I-Features I-Features O B-Features O O O O O
+O B-HackOrg O O O O B-HackOrg O O O O O O O O O O O B-Org O O O O O O
+O B-Features I-Features O O O O O O O O O O O O O O B-Features I-Features I-Features O B-Features I-Features I-Features O
+B-HackOrg O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O B-Time O O O O O O O O O O O O B-Org O O O B-Exp O O O O O O O B-OffAct I-OffAct I-OffAct O O O O O O
+O O O O O O O O O O O B-HackOrg O O O O O O O O O O O O O O O O O B-Tool O O O
+O O O O B-SamFile O O O O O O O O O O O O O O O B-Tool O O O O O
+O O O O O O O O O O O O O O O O O O O O O O B-Tool O O B-Way I-Way O O O O O O O O O
+O O O O O O O O O B-Tool O O O O O O O O O O O
+O O O O O O B-SamFile B-Features I-Features I-Features O O O O O O O O O O O O O B-Features I-Features I-Features I-Features O O O O O O O O O O O
+O O O O O O B-Features I-Features I-Features I-Features I-Features O O O O O O O O O O B-Purp I-Purp I-Purp I-Purp O O
+O O O O O O O O O O B-HackOrg O O O O O O O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O
+O O O O O O B-Tool O O O O O O O O O O O O O O O O O O O O O B-Tool O B-Tool I-Tool O
+B-SecTeam O O O I-HackOrg O O O B-HackOrg I-HackOrg O O
+O O O O O B-HackOrg I-HackOrg O B-OffAct O O O O B-Way I-Way O O O O O O
+O B-Tool I-Tool O O O O O O O O O O O O O O O O B-Features I-Features I-Features O O O O O O O O O O O O O O O
+O O B-SecTeam O O O O B-Tool I-Tool O O O O O O O O B-Tool I-Tool O
+O O O O B-HackOrg I-HackOrg I-HackOrg O O O O O O O O O O O O O B-Org O O B-Area O
+O B-HackOrg O O O O O B-SecTeam O O O O
+B-HackOrg O O O B-HackOrg I-HackOrg O O O O O O B-Time O
+B-HackOrg I-HackOrg O O O O O B-SecTeam O O O O
+O O B-HackOrg I-HackOrg O O B-Tool I-Tool I-Tool O O O O O O O O O O I-Purp O O O O O O O O O O O O O O B-OffAct O
+O O O O O O O O O O O O O O O O O O O O O O O B-Area I-HackOrg B-HackOrg O
+B-Area O O O O O O O O O O O O O O B-Time I-Time O O O O O O O O O O O O O O O O O
+O O O I-SecTeam O O B-HackOrg O O O O O O O O O O O B-OffAct I-OffAct O O O O O O O B-Area I-Org I-Org O O
+O O O O O O B-Time O O O O O O O O
+O O O B-Tool O O O O O O O O O O O O O O O O O O O O O O O B-Tool I-Tool I-Tool O B-Tool O O O B-Tool O
+O O O B-SecTeam O O O O O O O O O O O O O O B-Tool I-Tool O
+O O O O O O O B-HackOrg O O O O O O O O O O I-Features I-Features O O O O O O B-Tool O O O O
+O B-SecTeam I-SecTeam I-SecTeam O O O O O O O O O B-HackOrg O B-HackOrg O O O O O O O O O O O
+B-HackOrg O O O O O B-Tool O O O O O O O O O B-Way O O O O O O
+O O O O O O O O O O O B-Area I-Area O O O O O B-Area I-Area O O O B-OffAct O O O O O O O O B-Org I-Org O O O O B-Org O O
+B-Tool O O O O O O O O O O O B-Tool I-Tool O O B-Tool O O O O O O O B-Time O
+O O O O O O O O O O O B-Area I-Area O O O O O B-Area I-Area O O O B-OffAct O O O O O O O O B-Org I-Org O O O O B-Org O O
+B-OffAct I-OffAct O O O O O B-OffAct O O O O O O O O O O O B-Idus O B-Idus I-Idus O
+O O B-Area I-Area B-Idus O B-Tool O O O O O O O O O O O O O O O O O O O O B-Tool O O O O B-Features I-Features O B-Features I-Features O B-Features I-Features O B-Features O O B-Features O O O O
+O O B-Area I-Area B-Idus O O O O O O O O O O O O O O O O O O O O O O B-Tool O O O O B-Features I-Features O B-Features I-Features O B-Features I-Features O B-Features O O B-Features O O O O
+O O B-Time I-Time O O O O O B-Way I-Way O O O O O O
+B-Tool O O B-Tool O O B-Features I-Features I-Features I-Features O B-Features I-Features O
+B-SecTeam O O O B-Tool O O O O O O O B-Area O O B-Org I-Org O B-Way I-Way O B-Time I-Time O B-Time I-Time O B-Time O
+B-Tool O O O O I-Tool O O O O O O
+O B-Area O O O O O B-Tool O O O O O O O B-OffAct I-OffAct O O O O O O O O B-Area O O O
+O O O B-Time O O O O O O O B-Tool O O O O B-Tool I-Tool O
+B-HackOrg I-HackOrg O O O O O O O O O O O O O O O O B-Tool O B-HackOrg O
+O O O O O O B-HackOrg I-HackOrg O O O O O B-Time I-Time O O O O O O O O B-Tool I-Tool O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O O O B-Tool O O O
+O O O O O O O O O O B-Purp I-Purp O O O O O
+O O B-OffAct B-OffAct O O O O O O O O B-Time I-Time O
+O O O B-OffAct I-OffAct O O O B-Org I-Org I-Org I-Org O O O O O O B-Tool I-Tool O O O O O O
+O O O B-OffAct I-OffAct O O O B-Org I-Org I-Org I-Org O O O O O O B-Tool I-Tool O O O O O O
+B-Tool O O O O O O O O O B-OffAct O O O O O O B-Time O B-Time O O O O O O O O O O O O O O O
+O O O O O O O B-Tool O B-Tool O O O O O O O O O O O O O O O O O O O O O O
+B-SecTeam I-SecTeam I-SecTeam O O O O O O O B-OffAct O B-HackOrg O O O O O O O O O O O O O
+O O O O O O O O O O O O B-HackOrg I-HackOrg O O B-Tool O I-Tool O O O I-Time O O
+O B-Tool O O O O O O O O O O O O O O O I-SamFile O O O O O O O O O O O O O O O
+B-SecTeam I-SecTeam I-SecTeam O O O O O O O B-HackOrg O O O B-HackOrg O O B-Org O O O O O O O O O B-OffAct I-OffAct O O O O O O O O O O O
+O O B-HackOrg O O O O O O O O O O O O O O O O O O O O B-Time I-Time O B-Time O O O O
+O O O O O O O O O O O B-Purp I-Purp O O O O B-Idus O B-Idus O O
+O O O O O O O O O O I-Tool O O B-SecTeam I-SecTeam O O B-Time I-Time O
+O O O O O O O O O O O O B-SecTeam O O O B-Time I-Time O
+O O B-Way O O O B-Org I-Org O O O O O O O O O B-SamFile I-SamFile I-SamFile I-SamFile O O O B-Exp O O O O O O O
+O O O O O O O O O O O O O O O O B-Time I-Time O B-Time O O O O O O O B-Way I-Way I-Way O B-Area B-Org I-Org O O O O O
+O O O O O O O O O O O O B-Exp O O B-SamFile I-SamFile O
+O O O O O O O O O O O O O O O O O O O B-Idus I-Idus O O O O O O O O O B-Way I-Way O
+O O O O O O O O O O O O O O O O B-Time I-Time O B-Time O O O O O O O B-Way I-Way I-Way O B-Area B-Org I-Org O O O O O
+O O O O O O O O O O O O O O O O O O O O B-Way I-Way O O
+O O O O O O O O O O O O O O B-SecTeam O O O O O O B-OffAct I-OffAct O O O O O O O O B-Area B-Org O B-Area I-Area O B-Area O
+O O B-Time I-Time O B-Org I-Org I-Org O O O O O O O O O O B-Tool O B-Tool O O O O O O O O O O O O O O O O O O O B-Org I-Org O
+O B-Time I-Time O O O O O O O O B-Area O O O O O O B-Area O
+O O O B-Org I-Org O O B-OffAct O O B-Org I-Org O B-Way I-Way O O O O O O O O B-Exp I-Exp I-Exp O
+O B-SecTeam I-SecTeam I-SecTeam O O O O O O O O B-Time I-Time O O O O O B-OffAct O O O O O O B-Area O O O O B-Idus I-Org O
+O O O O O O B-Features I-Features I-Features O O B-Org O O O O O B-SecTeam I-SecTeam O O O B-HackOrg I-HackOrg O B-Time I-Time O
+B-SecTeam I-SecTeam O O B-HackOrg I-HackOrg O O O O O O O O O O O O O O O O B-Tool O B-Tool I-Tool I-Tool O O
+B-HackOrg O O O B-Tool I-Tool I-Tool O O O O B-Tool O O O O O O O O O O
+B-HackOrg O O O O B-Tool I-Tool O O O O O O O O O O O O B-Tool O
+B-SecTeam I-SecTeam O O O O O O O O O O O O O O O O O O I-Tool O O
+B-SecTeam O O O O O B-HackOrg I-HackOrg O O O O B-HackOrg O O O O O O O B-Time O O O O O O O B-Area O O O O O O O O O O O O B-Purp O O O O I-Purp O
+B-HackOrg O O O O O O O O O O O O O O B-Way I-Way O O O O B-Tool I-Tool O
+O B-Time O B-Time O B-HackOrg O O I-OffAct O O O O
+O O O O O O O O B-Area O O O O O O O O O B-Area O
+O O O B-HackOrg O O O O O B-Idus O B-Idus O B-Idus O O B-Org I-Org O
+B-HackOrg O O O O O O B-SamFile O O O O O B-SamFile O B-SamFile I-SamFile O O O O O O O O O
+O O O O B-Tool O O O O O B-SamFile O O O O
+B-HackOrg O O O O O O O B-Way I-Way I-Way O O B-Tool O
+O O O B-SamFile O O O O O O O O O O O
+B-HackOrg O O O O O O B-Tool O O I-Purp O
+O O O O O B-HackOrg O O O B-Purp I-Purp I-Purp O O O O O O O O O O O I-Purp O O
+B-HackOrg O O O O O O O O O O O O O O O O B-Purp I-Purp I-Purp I-Purp I-Purp O
+O O O O O O O O O O B-Tool I-Tool I-Tool O O B-Tool O B-Tool O O O O O O O O O O O O O O B-Exp O O O O O
+O B-Tool O B-Tool O O O O O O O I-Features I-Features O O B-Features O O O O O O O O
+O B-HackOrg O O O O B-Tool O O O O B-OffAct O O O
+O B-Tool O O O O O I-Tool O O O O O O O B-Tool O O O O O O O
+O B-Time I-Time O B-Time I-Time O O O O O O O O O O B-HackOrg O O O O B-OffAct O B-Idus O B-Idus O O B-Idus O O B-Area I-Area O B-Area O
+O O O O B-HackOrg O O O O O O O O B-Area O O O B-Org I-Org O
+B-HackOrg O O O O O O O O O O O O O O O O O O O O O O O O O O O O O
+B-HackOrg I-HackOrg O O O B-Idus I-Idus B-Org I-Org I-Org O O O O
+O B-HackOrg I-HackOrg O O O O O O O O O B-Tool I-Tool O O O O O O O O O
+B-HackOrg I-HackOrg O O O O O O O O O O O O O B-HackOrg O O O B-HackOrg I-HackOrg O O O O B-Purp O O O
+B-HackOrg I-HackOrg O O O O B-Org I-Org O B-Area O B-Area O O B-Area I-Area O B-Area I-Area O B-Area O B-Area O B-Area O B-Area B-Area I-Area O O O O
+O O O O O O O O O O O O O O O O O O O O O B-Tool I-Tool O B-Tool I-Tool O
+O O O O O O O O O B-SecTeam I-SecTeam O O O O O O O B-OffAct I-OffAct O O O O O O O O O B-OffAct I-OffAct O O O O O B-Area I-Area B-Org I-Org O
+O O O O O O O B-OffAct I-OffAct O O O B-Area I-Area B-Org I-Org O
+O B-HackOrg I-HackOrg O I-HackOrg O O B-Area I-HackOrg O O B-Tool I-Tool I-Tool O
+B-HackOrg O O O O O O O O
+O O B-OffAct O B-HackOrg O O O O O O O O O B-Tool O
+B-HackOrg I-HackOrg O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O B-Time O O O O O O O O O O O B-Way I-Purp O
+O O O O O O O O O O O O O O O B-Tool O O O B-Way I-Way O
+O O O O O O O B-Tool O B-Time O O O O O I-Tool O O O O O O O O O O O
+B-HackOrg O O O O O O O O B-Tool I-Tool O O O B-Way I-Way O O O O O O O O O O O O O O O O
+O O B-OffAct O O O O O O O B-Time I-Time O B-Time O O O O
+O O O O O O O O B-OffAct I-OffAct O O B-SecTeam I-SecTeam O O B-Time I-Time B-Time I-Time I-Time O
+O O B-Tool O O O O O O O B-HackOrg O O O O O O O O O O O O O O O O
+B-HackOrg O O O O O O O O O O B-Tool O B-Tool O O O O O O B-OffAct I-OffAct O O O O O O O O O O O O
+O O B-OffAct O O B-Time B-Time I-Time I-Time O O O B-SamFile O O O O O O O B-HackOrg O O O O O O O O O O O O O O O O B-Org I-Org O
+B-SecTeam I-SecTeam O O O O O O O O O O O O O O O O O B-OffAct I-OffAct O
+O B-SecTeam I-SecTeam I-SecTeam O O O O O O B-HackOrg O O O O B-HackOrg I-HackOrg O O O O O B-Purp I-Purp I-Purp I-Purp O O B-Tool I-Tool O O O O O O O O O B-HackOrg I-HackOrg O
+O O O O O O B-HackOrg I-HackOrg O O O O O O O O O
+O B-HackOrg O O O O O O B-Time O O O O O O O O O O O O O O B-Time O
+O O O B-SecTeam O O O B-OffAct O O B-HackOrg I-HackOrg I-HackOrg O
+O O O B-HackOrg I-HackOrg O O B-Tool I-Tool O O B-OffAct I-OffAct O B-Area O
+O O O O O B-Exp I-OffAct O O O O O O O O B-SecTeam I-SecTeam O O O O
+O O O O O O B-HackOrg I-HackOrg B-HackOrg O O O O O O O O O O O O O I-Org O O O O
+O O O O B-Tool O O O B-Tool O O O B-Tool O O O O O O O O O O O O O O O O O O O O O O B-Tool O B-Tool O
+O O O O O O O O O O O O O O O O O O O O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area O B-Area B-Area O B-Area O
+O B-Time O O B-HackOrg O B-SecTeam O B-OffAct O B-Tool O B-Area O O
+O B-Time I-Time O B-SecTeam O O O O O B-OffAct I-HackOrg I-HackOrg O O O B-OffAct I-OffAct O B-Area I-Area O B-Area O B-Area O B-Area O B-Tool O O O O O O B-HackOrg O
+O O O O O O O B-HackOrg O B-OffAct O O B-Area O B-Area I-Area O
+O O O O O O O B-HackOrg O B-OffAct O O B-Area O B-Area I-Area O
+O O O O O O O O O O O B-Area O O O O O O O O O O O O
+O O B-OffAct O O B-Area O B-Area O O B-Area O B-Time I-Time O O O O O O O O O O O O O O O O B-HackOrg O
+O O O O O O O O O O O O O O O O B-SamFile O B-SamFile O O O O O O O O O O O O O O O O O O O B-SamFile O O B-SamFile O O
+B-SamFile O O O O O O O O O O O B-Features I-Features I-Features O O B-HackOrg O
+O B-SamFile O O B-Tool O O O B-SamFile I-SamFile O O O O O
+O B-SamFile I-Tool O O O O O O O O O O O B-SamFile I-SamFile I-SamFile O O O O
+B-SecTeam I-SecTeam O O O O O O B-HackOrg O O O O O O O O O O O O O O O O O O O O O O B-SamFile I-SamFile O O B-HackOrg O O O B-Time O
+O O O I-SecTeam I-SecTeam I-SecTeam I-SecTeam O O O O O O O B-Tool I-Tool O
+O B-SecTeam O O O B-SamFile O O O O O O O B-HackOrg O
+B-SecTeam I-SecTeam O O B-HackOrg O O O O O O O O B-Tool I-SamFile O
+B-SecTeam O O O O O O B-SamFile O O B-HackOrg O O O O B-Way I-Way I-Way O
+O O O B-OffAct I-OffAct I-OffAct O O O B-Tool I-Tool O O O O B-SamFile I-SamFile O O O O B-Exp O B-Exp B-Exp O O
+O O O O O B-HackOrg O O O O O O O O O O B-Way I-Way O O O O O B-SamFile I-SamFile I-SamFile O O O O O
+O B-SamFile I-SamFile O O B-Exp O
+O O B-HackOrg O O B-SamFile I-SamFile I-SamFile O O O O B-Exp O
+O B-HackOrg O O B-SamFile I-SamFile I-SamFile O O O O B-Exp O
+O B-SamFile I-SamFile O O O B-OffAct O O O O O O O O O O O O O B-Idus I-Idus O O O O O B-Area O O O O O O O B-Area O O O O O O
+O O O O B-SecTeam I-SecTeam O O O O O O O O O O B-SamFile I-SamFile O O B-Exp O B-Exp O O
+O O O O O O O O B-HackOrg I-HackOrg I-HackOrg O O O O O O O B-SamFile I-SamFile I-SamFile I-SamFile O O O O O O B-Exp O O
+O B-HackOrg I-HackOrg O O O O O O B-Tool O O B-Tool O O O O O O O O O B-Features O O O O O O
+B-SamFile O O B-Tool O O O O O O O O O O O O O
+O O O O B-Tool I-Tool O O O B-Time O O O O B-HackOrg O O O O O B-SamFile O O O B-OffAct I-OffAct O
+O O O O O O O O O B-Tool I-Tool O O O B-SamFile I-SamFile O O O O O O O O O O O O O O O O O O B-Exp O O O O O O O O O O O
+O O O O B-Time O O O O O O B-SamFile I-SamFile O O B-Way I-Way I-Way I-Way O
+O O O O O O O O O B-Features I-Features O O O O O O O O O O O O O O O O O O O O O B-SamFile O B-SamFile O
+O O B-Tool O O O B-HackOrg O O O O O O B-Tool I-Tool I-Tool O O O O O O O O
+O O O O O B-SamFile O B-SamFile O B-SamFile O
+B-SecTeam O O O O O B-Area O O O O O O B-HackOrg O O O O I-Tool O O O O O B-Tool O
+O O O O O O O O B-SecTeam I-SecTeam O O O B-HackOrg O O O O O O O O O O O O O O O O B-SamFile I-SamFile O O O O O O O O O O O O B-Tool O O O B-SamFile O O B-Tool I-Tool O
+O O O O O B-OffAct O B-Time I-Time O O O O B-Time I-Time O O O O O O O O O O O O O O O O
+O O O O O O O O I-Tool O O O O O O O O B-Tool O O O O O O O O I-SamFile O O O B-SamFile O
+B-SamFile O O O B-SamFile O O O O O O B-SamFile I-SamFile O O O B-SamFile I-SamFile O
+O O O O O O O O O I-SamFile O I-SamFile O O
+O O O O O O O O O O O O O O O O O O O O B-Tool O B-Tool O B-Purp O O O O
+O B-SamFile I-SamFile O O O O O B-Exp O O O O O O O O O O O O O
+O B-SamFile O O O O O O O O O O O O I-Tool O O O O O O O O
+O O O O O O O O O O O O O O O O B-Tool I-Tool O
+O O O O O O O O O B-SamFile O O O O B-SamFile O O O O O O O O O O O
+O O O O O O B-SamFile O O O O O O O O O O O O O O O O B-Features I-Features I-Features I-Features O B-Features I-Features I-Features O
+O O O O O B-OffAct O B-SecTeam O O O O O B-Tool I-Tool O O O O O O O O O O B-Tool O
+O O O O B-Time I-Time O O O O B-SecTeam O O O O O O O O O O O O O O O B-Way O O O O O O O O O O
+O O B-SamFile O O O O O O O O B-HackOrg O O B-Time O O O O O B-Area I-Area B-Org O O O O O O O O O O
+O B-SecTeam O O O O B-HackOrg O O O B-Tool O O O O O O O O O B-SecTeam O O O O O O O B-Tool I-Tool O
+B-Way I-Way O O O O B-SamFile O O O O O O O O O O O
+O B-SamFile O B-SamFile O O O O O O O O O O O O O O O
+O O O O O O I-Time I-Time O I-Time B-Time O O O O O O O O B-HackOrg I-HackOrg O O O O O
+O O O O O O O O B-Way I-Way O O B-SamFile I-SamFile I-SamFile O O O O B-Exp O O O B-Tool I-Tool O O O O O O B-Tool I-Tool I-Tool I-Tool O B-Tool O O
+O O O O O O O O B-Way I-Way O O B-SamFile I-SamFile I-SamFile O O O O B-Exp O O O B-Tool I-Tool O O O O O O B-Tool I-Tool I-Tool I-Tool O B-Tool O O
+O O O O O O O O O O O O O O O B-SamFile O O O O B-Exp I-Exp I-Exp I-Exp O B-Exp O
+O B-SamFile O O B-Way I-Way O O O B-OffAct O O O O B-Exp O O O O O O O O O O O B-Exp I-Exp I-Exp O O O O O O O
+O O B-SamFile O O O O O O O O B-Exp O B-Exp O B-Exp O O O O O O O O O O O
+O O B-HackOrg O O O O B-SamFile I-SamFile O B-Exp O
+O O O O B-Exp O O O O O B-Tool I-Tool O B-SamFile O O O O O O O O O O O O O O O O O O O O O O O O B-SamFile O
+B-SecTeam I-SecTeam O O O O B-Exp I-Exp I-Exp O O O B-OffAct I-OffAct O O B-SamFile O B-SamFile O
+O B-SamFile O O O B-Exp I-Exp I-Exp O B-Exp O O O O O O O O B-Features I-Features O O O O O
+B-Exp O O O O O O O B-SamFile O B-SamFile O O O O O O O O O O B-Time I-Time O
+O B-SamFile O O O B-Exp O B-SamFile O
+O O O O O O O O O O O O O O O O O O O O O O O O B-SamFile O O O B-Exp O B-Exp O
+O O O O O O O O O B-SamFile I-SamFile O O O B-Exp O O O O O O O
+B-SecTeam O O O O O O O O O O O B-SamFile O O O O O B-Exp O
+O O O O O O O O O O O O B-Exp O O O O O O O O O O O B-SamFile O O O O O O B-SamFile O O O O O O O O O O O O O O
+O O O O O O O O O O O O B-Exp O O O O B-SamFile I-SamFile I-SamFile O B-SamFile O O O O O O O O
+O O O O O O O B-SamFile O O B-Time O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-Exp O
+O B-SamFile I-SamFile O O O O O O O O O O O O O O O O O O O B-Exp O B-Exp O B-Exp O O O B-HackOrg O O O O O O O O
+O O B-SamFile O O O O O O O O O B-Exp O O O O O O
+O O B-Way O O O B-Org I-Org O O O O O O O O O B-SamFile I-SamFile I-SamFile I-SamFile O O O B-Exp O O O O O O O
+O O O B-Org I-Org O O B-OffAct O O B-Org I-Org O B-Way I-Way O O O O O O O O B-Exp I-Exp I-Exp O
+B-HackOrg O O O O B-Way I-Way I-Way O B-Way O O O B-Org I-Org O O O O O O B-Exp I-Exp O O O O O O O O
+O B-HackOrg O O O O B-Way I-Way I-Way O B-Way O O O B-Org I-Org O O O O O O B-Exp I-Exp O O O O O O O O
+O O O O B-Exp B-OffAct O O O O O O O O O O O O B-HackOrg O B-Way I-Way O O O B-Idus I-Idus O O O O B-Org O
+B-Exp O O O O O O O O O O O O O O O O O B-Area O B-Area O O O O O O O B-Tool O
+O O O B-Time O O O O O O B-SecTeam O O O O O O B-Exp O O O O O B-Org O
+B-Tool O O O O O O O B-OffAct I-OffAct O O O O O B-Org I-Org O B-Org I-Org O B-Org I-Org O O O O O O O O O O O O O B-HackOrg O O B-Exp I-Exp O O O O B-Tool O B-Time O
+O O O O B-Exp B-OffAct O O O O O O O O O O O O B-HackOrg O B-Way I-Way O O O B-Idus I-Idus O O O O B-Org O
+B-Exp O O O O O O O O O O O O O O O O O B-Area O B-Area O O O O O O O B-Tool O
+O O O B-Time O O O O O O B-SecTeam O O O O O O B-Exp O O O O O B-Org O
+O O O O O O O B-HackOrg B-Way I-Way I-Way O O O O O O O B-Way O O O O O O O O O O O O O O
+O O O O B-HackOrg O B-Tool O B-Purp I-Purp O O O O O O O O O O O O O B-HackOrg O O O
+B-HackOrg O O B-Idus I-Idus O O B-Purp I-Purp I-Purp O O O O O O O
+O O O O B-HackOrg O B-Tool O O O O O B-Purp O B-Tool O O O O O O
+O O O O B-HackOrg O O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O B-HackOrg O O O B-Purp I-Purp I-Purp I-Purp O O O O O O O
+O O O O O O O O O O O O O O O O O B-HackOrg I-HackOrg O O O O O O O O O O O O O O O O O O O O B-Purp O O O
+O B-HackOrg O O O O B-Purp I-Purp O O O O O O B-Idus B-Idus O
+B-HackOrg O O O O O O B-Idus O O O O O O O B-Purp I-Purp I-Purp O O O O B-Purp I-Purp I-Purp O
+B-HackOrg O O B-Way I-Way O O B-Purp I-Purp O O O O O O O B-Purp O O O O O B-HackOrg O O O O O O O O
+B-SecTeam O O O O O O O O B-OffAct O O B-Purp O B-Purp O O O O B-HackOrg O O O O O O
+O B-HackOrg O B-Purp I-Purp I-Purp O O O O O O I-Purp O B-Purp I-Purp I-Purp O
+O O B-HackOrg O O O O B-Way O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O B-Purp I-Purp O O O O O O O O O O O O O O O O O O O O O O O O
+O O O O O O O O O O O O O O O O B-HackOrg I-HackOrg O O O O O O O O O O O O O O O O O O O B-Purp I-Purp O O O O
+O O O O O O O B-HackOrg O O O O O B-Org I-Org O B-Purp I-Purp O B-Idus O O B-Idus O O
+B-HackOrg O O O O O O O O O O O O O O O O O O O O O O B-Purp I-Purp I-Purp O O O O O
+O O O O O O B-Way O O B-Purp O O O O O B-HackOrg I-HackOrg O O B-Way O O O O O O O B-Purp I-Purp I-Purp O
+O O O O O B-Time I-Time O B-HackOrg O O O O O O O O O O O O O O O
+O O O B-Tool O O B-HackOrg O O O O O O O O O O O O O O B-Purp O O O O O O O O O
+O O O O B-SecTeam O O O B-HackOrg O O O B-Idus I-Idus O O B-Area I-Area O O O O O O B-Purp B-Purp O O O
+B-HackOrg O O O O O O O B-SamFile I-SamFile I-SamFile O B-Purp O O O O
+O O O B-Purp O O O O O O O O B-SamFile O O O O O O O O O O O
+O O O O B-SamFile B-Features I-Features I-Features I-Features I-Features O O O O O O O O B-Purp I-Purp O B-Purp I-Purp I-Purp O
+O O O O O O O O O O O O O O B-SamFile I-SamFile O B-SamFile O O O O B-Features I-Features O B-Features O O B-Purp O B-Purp I-Purp I-Purp O
+O O O O O O O O B-SamFile O B-SamFile O O O B-Purp I-Purp O
+B-SamFile O O O O O O O O O O B-Purp O O O O O O O O O O O O
+B-Tool O O O O O O O O O O O O O B-SamFile O O B-Purp I-Purp I-Purp O O O O O O
+O O O B-OffAct O B-HackOrg O B-Way I-Way I-Way O B-SamFile I-SamFile I-SamFile O O B-Purp I-Purp I-Purp O
+O B-HackOrg O B-Tool I-Tool I-Tool O B-Purp I-Purp I-Purp I-Purp O O O O O O O O O B-OffAct I-OffAct O O O O O O O O
+B-HackOrg O O O O O B-Exp I-Exp O O O O B-Purp I-Purp I-Purp O
+O O O O O O B-Exp I-Exp O O O O B-Purp I-Purp I-Purp O
+O O O O O O O O O O O O O O O B-Exp O O B-Tool O B-Purp O O O O O O O O O O O B-Way O B-Way I-Way O
+B-HackOrg O O O O O O B-Exp I-Exp O O B-Tool I-Tool I-Tool B-Tool O B-Purp I-Purp I-Purp I-Purp O O O O O
+B-Exp O O O O O O O O B-Tool O O O O B-HackOrg O B-Purp I-Purp O O B-Purp I-Purp I-Purp O O O O
+O O O O O O O B-Exp O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-Exp O O B-Purp I-Purp I-Purp O
+O O B-Purp I-Purp I-Purp I-Purp I-Purp O O B-Tool I-Tool I-Tool O B-Tool O O B-Exp O O O O O O O O
+O O O O O O O B-Time I-Time O O O O O O B-Exp O O B-HackOrg I-HackOrg O O O O O B-Way I-Way O B-Purp I-Purp I-Purp I-Purp O O O O B-Org I-Org O O O O O O
+O B-HackOrg I-HackOrg O O B-Purp I-Purp I-Purp O O O O O O O O O O O O O B-Exp O O O O O O O O O O
+O O O O O O O O B-Way I-Way O O B-SamFile I-SamFile I-SamFile O O O O B-Exp O O O B-Tool I-Tool O O O O O O B-Tool I-Tool I-Tool I-Tool O B-Tool O O
+O O O O O O O O B-Way I-Way O O B-SamFile I-SamFile I-SamFile O O O O B-Exp O O O B-Tool I-Tool O O O O O O B-Tool I-Tool I-Tool I-Tool O B-Tool O O
+O O O O O O O O O O O O O O O B-SamFile O O O O B-Exp I-Exp I-Exp I-Exp O B-Exp O
+O B-SamFile O O B-Way I-Way O O O B-OffAct O O O O B-Exp O O O O O O O O O O O B-Exp I-Exp I-Exp O O O O O O O
+O O B-SamFile O O O O O O O O B-Exp O B-Exp O B-Exp O O O O O O O O O O O
+O O B-HackOrg O O O O B-SamFile I-SamFile O B-Exp O
+O O O O B-Exp O O O O O B-Tool I-Tool O B-SamFile O O O O O O O O O O O O O O O O O O O O O O O O B-SamFile O
+B-SecTeam I-SecTeam O O O O B-Exp I-Exp I-Exp O O O B-OffAct I-OffAct O O B-SamFile O B-SamFile O
+O B-SamFile O O O B-Exp I-Exp I-Exp O B-Exp O O O O O O O O B-Features I-Features O O O O O
+B-Exp O O O O O O O B-SamFile O B-SamFile O O O O O O O O O O B-Time I-Time O
+O B-SamFile O O O B-Exp O B-SamFile O
+O O O O O O O O O O O O O O O O O O O O O O O O B-SamFile O O O B-Exp O B-Exp O
+O O O O O O O O O B-SamFile I-SamFile O O O B-Exp O O O O O O O
+B-SecTeam O O O O O O O O O O O B-SamFile O O O O O B-Exp O
+O O O O O O O O O O O O B-Exp O O O O O O O O O O O B-SamFile O O O O O O B-SamFile O O O O O O O O O O O O O O
+O O O O O O O O O O O O B-Exp O O O O B-SamFile I-SamFile I-SamFile O B-SamFile O O O O O O O O
+O O O O O O O B-SamFile O O B-Time O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-Exp O
+O B-SamFile I-SamFile O O O O O O O O O O O O O O O O O O O B-Exp O B-Exp O B-Exp O O O B-HackOrg O O O O O O O O
+O O B-SamFile O O O O O O O O O B-Exp O O O O O O
+O O B-Way O O O B-Org I-Org O O O O O O O O O B-SamFile I-SamFile I-SamFile I-SamFile O O O B-Exp O O O O O O O
+O O O B-Org I-Org O O B-OffAct O O B-Org I-Org O B-Way I-Way O O O O O O O O B-Exp I-Exp I-Exp O
+B-HackOrg O O O O B-Way I-Way I-Way O B-Way O O O B-Org I-Org O O O O O O B-Exp I-Exp O O O O O O O O
+O B-HackOrg O O O O B-Way I-Way I-Way O B-Way O O O B-Org I-Org O O O O O O B-Exp I-Exp O O O O O O O O
+O O O O B-Exp B-OffAct O O O O O O O O O O O O B-HackOrg O B-Way I-Way O O O B-Idus I-Idus O O O O B-Org O
+B-Exp O O O O O O O O O O O O O O O O O B-Area O B-Area O O O O O O O B-Tool O
+O O O B-Time O O O O O O B-SecTeam O O O O O O B-Exp O O O O O B-Org O
+B-Tool O O O O O O O B-OffAct I-OffAct O O O O O B-Org I-Org O B-Org I-Org O B-Org I-Org O O O O O O O O O O O O O B-HackOrg O O B-Exp I-Exp O O O O B-Tool O B-Time O
+O O O O B-Exp B-OffAct O O O O O O O O O O O O B-HackOrg O B-Way I-Way O O O B-Idus I-Idus O O O O B-Org O
+B-Exp O O O O O O O O O O O O O O O O O B-Area O B-Area O O O O O O O B-Tool O
+O O O B-Time O O O O O O B-SecTeam O O O O O O B-Exp O O O O O B-Org O
+O B-SamFile O O O O O B-Features O O O O O O O O O O O O O
+O B-SamFile O B-Features I-Features I-Features I-Features O O O O O O O O O O
+O B-SamFile O B-Features O O B-Tool O O O B-HackOrg O O O O B-Purp I-Purp O O O O O O O O
+O O O O O B-SamFile O O O O O O O O O O O O O B-Features O O O O O O O O O O O O
+O B-SamFile O O O O O O O O B-Features I-Features O B-Features O B-Features O B-Features I-Features O B-Features I-Features O
+O O O O B-Features I-Features O O O O O B-SamFile O O O O
+O O O O B-SamFile O B-Features O O O O O O O O O O O O
+O B-Features I-Features O B-SamFile O O O B-Features I-Features I-Features O O O O O O O O O
+O O O O O O O O B-SamFile O O O O B-Features O B-Features I-Features I-Features O O B-Features O O
+O O O O O O B-SamFile O O O B-Features I-Features O O O O O O O O O O O O O O O
+O O O O B-SamFile O O O O B-Features I-Features O O O O O O B-Features I-Features O O O O O O O O
+O O O O O O O B-SamFile O O O B-Features O B-Features O B-Features I-Features O B-Features I-Features I-Features O
+O B-SamFile O O O O O O O O O B-Features B-Features O
+O O O B-SamFile O O O O O O B-HackOrg O O O O O B-Time O O O O O O O O O O O O B-Features I-Features O O O O O O
+B-SamFile O O O O O B-Features O O O O O O O O O O O B-SamFile O O O O O O O O O O O O O O O O O O O
+O B-SamFile O B-Features O O O O O O O O O O O O O O O O
+B-SamFile I-SamFile O O O O O B-HackOrg O O B-Features O O O O O O O O O O O O O O O O O O O O O
+B-SamFile I-SamFile O O O O O O O O O O O O B-Features O O O O O
+O B-SamFile B-Features O O O O O O O O O O O O O O O O O O
+O O O O B-SamFile I-SamFile O O B-Features O B-Features I-Features I-Features O O O O O O B-SamFile O
+O O O O O O O O O B-Exp I-Exp I-Exp O O O O O O O O O O O O O O O O B-Features I-Features I-Features O B-Features O O O O O
+O B-SamFile O O O B-Exp I-Exp I-Exp O B-Exp O O O O O O O O B-Features I-Features O O O O O
+B-SamFile O O O O O O O O B-Features I-Features O O O O
+O B-Exp O B-HackOrg O O O O B-Features I-Features O O O O O
+O O O O B-SamFile B-Features I-Features I-Features I-Features I-Features O O O O O O O O B-Purp I-Purp O B-Purp I-Purp I-Purp O
+O O O O O O O O O O O O O O B-SamFile I-SamFile O B-SamFile O O O O B-Features I-Features O B-Features O O B-Purp O B-Purp I-Purp I-Purp O
+O O O O O O O O B-SamFile O B-SamFile O O O B-Purp I-Purp O
+O O O O O O O O O O O O B-SamFile O B-Features I-Features I-Features O O O O O B-Purp I-Purp I-Purp O
+O O O O O O B-Features I-Features I-Features I-Features I-Features O O O O O O O O O O B-Purp I-Purp I-Purp I-Purp O O
+O B-HackOrg I-HackOrg O O B-OffAct I-OffAct O O O O B-Purp I-Purp O O O B-Features I-Features O O O O O O O O O O
+O O O O O O O O O B-Exp I-Exp I-Exp O O O O O O O O O O O O O O O O B-Features I-Features I-Features O B-Features O O O O O
+O O O B-SamFile O B-Exp O B-Features I-Features I-Features O
+O B-SamFile O O O B-Exp I-Exp I-Exp O B-Exp O O O O O O O O B-Features I-Features O O O O O
+B-SamFile O O O O O O O O B-Features I-Features O O O O
+O B-Exp O B-HackOrg O O O O B-Features I-Features O O O O O
+O O O O B-HackOrg O O O O O O O O O O O O O O O B-Area I-Area O O O B-Idus O B-Idus I-Idus O
+O B-HackOrg I-HackOrg O O O O O O O O O O O B-Idus O B-Idus O B-Idus O B-Idus O O B-Idus O O O O O O O O O B-Area I-Area O
+O B-HackOrg I-HackOrg O O O O O O O O O O O B-Idus O B-Idus O B-Idus O B-Idus O O B-Idus O
+O O O O O O O O O O B-HackOrg I-HackOrg O O O O O O O O O O B-Area B-Idus O O O O O O O B-Idus I-Idus O B-Idus O O
+O B-HackOrg O O O O O B-Area I-Area O O B-Idus O B-Idus O B-Idus O B-Idus O B-Idus O O O O
+B-HackOrg I-HackOrg O O O B-Area O B-HackOrg O O O O O B-Time I-Time O O O O O B-Idus O B-Idus O B-Idus O B-Idus O B-Idus O B-Idus I-Idus O O
+O O B-HackOrg O O O O B-Area I-Area B-Org O O O O B-Idus I-Idus I-Idus I-Idus I-Idus I-Idus O
+B-OffAct O B-OffAct O B-Org I-Org O O B-Idus I-Idus I-Idus O O B-Idus O O O O O B-Area O
+O O O O O O O O O O O O O O O O O O O O O B-Idus I-Idus O O O O O O O O O O O O O O O O B-OffAct I-OffAct O O
+B-SecTeam O O O O O B-HackOrg O O O O O O O O O O B-Idus O O B-Idus O O B-Org I-Org O O B-Idus O B-Idus O B-Idus O O B-Idus O O B-Idus O O B-Idus O O O O O O O O O O
+O O O O O O O B-Tool O B-HackOrg O O O O O O O O O O
+B-HackOrg O O O O O B-OffAct O B-Tool O O O O O O O O O O O
+B-SecTeam O O O O O O O O O O O O O O O O O B-Idus O O B-Idus O O B-Org I-Org O O B-Idus O B-Idus O B-Idus O O B-Idus O O B-Idus O O B-Idus O O O O O O O O O O
+O O O O O B-SecTeam O O O B-HackOrg O O O B-Purp I-Purp O B-Purp I-Purp O O O O O O B-Idus I-Idus O B-Idus O B-Idus O
+O B-Time O O O O O O O O O O B-Tool O O O O O O B-Org I-Org I-Org O O B-Idus O B-Idus O B-Idus O B-Idus O B-Idus O O B-Org I-Org O O O O
+O O O B-OffAct I-OffAct I-OffAct O O B-Area I-Idus O O O O O O O O O O B-Idus I-Idus O B-Idus I-Idus O O B-Idus I-Idus I-Idus O
+B-HackOrg O O O O O O O O O O O B-OffAct I-OffAct O O O O O B-Way I-Way O O O O O B-Way I-Way O O
+B-HackOrg O O B-Way I-Way O O O O O O O O O O O O O O O O
+O B-Time I-Time O B-Time I-Time I-Time O B-SecTeam O O O B-Way I-Way O O B-HackOrg O O B-Area B-Org I-Org O O B-Area O O O O B-Idus O O
+O B-Time I-Time O I-Time O O B-HackOrg O O B-Way I-Way O O O O O O O O B-Org I-Org O
+O B-Time I-Time O I-Time O O B-HackOrg O O B-Way I-Way O O O O O O O O B-Org I-Org O
+O B-HackOrg O O B-Way I-Way I-Way O O O O B-Area B-Idus O B-Idus O O O O O O O B-Idus O
+O O O B-HackOrg I-HackOrg I-HackOrg O O O O O B-Exp I-Exp O B-Way I-Way I-Way O O B-OffAct I-OffAct I-OffAct O
+O B-Time I-Time I-Time I-Time O B-HackOrg I-HackOrg O O B-Way I-Way O O B-Org O O O O O O O O
+O B-Time I-Time I-Time I-Time O B-HackOrg I-HackOrg O O B-Way I-Way O O B-Org O O O O O O O O
+O B-OffAct I-OffAct I-OffAct O O O O O O O O O O O O O O B-Way O B-Way I-Way O O O O
+O B-OffAct I-OffAct I-OffAct O B-Way O B-Way O O O O O O O O O O O O O B-Tool O
+O O O B-OffAct O B-HackOrg O B-Way I-Way I-Way O B-SamFile I-SamFile I-SamFile O O B-Purp I-Purp I-Purp O
+B-HackOrg O O B-Way O O O O B-Way I-Way O
+O O O B-OffAct O B-HackOrg O B-Way I-Way O O O O B-Idus I-Idus O
+O B-Way O B-Way I-Way O O O O B-Tool I-Tool O B-SamFile O O O
+B-HackOrg O O B-Tool I-Tool O O B-Way O O

runs/Nov09_20-06-19_937df8eb1e51/events.out.tfevents.1699560392.937df8eb1e51.48604.0

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:f038e3091b60020f332bf5c390dc6056acdc834032cd48432e09f479e2381b8f
+size 13897

runs/Nov09_20-06-19_937df8eb1e51/events.out.tfevents.1699560926.937df8eb1e51.48604.1

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:33531b0aaff09d6cc921396e58d4183f760b90bc49edc37bf463dc42adfab9cd
+size 560

special_tokens_map.json

@@ -0,0 +1,7 @@
+{
+  "cls_token": "[CLS]",
+  "mask_token": "[MASK]",
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "unk_token": "[UNK]"
+}

tokenizer_config.json

@@ -0,0 +1,57 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "4": {
+      "content": "[MASK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "[CLS]",
+  "do_basic_tokenize": true,
+  "do_lower_case": true,
+  "mask_token": "[MASK]",
+  "model_max_length": 1000000000000000019884624838656,
+  "never_split": null,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "strip_accents": null,
+  "tokenize_chinese_chars": true,
+  "tokenizer_class": "BertTokenizer",
+  "unk_token": "[UNK]"
+}

train_results.json

@@ -0,0 +1,8 @@
+{
+    "epoch": 10.0,
+    "train_loss": 0.12845844870470066,
+    "train_runtime": 531.3663,
+    "train_samples": 5250,
+    "train_samples_per_second": 98.802,
+    "train_steps_per_second": 12.364
+}

trainer_state.json

@@ -0,0 +1,262 @@
+{
+  "best_metric": 0.2273811250925064,
+  "best_model_checkpoint": "/content/dnrti_secbert/checkpoint-2500",
+  "epoch": 10.0,
+  "eval_steps": 500,
+  "global_step": 6570,
+  "is_hyper_param_search": false,
+  "is_local_process_zero": true,
+  "is_world_process_zero": true,
+  "log_history": [
+    {
+      "epoch": 0.76,
+      "learning_rate": 1.8477929984779303e-05,
+      "loss": 0.6137,
+      "step": 500
+    },
+    {
+      "epoch": 0.76,
+      "eval_accuracy": 0.8841643897996357,
+      "eval_f1": 0.5633311532592108,
+      "eval_loss": 0.37306320667266846,
+      "eval_precision": 0.5347682119205298,
+      "eval_recall": 0.5951174573929064,
+      "eval_runtime": 1.4634,
+      "eval_samples_per_second": 451.693,
+      "eval_steps_per_second": 56.718,
+      "step": 500
+    },
+    {
+      "epoch": 1.52,
+      "learning_rate": 1.69558599695586e-05,
+      "loss": 0.2993,
+      "step": 1000
+    },
+    {
+      "epoch": 1.52,
+      "eval_accuracy": 0.9130806010928961,
+      "eval_f1": 0.6674354243542435,
+      "eval_loss": 0.28528016805648804,
+      "eval_precision": 0.6683602771362587,
+      "eval_recall": 0.6665131275909719,
+      "eval_runtime": 1.4759,
+      "eval_samples_per_second": 447.863,
+      "eval_steps_per_second": 56.237,
+      "step": 1000
+    },
+    {
+      "epoch": 2.28,
+      "learning_rate": 1.54337899543379e-05,
+      "loss": 0.2157,
+      "step": 1500
+    },
+    {
+      "epoch": 2.28,
+      "eval_accuracy": 0.9211634790528234,
+      "eval_f1": 0.6970899470899472,
+      "eval_loss": 0.262411504983902,
+      "eval_precision": 0.6684989429175475,
+      "eval_recall": 0.7282358360202672,
+      "eval_runtime": 2.0477,
+      "eval_samples_per_second": 322.8,
+      "eval_steps_per_second": 40.533,
+      "step": 1500
+    },
+    {
+      "epoch": 3.04,
+      "learning_rate": 1.39117199391172e-05,
+      "loss": 0.152,
+      "step": 2000
+    },
+    {
+      "epoch": 3.04,
+      "eval_accuracy": 0.9308401639344263,
+      "eval_f1": 0.725438596491228,
+      "eval_loss": 0.24139739573001862,
+      "eval_precision": 0.6923398911678527,
+      "eval_recall": 0.7618608935974206,
+      "eval_runtime": 1.5039,
+      "eval_samples_per_second": 439.515,
+      "eval_steps_per_second": 55.189,
+      "step": 2000
+    },
+    {
+      "epoch": 3.81,
+      "learning_rate": 1.2389649923896501e-05,
+      "loss": 0.1047,
+      "step": 2500
+    },
+    {
+      "epoch": 3.81,
+      "eval_accuracy": 0.9389230418943534,
+      "eval_f1": 0.7587601078167115,
+      "eval_loss": 0.2273811250925064,
+      "eval_precision": 0.7404647084612013,
+      "eval_recall": 0.7779824965453708,
+      "eval_runtime": 1.5152,
+      "eval_samples_per_second": 436.244,
+      "eval_steps_per_second": 54.778,
+      "step": 2500
+    },
+    {
+      "epoch": 4.57,
+      "learning_rate": 1.08675799086758e-05,
+      "loss": 0.0725,
+      "step": 3000
+    },
+    {
+      "epoch": 4.57,
+      "eval_accuracy": 0.9370446265938069,
+      "eval_f1": 0.7596660808435852,
+      "eval_loss": 0.2562768757343292,
+      "eval_precision": 0.7261654766904662,
+      "eval_recall": 0.7964071856287425,
+      "eval_runtime": 1.5216,
+      "eval_samples_per_second": 434.416,
+      "eval_steps_per_second": 54.548,
+      "step": 3000
+    },
+    {
+      "epoch": 5.33,
+      "learning_rate": 9.3455098934551e-06,
+      "loss": 0.0589,
+      "step": 3500
+    },
+    {
+      "epoch": 5.33,
+      "eval_accuracy": 0.9411429872495446,
+      "eval_f1": 0.774738714698688,
+      "eval_loss": 0.26153579354286194,
+      "eval_precision": 0.7489251934651763,
+      "eval_recall": 0.8023952095808383,
+      "eval_runtime": 1.9808,
+      "eval_samples_per_second": 333.701,
+      "eval_steps_per_second": 41.902,
+      "step": 3500
+    },
+    {
+      "epoch": 6.09,
+      "learning_rate": 7.823439878234399e-06,
+      "loss": 0.0442,
+      "step": 4000
+    },
+    {
+      "epoch": 6.09,
+      "eval_accuracy": 0.9433629326047359,
+      "eval_f1": 0.779336450679136,
+      "eval_loss": 0.2637869119644165,
+      "eval_precision": 0.7543103448275862,
+      "eval_recall": 0.8060801473975127,
+      "eval_runtime": 1.5001,
+      "eval_samples_per_second": 440.626,
+      "eval_steps_per_second": 55.328,
+      "step": 4000
+    },
+    {
+      "epoch": 6.85,
+      "learning_rate": 6.301369863013699e-06,
+      "loss": 0.0344,
+      "step": 4500
+    },
+    {
+      "epoch": 6.85,
+      "eval_accuracy": 0.9447859744990893,
+      "eval_f1": 0.785506598076493,
+      "eval_loss": 0.26708078384399414,
+      "eval_precision": 0.7634782608695653,
+      "eval_recall": 0.8088438507600184,
+      "eval_runtime": 1.9259,
+      "eval_samples_per_second": 343.219,
+      "eval_steps_per_second": 43.097,
+      "step": 4500
+    },
+    {
+      "epoch": 7.61,
+      "learning_rate": 4.779299847792998e-06,
+      "loss": 0.0282,
+      "step": 5000
+    },
+    {
+      "epoch": 7.61,
+      "eval_accuracy": 0.9438752276867031,
+      "eval_f1": 0.7838860449588249,
+      "eval_loss": 0.28605297207832336,
+      "eval_precision": 0.7583979328165374,
+      "eval_recall": 0.8111469368954399,
+      "eval_runtime": 1.5173,
+      "eval_samples_per_second": 435.655,
+      "eval_steps_per_second": 54.704,
+      "step": 5000
+    },
+    {
+      "epoch": 8.37,
+      "learning_rate": 3.2572298325722984e-06,
+      "loss": 0.0226,
+      "step": 5500
+    },
+    {
+      "epoch": 8.37,
+      "eval_accuracy": 0.9455828779599271,
+      "eval_f1": 0.7887766554433222,
+      "eval_loss": 0.2849014401435852,
+      "eval_precision": 0.7692644483362522,
+      "eval_recall": 0.8093044679871028,
+      "eval_runtime": 1.5171,
+      "eval_samples_per_second": 435.699,
+      "eval_steps_per_second": 54.71,
+      "step": 5500
+    },
+    {
+      "epoch": 9.13,
+      "learning_rate": 1.7351598173515982e-06,
+      "loss": 0.0207,
+      "step": 6000
+    },
+    {
+      "epoch": 9.13,
+      "eval_accuracy": 0.9456397996357013,
+      "eval_f1": 0.7904804270462633,
+      "eval_loss": 0.29320821166038513,
+      "eval_precision": 0.7643010752688172,
+      "eval_recall": 0.8185168125287886,
+      "eval_runtime": 1.5264,
+      "eval_samples_per_second": 433.036,
+      "eval_steps_per_second": 54.375,
+      "step": 6000
+    },
+    {
+      "epoch": 9.89,
+      "learning_rate": 2.1308980213089802e-07,
+      "loss": 0.0181,
+      "step": 6500
+    },
+    {
+      "epoch": 9.89,
+      "eval_accuracy": 0.9459244080145719,
+      "eval_f1": 0.7908117752007137,
+      "eval_loss": 0.29524117708206177,
+      "eval_precision": 0.7665369649805448,
+      "eval_recall": 0.8166743436204514,
+      "eval_runtime": 1.5318,
+      "eval_samples_per_second": 431.505,
+      "eval_steps_per_second": 54.183,
+      "step": 6500
+    },
+    {
+      "epoch": 10.0,
+      "step": 6570,
+      "total_flos": 665046616558140.0,
+      "train_loss": 0.12845844870470066,
+      "train_runtime": 531.3663,
+      "train_samples_per_second": 98.802,
+      "train_steps_per_second": 12.364
+    }
+  ],
+  "logging_steps": 500,
+  "max_steps": 6570,
+  "num_train_epochs": 10,
+  "save_steps": 500,
+  "total_flos": 665046616558140.0,
+  "trial_name": null,
+  "trial_params": null
+}

training_args.bin

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:be6732fc63857b741a8f35e26e7d7ebd7e63909ce919a20212f342570419d765
+size 4600