Hugging Face's logo

ailm
/
pegsus-text-summarization

PyTorch
English
pegasus
Model card Files Community
ailm commited on
Commit
0e6584a
•
1 Parent(s): c07309e

Delete model_trainer

Browse files
Files changed (5) hide show
  1. model_trainer/test.py +0 -11
  2. model_trainer/tokenizer/special_tokens_map.json +0 -110
  3. model_trainer/tokenizer/spiece.model +0 -3
  4. model_trainer/tokenizer/tokenizer.json +0 -0
  5. model_trainer/tokenizer/tokenizer_config.json +0 -117
model_trainer/test.py DELETED
@@ -1,11 +0,0 @@
1
- from transformers import PegasusForConditionalGeneration, PegasusTokenizer
2
-
3
- model_name = "your-username/pegasus-samsum-model"
4
- model = PegasusForConditionalGeneration.from_pretrained(model_name)
5
- tokenizer = PegasusTokenizer.from_pretrained(f"{model_name}/tokenizer")
6
-
7
- # Test the model
8
- text = "Your input text here"
9
- tokens = tokenizer(text, truncation=True, padding="longest", return_tensors="pt")
10
- summary = model.generate(**tokens)
11
- print(tokenizer.decode(summary[0], skip_special_tokens=True))
 
 
 
 
 
 
 
 
 
 
 
 
model_trainer/tokenizer/special_tokens_map.json DELETED
@@ -1,110 +0,0 @@
1
- {
2
- "additional_special_tokens": [
3
- "<mask_1>",
4
- "<unk_2>",
5
- "<unk_3>",
6
- "<unk_4>",
7
- "<unk_5>",
8
- "<unk_6>",
9
- "<unk_7>",
10
- "<unk_8>",
11
- "<unk_9>",
12
- "<unk_10>",
13
- "<unk_11>",
14
- "<unk_12>",
15
- "<unk_13>",
16
- "<unk_14>",
17
- "<unk_15>",
18
- "<unk_16>",
19
- "<unk_17>",
20
- "<unk_18>",
21
- "<unk_19>",
22
- "<unk_20>",
23
- "<unk_21>",
24
- "<unk_22>",
25
- "<unk_23>",
26
- "<unk_24>",
27
- "<unk_25>",
28
- "<unk_26>",
29
- "<unk_27>",
30
- "<unk_28>",
31
- "<unk_29>",
32
- "<unk_30>",
33
- "<unk_31>",
34
- "<unk_32>",
35
- "<unk_33>",
36
- "<unk_34>",
37
- "<unk_35>",
38
- "<unk_36>",
39
- "<unk_37>",
40
- "<unk_38>",
41
- "<unk_39>",
42
- "<unk_40>",
43
- "<unk_41>",
44
- "<unk_42>",
45
- "<unk_43>",
46
- "<unk_44>",
47
- "<unk_45>",
48
- "<unk_46>",
49
- "<unk_47>",
50
- "<unk_48>",
51
- "<unk_49>",
52
- "<unk_50>",
53
- "<unk_51>",
54
- "<unk_52>",
55
- "<unk_53>",
56
- "<unk_54>",
57
- "<unk_55>",
58
- "<unk_56>",
59
- "<unk_57>",
60
- "<unk_58>",
61
- "<unk_59>",
62
- "<unk_60>",
63
- "<unk_61>",
64
- "<unk_62>",
65
- "<unk_63>",
66
- "<unk_64>",
67
- "<unk_65>",
68
- "<unk_66>",
69
- "<unk_67>",
70
- "<unk_68>",
71
- "<unk_69>",
72
- "<unk_70>",
73
- "<unk_71>",
74
- "<unk_72>",
75
- "<unk_73>",
76
- "<unk_74>",
77
- "<unk_75>",
78
- "<unk_76>",
79
- "<unk_77>",
80
- "<unk_78>",
81
- "<unk_79>",
82
- "<unk_80>",
83
- "<unk_81>",
84
- "<unk_82>",
85
- "<unk_83>",
86
- "<unk_84>",
87
- "<unk_85>",
88
- "<unk_86>",
89
- "<unk_87>",
90
- "<unk_88>",
91
- "<unk_89>",
92
- "<unk_90>",
93
- "<unk_91>",
94
- "<unk_92>",
95
- "<unk_93>",
96
- "<unk_94>",
97
- "<unk_95>",
98
- "<unk_96>",
99
- "<unk_97>",
100
- "<unk_98>",
101
- "<unk_99>",
102
- "<unk_100>",
103
- "<unk_101>",
104
- "<unk_102>"
105
- ],
106
- "eos_token": "</s>",
107
- "mask_token": "<mask_2>",
108
- "pad_token": "<pad>",
109
- "unk_token": "<unk>"
110
- }
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
model_trainer/tokenizer/spiece.model DELETED
@@ -1,3 +0,0 @@
1
- version https://git-lfs.github.com/spec/v1
2
- oid sha256:0015189ef36359283fec8b93cf6d9ce51bca37eb1101defc68a53b394913b96c
3
- size 1912529
 
 
 
 
model_trainer/tokenizer/tokenizer.json DELETED
The diff for this file is too large to render. See raw diff
 
model_trainer/tokenizer/tokenizer_config.json DELETED
@@ -1,117 +0,0 @@
1
- {
2
- "additional_special_tokens": [
3
- "<mask_1>",
4
- "<unk_2>",
5
- "<unk_3>",
6
- "<unk_4>",
7
- "<unk_5>",
8
- "<unk_6>",
9
- "<unk_7>",
10
- "<unk_8>",
11
- "<unk_9>",
12
- "<unk_10>",
13
- "<unk_11>",
14
- "<unk_12>",
15
- "<unk_13>",
16
- "<unk_14>",
17
- "<unk_15>",
18
- "<unk_16>",
19
- "<unk_17>",
20
- "<unk_18>",
21
- "<unk_19>",
22
- "<unk_20>",
23
- "<unk_21>",
24
- "<unk_22>",
25
- "<unk_23>",
26
- "<unk_24>",
27
- "<unk_25>",
28
- "<unk_26>",
29
- "<unk_27>",
30
- "<unk_28>",
31
- "<unk_29>",
32
- "<unk_30>",
33
- "<unk_31>",
34
- "<unk_32>",
35
- "<unk_33>",
36
- "<unk_34>",
37
- "<unk_35>",
38
- "<unk_36>",
39
- "<unk_37>",
40
- "<unk_38>",
41
- "<unk_39>",
42
- "<unk_40>",
43
- "<unk_41>",
44
- "<unk_42>",
45
- "<unk_43>",
46
- "<unk_44>",
47
- "<unk_45>",
48
- "<unk_46>",
49
- "<unk_47>",
50
- "<unk_48>",
51
- "<unk_49>",
52
- "<unk_50>",
53
- "<unk_51>",
54
- "<unk_52>",
55
- "<unk_53>",
56
- "<unk_54>",
57
- "<unk_55>",
58
- "<unk_56>",
59
- "<unk_57>",
60
- "<unk_58>",
61
- "<unk_59>",
62
- "<unk_60>",
63
- "<unk_61>",
64
- "<unk_62>",
65
- "<unk_63>",
66
- "<unk_64>",
67
- "<unk_65>",
68
- "<unk_66>",
69
- "<unk_67>",
70
- "<unk_68>",
71
- "<unk_69>",
72
- "<unk_70>",
73
- "<unk_71>",
74
- "<unk_72>",
75
- "<unk_73>",
76
- "<unk_74>",
77
- "<unk_75>",
78
- "<unk_76>",
79
- "<unk_77>",
80
- "<unk_78>",
81
- "<unk_79>",
82
- "<unk_80>",
83
- "<unk_81>",
84
- "<unk_82>",
85
- "<unk_83>",
86
- "<unk_84>",
87
- "<unk_85>",
88
- "<unk_86>",
89
- "<unk_87>",
90
- "<unk_88>",
91
- "<unk_89>",
92
- "<unk_90>",
93
- "<unk_91>",
94
- "<unk_92>",
95
- "<unk_93>",
96
- "<unk_94>",
97
- "<unk_95>",
98
- "<unk_96>",
99
- "<unk_97>",
100
- "<unk_98>",
101
- "<unk_99>",
102
- "<unk_100>",
103
- "<unk_101>",
104
- "<unk_102>"
105
- ],
106
- "clean_up_tokenization_spaces": true,
107
- "eos_token": "</s>",
108
- "full_tokenizer_file": null,
109
- "mask_token": "<mask_2>",
110
- "mask_token_sent": "<mask_1>",
111
- "model_max_length": 1024,
112
- "offset": 103,
113
- "pad_token": "<pad>",
114
- "sp_model_kwargs": {},
115
- "tokenizer_class": "PegasusTokenizer",
116
- "unk_token": "<unk>"
117
- }