Update README.md
Browse files
README.md
CHANGED
@@ -1,4 +1,6 @@
|
|
1 |
---
|
|
|
|
|
2 |
tags:
|
3 |
- generated_from_trainer
|
4 |
metrics:
|
@@ -39,11 +41,19 @@ from transformers import pipeline
|
|
39 |
tokenizer = AutoTokenizer.from_pretrained("NlpHUST/vi-word-segmentation")
|
40 |
model = AutoModelForTokenClassification.from_pretrained("NlpHUST/vi-word-segmentation")
|
41 |
|
42 |
-
nlp = pipeline("
|
43 |
example = "Phát biểu tại phiên thảo luận về tình hình kinh tế xã hội của Quốc hội sáng 28/10 , Bộ trưởng Bộ LĐ-TB&XH Đào Ngọc Dung khái quát , tại phiên khai mạc kỳ họp , lãnh đạo chính phủ đã báo cáo , đề cập tương đối rõ ràng về việc thực hiện các chính sách an sinh xã hội"
|
44 |
|
45 |
ner_results = nlp(example)
|
46 |
-
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
47 |
|
48 |
Phát_biểu tại phiên thảo_luận về tình_hình kinh_tế xã_hội của Quốc_hội sáng 28 / 10 , Bộ_trưởng Bộ LĐ - TB [UNK] XH Đào_Ngọc_Dung khái_quát , tại phiên khai_mạc kỳ họp , lãnh_đạo chính_phủ đã báo_cáo , đề_cập tương_đối rõ_ràng về việc thực_hiện các chính_sách an_sinh xã_hội
|
49 |
|
|
|
1 |
---
|
2 |
+
widget:
|
3 |
+
- text: "Phát biểu tại phiên thảo luận về tình hình kinh tế xã hội của Quốc hội sáng 28/10 , Bộ trưởng Bộ LĐ-TB&XH Đào Ngọc Dung khái quát , tại phiên khai mạc kỳ họp , lãnh đạo chính phủ đã báo cáo , đề cập tương đối rõ ràng về việc thực hiện các chính sách an sinh xã hội"
|
4 |
tags:
|
5 |
- generated_from_trainer
|
6 |
metrics:
|
|
|
41 |
tokenizer = AutoTokenizer.from_pretrained("NlpHUST/vi-word-segmentation")
|
42 |
model = AutoModelForTokenClassification.from_pretrained("NlpHUST/vi-word-segmentation")
|
43 |
|
44 |
+
nlp = pipeline("token-classification", model=model, tokenizer=tokenizer)
|
45 |
example = "Phát biểu tại phiên thảo luận về tình hình kinh tế xã hội của Quốc hội sáng 28/10 , Bộ trưởng Bộ LĐ-TB&XH Đào Ngọc Dung khái quát , tại phiên khai mạc kỳ họp , lãnh đạo chính phủ đã báo cáo , đề cập tương đối rõ ràng về việc thực hiện các chính sách an sinh xã hội"
|
46 |
|
47 |
ner_results = nlp(example)
|
48 |
+
example_tok = ""
|
49 |
+
for e in ner_results:
|
50 |
+
if "##" in e["word"]:
|
51 |
+
example_tok = example_tok + e["word"].replace("##","")
|
52 |
+
elif e["entity"] =="I":
|
53 |
+
example_tok = example_tok + "_" + e["word"]
|
54 |
+
else:
|
55 |
+
example_tok = example_tok + " " + e["word"]
|
56 |
+
print(example_tok)
|
57 |
|
58 |
Phát_biểu tại phiên thảo_luận về tình_hình kinh_tế xã_hội của Quốc_hội sáng 28 / 10 , Bộ_trưởng Bộ LĐ - TB [UNK] XH Đào_Ngọc_Dung khái_quát , tại phiên khai_mạc kỳ họp , lãnh_đạo chính_phủ đã báo_cáo , đề_cập tương_đối rõ_ràng về việc thực_hiện các chính_sách an_sinh xã_hội
|
59 |
|