phobert-finetune / README.md
meandyou200175's picture
Add new SentenceTransformer model
26e5f91 verified
---
base_model: vinai/phobert-base-v2
library_name: sentence-transformers
metrics:
- cosine_accuracy@1
- cosine_accuracy@3
- cosine_accuracy@5
- cosine_accuracy@10
- cosine_precision@1
- cosine_precision@3
- cosine_precision@5
- cosine_precision@10
- cosine_recall@1
- cosine_recall@3
- cosine_recall@5
- cosine_recall@10
- cosine_ndcg@10
- cosine_mrr@10
- cosine_map@100
- dot_accuracy@1
- dot_accuracy@3
- dot_accuracy@5
- dot_accuracy@10
- dot_precision@1
- dot_precision@3
- dot_precision@5
- dot_precision@10
- dot_recall@1
- dot_recall@3
- dot_recall@5
- dot_recall@10
- dot_ndcg@10
- dot_mrr@10
- dot_map@100
pipeline_tag: sentence-similarity
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:43804
- loss:MultipleNegativesRankingLoss
widget:
- source_sentence: Nhờ bác cho biết việc lựa chọn đóng đinh nội tủy nẹp vít
để kết hợp xương đòn dựa trên sở nào ạ? Ca phẫu thuật thường kéo dài trong
bao lâu? Bệnh nhân nằm viện mấy ngày?
sentences:
- ' Chào em, là bệnh mãn tính phải điều trị suốt đời, phải kiên nhẫn và kiên trì
nên đôi khi lượng đường trong cơ thể không ổn định. Lúc đi khám xét nghiệm thì
ổn do bản thân biết mai đi khám nên sẽ kiêng ăn, ăn ít... còn bệnh lâu dài nên
trong ngày đôi khi thèm chút này hay thích ăn chút kia, quên uống thuốc, suy
nghĩ, mất ngủ cũng làm đường không ổn định. Đường trong cơ thể lúc lên lúc xuống
dễ đưa đến biến chứng. Em hay thấy bệnh nhân tiểu đường tháo khớp ngón chân, ngón
tay, đôi khi tháo khớp gối, khớp háng, đây là do tê liệt hệ thần kinh nên khi
va chạm bệnh nhân không phát hiện. Đến khi phát hiện thì đã nhiễm trùng nặng phải
tháo khớp. Theo BS mẹ em có khả năng do biến chứng tiểu đường vì mẹ em bị bệnh
khá lâu nên ít nhiều ảnh hưởng thần kinh bị tê liệt gây đau. Em nên nhớ dặn mẹ
đi tái khám và điều trị cho thật ổn định nhé! Thân mến!'
- ' Để lựa chọn phương pháp đóng đinh nội tủy hay nẹp vít cho bệnh nhân cần dựa
vào nhiều yếu tố. Trong lòng tủy xương có một cái ống, nếu lòng tủy bệnh nhân
nhỏ mà đường gãy không bị gãy thành nhiều mảnh thì nên lựa chọn phương pháp đóng
đinh. Phương pháp này có nhược điểm dễ bị lộ phần đinh khi đinh vừa đóng, chưa
chắc vào xương. Tuy nhiên, ưu điểm là khi đóng đinh, đường mổ sẽ nhỏ, đơn giản.
Đối với nẹp vít, đường mổ dài hơn nhưng phần nắn chỉnh sẽ tuyệt đối, vững chắc
hơn. Nhìn chung, giữa 2 phương pháp thời gian mổ không khác biệt nhau nhiều, từ
30-45 phút sẽ hoàn thành cuộc phẫu thuật kết hợp xương. Tại bệnh viện Nhân dân
115, sau khi bệnh nhân được làm phẫu thuật có thể xuất viện rất sớm trong vòng
khoảng 3-5 ngày, tùy theo đường mổ lớn hay nhỏ. Giữa việc lựa chọn phẫu thuật
hay bảo tồn, đinh nội tủy hay nẹp vít phụ thuộc vào lòng tủy của bệnh nhân và
thói quen, sự đánh giá của phẫu thuật viên. Cá nhân tôi thường lựa chọn phương
pháp phẫu thuật nẹp vít sẽ cho kết quả nắn chỉnh tốt, chắc hơn và bệnh nhân không
bị biến chứng trồi đinh về sau. Thân mến.'
- Chào em, Tình trạng người mệt mỏi, khó thở, tim đập nhanh xảy ra khi không gắng
sức thể do nhiều nguyên nhân, gồm tim mạch, hấp, thần kinh cơ, tiêu hóa
(chủ yếu ống tiêu hóa trên), tâm lý, bệnh nội tiết tố… Viêm dạ dày trào
ngược thể gây các triệu chứng này do dịch acid trào ngược từ dạ dày lên thực
quản kích thích thần kinh tim. Mặt khác bệnh dạ dày bệnh thể tái phát, điều
trị hết bệnh rồi thì bệnh vẫn thể tái lại. Do đó, nếu em đã khám tim mạch
hấp bình thường, để biết phải mình mệt mỏi do bệnh dạ dày gây ra hay không
thì tốt nhất em khám chuyên khoa nội tiêu hóa điều trị trào ngược dạ dày
thực quản thử, nếu triệu chứng cải thiện nhanh chóng thì chính hắn nguyên nhân,
em nhé.
- source_sentence: Tôi bị tình trạng nuốt nước miếng cảm giác bị vướng cổ, không
đau rát, không ho sốt, ăn uống bình thường đã 1 ngày nay. Chỉ nuốt nước miếng
cảm giác vướng thôi, lỗ tai bên trái thì cảm giác ngứa nhẹ. Xin hỏi bệnh
vậy ạ?
sentences:
- "Em Lan thân mến, Hiện nay, xét nghiệm được xem là một xét nghiệm\r\nthường quy,\
\ nên thai kỳ của em cũng rất cần được làm những xét nghiệm này mặc\r\ndù gia\
\ đình em không có bệnh lý bất thường. Tuy nhiên, thai kỳ của em đã qua thời gian\
\ làm xét nghiệm Double test, bây\r\ngiờ em phải chờ đến lúc thai được 16 – 18\
\ tuần tuổi, làm xét nghiệm Triple test\r\nem nhé! Chúc em và bé khỏe mạnh!"
- 'Trường hợp thoái hóa cột sống thắt lưng gây đau mỏi liên tục dù đã dùng thuốc
giảm đau liều cao Chào em, Thoái hóa khớp, thoái hóa cột sống là tiến trình lão
hóa không thể tránh khỏi của con người, đặc biệt có thể xảy ra sớm và nhanh hơn
ở người nữ sau mãn kinh, sinh nở nhiều, suy dinh dưỡng hay ăn uống thiếu chất
khoáng, lao động vất vả lúc còn trẻ. Trường hợp thoái hóa cột sống thắt lưng gây
đau mỏi liên tục dù đã dùng thuốc giảm đau liều cao, đặc biệt là đau lan xuống
hai chân, tê yếu hai chân thì cần chụp MRI cột sống để tầm soát thoát vị đĩa đệm
chèn ép tủy sống. Trường hợp của em, mới phát hiện thoái hóa cột sống thắt lưng
gần đây, cũng mới uống thuốc 1 tuần và không duy trì nữa, việc đau lưng vẫn còn
âm ỉ nhưng không lan xuống hai chân thì chưa đến mức cần chụp MRI cột sống thắt
lưng. Nhưng mà, em cần tích cực điều trị để bệnh thoái hóa cột sống thắt lưng
không tiến triển nặng hơn. Bệnh này trị khỏi hoàn toàn là không thể, vì sinh lão
bệnh tử không thể cải hoàn, nhưng mà việc điều trị tích cực sẽ giúp khống chế
được bệnh, giảm đau và giảm tốc độ tiến triển của bệnh. Về việc sử dụng thuốc,
dù là thuốc Tây hay thuốc Đông y, em cũng cần phải thăm khám bs ck cơ xương khớp
(Tây y) hay ck y học cổ truyền (Đông y) để được kê thuốc phù hợp. các thuốc thường
dùng là giảm đau, giãn cơ, bổ sung vi khoáng chất (canxi, vitamin D3, magie...).
Bên cạnh đó, về phương pháp giảm đau hỗ trợ không dùng thuốc, em nên chú ý: -
Chú ý thay đổi tư thế trong quá trình làm việc, không giữ mãi một tư thế trong
nhiều giờ liền. Ngồi làm việc đúng tư thế để tránh các bệnh cột sống. - Vận động
đúng cách, khi vác vật nặng không vặn cột sống. - Thường xuyên tập thể dục rèn
luyện để cột sống vững chắc, cơ thể dẻo dai, bơi cũng được mà yoga là tốt nhất.
- Ăn uống khoa học, xây dựng chế độ dinh dưỡng hợp lý, tăng cường nhóm thực phẩm
giàu canxi, vitamin D, omega 3… giúp nâng cao độ chắc khỏe của đĩa đệm cũng như
xương khớp. - Duy trì cân nặng bình thường, tránh để tăng cân quá mức. - Tư thế
ngủ: nằm ngửa trên ván cứng hay nệm bông ép chặt, tránh nệm lò xo hay nệm cao
su quá mềm, có thể đệm ở vùng khoeo làm co nhẹ khớp gối và khớp háng, nên nằm
đầu thấp không gối sẽ tốt cho cột sống cổ. - Có thể thực hiện điều trị vật lý
và các liệu pháp phản xạ: bao gồm phương pháp nhiệt như chườm nóng (túi nước,
muối rang, cám rang, lá lốt, lá ngải cứu nóng); dùng các dòng điện tại khoa vật
lý trị liệu, điều trị bằng laser; châm cứu, kéo cơ để hỗ trợ giảm đau cơ cạnh
sống. Trân trọng!'
- Chào bạn, Nuốt vướng cổ thường gặp trong một số bệnh viêm nhiễm hầu họng
như viêm họng, viêm amidan mạn, trào ngược dạ dày thực quản, hội chứng chảy mũi
sau… Đây thể triệu chứng đầu tiên báo hiệu một đợt bùng phát cấp tính
của viêm nhiễm hấp trên do triệu chứng mới chỉ xuất hiện 1 ngày. Bạn nên khám
bác Tai mũi họng để thăm khám trực tiếp, đánh giá toa điều trị bạn nhé!
Thân mến.
- source_sentence: Chào bác sĩ, em bị gãy xương gót, đã đóng đinh đến nay được gần
5 tuần. Vậy 6 tuần em tháo đinh được chưa ạ?
sentences:
- ' Chào em, gồm 2 trị số, trị số lớn nhất gọi là huyết áp tâm thu, bình thường
< 140 và > 90 mmHg; trị số thấp nhất gọi là huyết áp tâm trương, bình thường <
90 và > 60 mmHg. Huyết áp có thể tăng khi căng thẳng, do lo lắng, do hội chứng
áo choàng trắng (khi vào bv, khi gặp bác sĩ thì huyết áp cao), bệnh lý viêm nhiễm,
do cafe, khi khó thở... nhìn chung là các stress đối với cơ thể. Như vậy, huyết
áp ghi nhận ở những lúc cơ thể đang lo lắng, bồn chồn, có bệnh thì sẽ không phản
ánh chính xác được huyết áp dao động bình thường của người bệnh. Do vậy em nên
khám chuyên khoa tim mạch, bác sĩ sẽ thăm khám và làm xét nghiệm kiểm tra xem
em có các dấu chứng của tăng huyết áp hay không (như dày thành tim, tiểu đạm,
đo huyết áp 24 giờ...) để xác định em có tăng huyết áp hay không và điều trị thích
hợp. Những triệu chứng hoa mắt, chóng mặt, đau đầu, đau 1 bên mắt, tiểu nhiều
có thể là do bệnh tăng huyết áp gây ra (ảnh hưởng lên mạch máu não, lên thận...)
hoặc là 1 bệnh lý khác như thiếu máu, rối loạn tiền đình, viêm nhiễm hệ thống,
viêm mũi xoang, bệnh lý mạch máu não... (và tăng huyết áp chỉ là phản ứng của
cơ thể khi có stress). Để tìm ra bệnh và giải quyết nỗi lo về bệnh, em nên đến
bệnh viện để kiểm tra sức khỏe em nhé. Thân mến! '
- ' Chào em, Thời điểm 6 tuần là quá sớm để rút đinh cố định xương gót (trừ trường
hợp khung cố định xương bên ngoài). Tháo đinh vít kim loại chỉ bắt buộc thực hiện
sớm trong những trường hợp bất thường như gãy vít, nhiễm trùng, khớp giả... gây
ra các triệu chứng bất thường với bệnh nhân mà thôi. Em nên tái khám tại chuyên
khoa Chấn thương Chỉnh hình để bác sĩ kiểm tra lại việc lành xương của em tốt
chưa và dặn em lịch trình rút đinh phù hợp, em nhé. Thân mến.'
- K dạ dày không điều trị tiên lượng sống khá ngắn Chào em, K dạ dày ung thư
dạ dày. Bệnh ung thư dạ dày bệnh ác tính chỉ định phẫu thuật cắt khối
u cắt dạ dày khi còn thể cắt được. Nếu đã phát hiện ung thư dạ dày không
điều trị phẫu thuật thì thời gian sống của bệnh nhân trung bình 6 tháng đến
1 năm tùy loại ung thư dạ dày, khi ung thư tiến triển di căn thể gây nhiều
đau đớn hơn. Hiện tại chị em đang bị suy nhược thể nhiều, không ăn uống được,
đau nhiều do ung thư dạ dày chỉ định vào bệnh viện nằm điều trị luôn rồi,
chứ không thể nào lấy thuốc không tới phòng khám được đâu. bệnh viện chị
em sẽ được truyền dịch, chích thuốc, nâng thể trạng lên rồi mới tính đến chuyện
điều trị khối ung thư kia. Em đưa chị em đến bệnh viện càng sớm càng tốt, tốt
nhất bệnh viện Ung bướu, em nhé.
- source_sentence: "Thưa bác sĩ,\r\n\r\nEm bị đục thủy tinh thể do chấn thương và\
\ vừa mổ mắt về và em cũng bị cận thị. Thời gian khoảng 1 tuần em thấy mắt mình\
\ nhìn chỉ rõ hơn được 1 phần nào. Nhìn xa thì vẫn thấy nhưng vẫn mờ mờ. Bác sĩ\
\ cho em lời khuyên nên làm cách nào và mắt em có thể sáng lại như bình thường\
\ được không ạ?\r\n\r\nEm xin chân thành cảm ơn! (Minh Tiến - Bình Định)"
sentences:
- Bạn Minh Tiến thân mến, Hiện nay phẫu thuật đục thủy tinh thể đã được y học nói
chung ngành Nhãn khoa Việt Nam thực hiện hoàn chỉnh đến mức tuyệt vời. Phẫu
thuật này được xem như một cuộc cách mạng rất đáng tự hào của ngành nhãn khoa.
Hàng ngày thể tới hàng ngàn ca phẫu thuật đem lại ánh sáng cho người lòa
đục thể thủy tinh tại Việt Nam. Nói như vậy để giúp cho bạn hiểu phẫu thuật
này các bác Việt Nam thực hiện rất thường xuyên rất tốt. Tuy nhiên, với
mắt đục thủy tinh thể do chấn thương của bạn ca phẫu thuật tương đối không
đơn giản. Thêm vào đó ngoài đục thủy tinh thể do chấn thương, mắt bạn cũng
thể kèm theo tổn thương các bộ phận khác của mắt trước mổ bác khó thể
chẩn đoán được. Với hai do nêu trên, nên đôi khi mắt mổ khó thể tốt theo
ý muốn của cả bệnh nhân lẫn thầy thuốc. Bạn cần thời gian theo dõi điều
trị tiếp sau mổ. Sau thời gian ổn định khoảng 1 tháng, bạn cần đo thử kính xem
cải thiện thị lực thêm không? Chúc bạn may mắn!
- Chào em, Bình thường các hạch trong thể không sưng to lên đến mức thể sờ
chạm hay nhận biết được. thế, hạch sưng lên, hay thường gọi nổi hạch,
một triệu chứng bất thường của thể. Cho nên, em lo lắng đúng khi phát hiện
hạch vùng cổ. Hạch bạch huyết đóng vai trò quan trọng đối với hoạt động của
hệ miễn dịch. Chúng chứa các tế bào miễn dịch như lympho bào, đại thực bào...
chức năng miễn dịch chống lại các yếu tố lạ như vi khuẩn, virus, sinh trùng...
xâm nhập vào thể. Trong quá trình đó các hạch thể bị viêm sưng lên. Một
số trường hợp hạch sưng thể hạch ung thư hoặc di căn. Đặc điểm của hạch
viêm nhỏ, số lượng ít, bờ tròn đều, không phát triển theo thời gian, không
xâm lấn da xung quanh. Thông thường đối với hạch viêm thì nguồn viêm thể tấn
công tại hạch, cũng khi hạch viêm phản ứng với viêm nhiễm cạnh đó, điều
trị hết viêm thì hạch sẽ lặn dần, thể lặn chậm hơn vài tuần đến vài tháng,
một số loại hạch cũng hạch viêm nhưng chỉ giảm kích thước rồi cứ "lì"
vậy luôn - không lặn hẳn nhưng không còn sưng như trước vẫn giữ hình ảnh của
hạch viêm, cũng loại hạch viêm sau lại chuyển sang chai hóa như sẹo
không lặn. Như vậy, em 1 hạch vùng cổ đã được xác định hạch viêm thông qua
sinh thiết hạch cách đây 10 năm. Trong vòng 10 năm nay, hạch cổ đó không triệu
chứng bất thường. Gần đây, hạch cổ đó biểu hiện viêm trở lại, mặc em uống
thuốc (tự mua) thì hạch hết sưng đau, nhưng em cũng cần khám lại bên chuyên khoa
ung bướu để kiểm tra tổng quát lại 1 lần, tìm nguyên nhân gây kích thích hạch
viêm này tái hoạt động, xem nguyên nhân lành tính hay tiềm ẩn nguyên nhân khác
(vì lần kiểm tra trước đã cách đây 10 năm rồi), em nhé.
- ' Chào em, Trường hợp em mô tả là những bất thường của hệ hô hấp có thể là bệnh
lý tai mũi họng hay hô hấp dưới như viêm phổi, viêm phế quản, em cần đến các cơ
sở y tế chuyên sâu tai mũi họng hay hô hấp để khám thêm. Những biểu hiện đó hoàn
toàn không có cơ sở nghĩ . Thân mến!'
- source_sentence: Bác cho em hỏi, em bị rạn nứt xương gót chân bên phải. Em bị
hơn 1 tháng nay rồi. Em bỏ thuốc lá. Em muốn hỏi bác thông thường bột hơn
hay thuốc hơn? Như của em khoảng bao lâu thì khỏi? giờ em vẫn chưa đi được
bác ạ. Em cảm ơn.
sentences:
- 'Câu hỏi của em rất chân thành. Tự ý thức quyết tâm cai nghiệm là điều đáng quý.
Nếu em tiếp tục sử dụng thì tình trạng sẽ tồi tệ hơn rất nhiều. Ba yếu tố quan
trọng nhất và tiến hành đồng thời để cai nghiện thành công, đó là: 1. Ý chí 2.
Sự hiểu biết thấu đáo 3. Môi trường thân thiện. Các Trung tâm cai nghiện sẽ giúp
em phần 2 và phần 3, từ đó sẽ củng cố phần 1 của em. Trường hợp ở nhà mà em tự
cai, thực hành mỗi ngày với 3 điều kiện trên, em sẽ thành công như nhiều bạn khác.
Không nên nôn nóng, sốt ruột. Trước tiên em phải thuộc lòng và thực hành những
quy tắc này thành thói quen và áp dụng suốt đời. Nhiều trường hợp cai được vài
năm vẫn tái nghiện. Do đó, nên tránh xa những "nguồn" khiến em tái nghiện, tránh
xa bạn bè nghiện ngập em nhé. Chúc em quyết tâm và đem lại niềm vui cho bố mẹ.'
- Chào em, Thứ nhất, bắt buộc phải phim Xquang để biết em thực sự nứt xương
gót hay bị gãy phức tạp hơn, nhiều trường hợp tưởng chỉ nứt xương thôi nhưng
thật ra vỡ phức tạp, phải phẫu thuật mới nhanh ổn được. Thứ hai, theo nguyên
tắc điều trị nứt gãy xương phải cố định tốt để can xương mọc ra, chỗ nứt gãy
mới được nối liền. Do đó, nếu bột thì chân sẽ được cố định liên tục trong 4-6
tuần, còn thì phải thay thường xuyên, mỗi lần thay 1 lần dịch nên
xương khó lành. Tốt hơn hết em nên đến Bệnh viện Chấn thương Chỉnh hình để được
kiểm tra điều trị thích hợp, em nhé. Thân mến.
- Chào bạn, Qua hình ảnh sang thương tả triệu chứng, bệnh của bạn khả
năng chàm hay còn gọi viêm da dị ứng với đặc điểm viêm nổi mụn nhỏ,
ngứa ngáy. Nguyên nhân của chàm hiện nay chưa nhưng thể do địa dị ứng
(người mắc hen, viêm mũi dị ứng nguy cao mắc chàm), do kích thích của hóa
chất như nước rửa chén, bột giặt, cao su, kim loại, chất liệu giày dép (chàm tiếp
xúc),... Thời tiết lạnh, stress, đổ mồ hôi nhiều phấn hoa... cũng những
nguyên nhân thể khiến da bị chàm. Chàm cũng thể gặp người bị suy van tĩnh
mạch, giãn tĩnh mạch chân khiến tình trạng bệnh dai dẳng, kém đáp ứng điều trị.
Điều trị chàm thường phải sử dụng một số loại thuốc bôi da kéo dài, thể để
lại tác dụng phụ, do đó bạn nên khám BS Da liễu để toa loại thuốc phù hợp.
Ngoài ra, bạn nên chú ý xem yếu tố nào thường kích thích khởi phát chàm để
tránh cho bệnh tái phát bạn nhé! Thân mến.
model-index:
- name: SentenceTransformer based on vinai/phobert-base-v2
results:
- task:
type: information-retrieval
name: Information Retrieval
dataset:
name: Unknown
type: unknown
metrics:
- type: cosine_accuracy@1
value: 0.7045288531775018
name: Cosine Accuracy@1
- type: cosine_accuracy@3
value: 0.835281227173119
name: Cosine Accuracy@3
- type: cosine_accuracy@5
value: 0.8767348429510592
name: Cosine Accuracy@5
- type: cosine_accuracy@10
value: 0.9231190650109569
name: Cosine Accuracy@10
- type: cosine_precision@1
value: 0.7045288531775018
name: Cosine Precision@1
- type: cosine_precision@3
value: 0.278427075724373
name: Cosine Precision@3
- type: cosine_precision@5
value: 0.17534696859021182
name: Cosine Precision@5
- type: cosine_precision@10
value: 0.09231190650109566
name: Cosine Precision@10
- type: cosine_recall@1
value: 0.7045288531775018
name: Cosine Recall@1
- type: cosine_recall@3
value: 0.835281227173119
name: Cosine Recall@3
- type: cosine_recall@5
value: 0.8767348429510592
name: Cosine Recall@5
- type: cosine_recall@10
value: 0.9231190650109569
name: Cosine Recall@10
- type: cosine_ndcg@10
value: 0.8141256948149351
name: Cosine Ndcg@10
- type: cosine_mrr@10
value: 0.7791635506162544
name: Cosine Mrr@10
- type: cosine_map@100
value: 0.7827867266296543
name: Cosine Map@100
- type: dot_accuracy@1
value: 0.6860847333820307
name: Dot Accuracy@1
- type: dot_accuracy@3
value: 0.8221329437545654
name: Dot Accuracy@3
- type: dot_accuracy@5
value: 0.8697954711468225
name: Dot Accuracy@5
- type: dot_accuracy@10
value: 0.920745069393718
name: Dot Accuracy@10
- type: dot_precision@1
value: 0.6860847333820307
name: Dot Precision@1
- type: dot_precision@3
value: 0.2740443145848551
name: Dot Precision@3
- type: dot_precision@5
value: 0.17395909422936448
name: Dot Precision@5
- type: dot_precision@10
value: 0.09207450693937179
name: Dot Precision@10
- type: dot_recall@1
value: 0.6860847333820307
name: Dot Recall@1
- type: dot_recall@3
value: 0.8221329437545654
name: Dot Recall@3
- type: dot_recall@5
value: 0.8697954711468225
name: Dot Recall@5
- type: dot_recall@10
value: 0.920745069393718
name: Dot Recall@10
- type: dot_ndcg@10
value: 0.8028187077698474
name: Dot Ndcg@10
- type: dot_mrr@10
value: 0.7651250913075242
name: Dot Mrr@10
- type: dot_map@100
value: 0.7689382784168486
name: Dot Map@100
---
# SentenceTransformer based on vinai/phobert-base-v2
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [vinai/phobert-base-v2](https://huggingface.co/vinai/phobert-base-v2). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
## Model Details
### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [vinai/phobert-base-v2](https://huggingface.co/vinai/phobert-base-v2) <!-- at revision e2375d266bdf39c6e8e9a87af16a5da3190b0cc8 -->
- **Maximum Sequence Length:** 256 tokens
- **Output Dimensionality:** 768 tokens
- **Similarity Function:** Cosine Similarity
<!-- - **Training Dataset:** Unknown -->
<!-- - **Language:** Unknown -->
<!-- - **License:** Unknown -->
### Model Sources
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
### Full Model Architecture
```
SentenceTransformer(
(0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
```
## Usage
### Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
```bash
pip install -U sentence-transformers
```
Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("meandyou200175/phobert-finetune")
# Run inference
sentences = [
'Bác sĩ cho em hỏi, em bị rạn nứt xương gót chân bên phải. Em bị hơn 1 tháng nay rồi. Em bỏ thuốc lá. Em muốn hỏi bác sĩ thông thường bó bột hơn hay thuốc lá hơn? Như của em khoảng bao lâu thì khỏi? Và giờ em vẫn chưa đi được bác sĩ ạ. Em cảm ơn.',
'Chào em, Thứ nhất, bắt buộc phải có phim Xquang để biết em có thực sự nứt xương gót hay bị gãy phức tạp hơn, vì nhiều trường hợp tưởng chỉ nứt xương thôi nhưng thật ra là vỡ phức tạp, phải phẫu thuật mới nhanh ổn được. Thứ hai, theo nguyên tắc điều trị nứt gãy xương là phải cố định tốt để can xương mọc ra, chỗ nứt gãy mới được nối liền. Do đó, nếu bó bột thì chân sẽ được cố định liên tục trong 4-6 tuần, còn bó lá thì phải thay thường xuyên, mỗi lần thay là 1 lần xê dịch nên xương khó lành. Tốt hơn hết em nên đến Bệnh viện Chấn thương Chỉnh hình để được kiểm tra và điều trị thích hợp, em nhé. Thân mến.',
'Chào bạn, Qua hình ảnh sang thương và mô tả triệu chứng, bệnh lý của bạn có khả năng là chàm hay còn gọi là viêm da dị ứng với đặc điểm là viêm và nổi mụn nhỏ, ngứa ngáy. Nguyên nhân của chàm hiện nay chưa rõ nhưng có thể do cơ địa dị ứng (người mắc hen, viêm mũi dị ứng có nguy cơ cao mắc chàm), do kích thích của hóa chất như nước rửa chén, bột giặt, cao su, kim loại, chất liệu giày dép (chàm tiếp xúc),... Thời tiết lạnh, stress, đổ mồ hôi nhiều và phấn hoa... cũng là những nguyên nhân có thể khiến da bị chàm. Chàm cũng có thể gặp ở người bị suy van tĩnh mạch, giãn tĩnh mạch chân khiến tình trạng bệnh dai dẳng, kém đáp ứng điều trị. Điều trị chàm thường phải sử dụng một số loại thuốc bôi da kéo dài, có thể để lại tác dụng phụ, do đó bạn nên khám BS Da liễu để kê toa loại thuốc phù hợp. Ngoài ra, bạn nên chú ý xem có yếu tố nào thường kích thích khởi phát chàm để tránh cho bệnh tái phát bạn nhé! Thân mến.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```
<!--
### Direct Usage (Transformers)
<details><summary>Click to see the direct usage in Transformers</summary>
</details>
-->
<!--
### Downstream Usage (Sentence Transformers)
You can finetune this model on your own dataset.
<details><summary>Click to expand</summary>
</details>
-->
<!--
### Out-of-Scope Use
*List how the model may foreseeably be misused and address what users ought not to do with the model.*
-->
## Evaluation
### Metrics
#### Information Retrieval
* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
| Metric | Value |
|:--------------------|:-----------|
| cosine_accuracy@1 | 0.7045 |
| cosine_accuracy@3 | 0.8353 |
| cosine_accuracy@5 | 0.8767 |
| cosine_accuracy@10 | 0.9231 |
| cosine_precision@1 | 0.7045 |
| cosine_precision@3 | 0.2784 |
| cosine_precision@5 | 0.1753 |
| cosine_precision@10 | 0.0923 |
| cosine_recall@1 | 0.7045 |
| cosine_recall@3 | 0.8353 |
| cosine_recall@5 | 0.8767 |
| cosine_recall@10 | 0.9231 |
| cosine_ndcg@10 | 0.8141 |
| cosine_mrr@10 | 0.7792 |
| **cosine_map@100** | **0.7828** |
| dot_accuracy@1 | 0.6861 |
| dot_accuracy@3 | 0.8221 |
| dot_accuracy@5 | 0.8698 |
| dot_accuracy@10 | 0.9207 |
| dot_precision@1 | 0.6861 |
| dot_precision@3 | 0.274 |
| dot_precision@5 | 0.174 |
| dot_precision@10 | 0.0921 |
| dot_recall@1 | 0.6861 |
| dot_recall@3 | 0.8221 |
| dot_recall@5 | 0.8698 |
| dot_recall@10 | 0.9207 |
| dot_ndcg@10 | 0.8028 |
| dot_mrr@10 | 0.7651 |
| dot_map@100 | 0.7689 |
<!--
## Bias, Risks and Limitations
*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
-->
<!--
### Recommendations
*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
-->
## Training Details
### Training Hyperparameters
#### Non-Default Hyperparameters
- `eval_strategy`: steps
- `per_device_train_batch_size`: 16
- `per_device_eval_batch_size`: 16
- `learning_rate`: 2e-05
- `num_train_epochs`: 5
- `warmup_ratio`: 0.1
- `fp16`: True
- `batch_sampler`: no_duplicates
#### All Hyperparameters
<details><summary>Click to expand</summary>
- `overwrite_output_dir`: False
- `do_predict`: False
- `eval_strategy`: steps
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 16
- `per_device_eval_batch_size`: 16
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 1
- `eval_accumulation_steps`: None
- `torch_empty_cache_steps`: None
- `learning_rate`: 2e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1.0
- `num_train_epochs`: 5
- `max_steps`: -1
- `lr_scheduler_type`: linear
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.1
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: False
- `fp16`: True
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: False
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: False
- `hub_always_push`: False
- `gradient_checkpointing`: False
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`:
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `use_liger_kernel`: False
- `eval_use_gather_object`: False
- `batch_sampler`: no_duplicates
- `multi_dataset_batch_sampler`: proportional
</details>
### Training Logs
<details><summary>Click to expand</summary>
| Epoch | Step | Training Loss | Validation Loss | cosine_map@100 |
|:------:|:-----:|:-------------:|:---------------:|:--------------:|
| 0 | 0 | - | - | 0.1388 |
| 0.0365 | 100 | 2.3162 | - | - |
| 0.0730 | 200 | 0.6289 | - | - |
| 0.1096 | 300 | 0.3538 | - | - |
| 0.1461 | 400 | 0.2815 | - | - |
| 0.1826 | 500 | 0.2206 | - | - |
| 0.2191 | 600 | 0.224 | - | - |
| 0.2557 | 700 | 0.1869 | - | - |
| 0.2922 | 800 | 0.1742 | - | - |
| 0.3287 | 900 | 0.1825 | - | - |
| 0.3652 | 1000 | 0.1731 | 0.1270 | 0.6999 |
| 0.4018 | 1100 | 0.1557 | - | - |
| 0.4383 | 1200 | 0.1845 | - | - |
| 0.4748 | 1300 | 0.1593 | - | - |
| 0.5113 | 1400 | 0.1352 | - | - |
| 0.5478 | 1500 | 0.1573 | - | - |
| 0.5844 | 1600 | 0.1482 | - | - |
| 0.6209 | 1700 | 0.1413 | - | - |
| 0.6574 | 1800 | 0.1315 | - | - |
| 0.6939 | 1900 | 0.1253 | - | - |
| 0.7305 | 2000 | 0.1298 | 0.1068 | 0.7262 |
| 0.7670 | 2100 | 0.1282 | - | - |
| 0.8035 | 2200 | 0.1052 | - | - |
| 0.8400 | 2300 | 0.1002 | - | - |
| 0.8766 | 2400 | 0.1001 | - | - |
| 0.9131 | 2500 | 0.1233 | - | - |
| 0.9496 | 2600 | 0.1191 | - | - |
| 0.9861 | 2700 | 0.1156 | - | - |
| 1.0226 | 2800 | 0.1026 | - | - |
| 1.0592 | 2900 | 0.0999 | - | - |
| 1.0957 | 3000 | 0.0989 | 0.0785 | 0.7370 |
| 1.1322 | 3100 | 0.0769 | - | - |
| 1.1687 | 3200 | 0.0839 | - | - |
| 1.2053 | 3300 | 0.0777 | - | - |
| 1.2418 | 3400 | 0.0745 | - | - |
| 1.2783 | 3500 | 0.0676 | - | - |
| 1.3148 | 3600 | 0.0636 | - | - |
| 1.3514 | 3700 | 0.0575 | - | - |
| 1.3879 | 3800 | 0.0403 | - | - |
| 1.4244 | 3900 | 0.0616 | - | - |
| 1.4609 | 4000 | 0.0379 | 0.0717 | 0.7557 |
| 1.4974 | 4100 | 0.0386 | - | - |
| 1.5340 | 4200 | 0.0346 | - | - |
| 1.5705 | 4300 | 0.0327 | - | - |
| 1.6070 | 4400 | 0.0378 | - | - |
| 1.6435 | 4500 | 0.0265 | - | - |
| 1.6801 | 4600 | 0.0317 | - | - |
| 1.7166 | 4700 | 0.0262 | - | - |
| 1.7531 | 4800 | 0.0275 | - | - |
| 1.7896 | 4900 | 0.025 | - | - |
| 1.8262 | 5000 | 0.025 | 0.0687 | 0.7647 |
| 1.8627 | 5100 | 0.0195 | - | - |
| 1.8992 | 5200 | 0.0316 | - | - |
| 1.9357 | 5300 | 0.0368 | - | - |
| 1.9722 | 5400 | 0.029 | - | - |
| 2.0088 | 5500 | 0.0285 | - | - |
| 2.0453 | 5600 | 0.0245 | - | - |
| 2.0818 | 5700 | 0.0208 | - | - |
| 2.1183 | 5800 | 0.0197 | - | - |
| 2.1549 | 5900 | 0.0234 | - | - |
| 2.1914 | 6000 | 0.0195 | 0.0682 | 0.7699 |
| 2.2279 | 6100 | 0.0233 | - | - |
| 2.2644 | 6200 | 0.0184 | - | - |
| 2.3009 | 6300 | 0.0217 | - | - |
| 2.3375 | 6400 | 0.0233 | - | - |
| 2.3740 | 6500 | 0.016 | - | - |
| 2.4105 | 6600 | 0.0168 | - | - |
| 2.4470 | 6700 | 0.0151 | - | - |
| 2.4836 | 6800 | 0.0123 | - | - |
| 2.5201 | 6900 | 0.0081 | - | - |
| 2.5566 | 7000 | 0.0109 | 0.0616 | 0.7744 |
| 2.5931 | 7100 | 0.0073 | - | - |
| 2.6297 | 7200 | 0.0088 | - | - |
| 2.6662 | 7300 | 0.0124 | - | - |
| 2.7027 | 7400 | 0.0078 | - | - |
| 2.7392 | 7500 | 0.0066 | - | - |
| 2.7757 | 7600 | 0.0066 | - | - |
| 2.8123 | 7700 | 0.0072 | - | - |
| 2.8488 | 7800 | 0.0066 | - | - |
| 2.8853 | 7900 | 0.0088 | - | - |
| 2.9218 | 8000 | 0.0096 | 0.0579 | 0.7767 |
| 2.9584 | 8100 | 0.0094 | - | - |
| 2.9949 | 8200 | 0.0084 | - | - |
| 3.0314 | 8300 | 0.008 | - | - |
| 3.0679 | 8400 | 0.0061 | - | - |
| 3.1045 | 8500 | 0.0082 | - | - |
| 3.1410 | 8600 | 0.0056 | - | - |
| 3.1775 | 8700 | 0.005 | - | - |
| 3.2140 | 8800 | 0.0052 | - | - |
| 3.2505 | 8900 | 0.0059 | - | - |
| 3.2871 | 9000 | 0.0071 | 0.0592 | 0.7757 |
| 3.3236 | 9100 | 0.0059 | - | - |
| 3.3601 | 9200 | 0.0056 | - | - |
| 3.3966 | 9300 | 0.0037 | - | - |
| 3.4332 | 9400 | 0.0068 | - | - |
| 3.4697 | 9500 | 0.0037 | - | - |
| 3.5062 | 9600 | 0.0037 | - | - |
| 3.5427 | 9700 | 0.0041 | - | - |
| 3.5793 | 9800 | 0.0026 | - | - |
| 3.6158 | 9900 | 0.0029 | - | - |
| 3.6523 | 10000 | 0.0044 | 0.0607 | 0.7752 |
| 3.6888 | 10100 | 0.0029 | - | - |
| 3.7253 | 10200 | 0.003 | - | - |
| 3.7619 | 10300 | 0.0026 | - | - |
| 3.7984 | 10400 | 0.0028 | - | - |
| 3.8349 | 10500 | 0.003 | - | - |
| 3.8714 | 10600 | 0.0026 | - | - |
| 3.9080 | 10700 | 0.0029 | - | - |
| 3.9445 | 10800 | 0.003 | - | - |
| 3.9810 | 10900 | 0.0022 | - | - |
| 4.0175 | 11000 | 0.003 | 0.0579 | 0.7816 |
| 4.0541 | 11100 | 0.0024 | - | - |
| 4.0906 | 11200 | 0.0029 | - | - |
| 4.1271 | 11300 | 0.0025 | - | - |
| 4.1636 | 11400 | 0.0024 | - | - |
| 4.2001 | 11500 | 0.0022 | - | - |
| 4.2367 | 11600 | 0.0026 | - | - |
| 4.2732 | 11700 | 0.0022 | - | - |
| 4.3097 | 11800 | 0.003 | - | - |
| 4.3462 | 11900 | 0.0023 | - | - |
| 4.3828 | 12000 | 0.0018 | 0.0562 | 0.7819 |
| 4.4193 | 12100 | 0.0022 | - | - |
| 4.4558 | 12200 | 0.0021 | - | - |
| 4.4923 | 12300 | 0.0017 | - | - |
| 4.5289 | 12400 | 0.0016 | - | - |
| 4.5654 | 12500 | 0.0017 | - | - |
| 4.6019 | 12600 | 0.0015 | - | - |
| 4.6384 | 12700 | 0.0017 | - | - |
| 4.6749 | 12800 | 0.0016 | - | - |
| 4.7115 | 12900 | 0.0014 | - | - |
| 4.7480 | 13000 | 0.0015 | 0.0561 | 0.7828 |
| 4.7845 | 13100 | 0.0015 | - | - |
| 4.8210 | 13200 | 0.0012 | - | - |
| 4.8576 | 13300 | 0.0014 | - | - |
| 4.8941 | 13400 | 0.0017 | - | - |
| 4.9306 | 13500 | 0.0018 | - | - |
| 4.9671 | 13600 | 0.0015 | - | - |
</details>
### Framework Versions
- Python: 3.10.14
- Sentence Transformers: 3.2.0
- Transformers: 4.45.1
- PyTorch: 2.4.0
- Accelerate: 0.34.2
- Datasets: 3.0.1
- Tokenizers: 0.20.0
## Citation
### BibTeX
#### Sentence Transformers
```bibtex
@inproceedings{reimers-2019-sentence-bert,
title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
author = "Reimers, Nils and Gurevych, Iryna",
booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
month = "11",
year = "2019",
publisher = "Association for Computational Linguistics",
url = "https://arxiv.org/abs/1908.10084",
}
```
#### MultipleNegativesRankingLoss
```bibtex
@misc{henderson2017efficient,
title={Efficient Natural Language Response Suggestion for Smart Reply},
author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
year={2017},
eprint={1705.00652},
archivePrefix={arXiv},
primaryClass={cs.CL}
}
```
<!--
## Glossary
*Clearly define terms in order to be accessible across audiences.*
-->
<!--
## Model Card Authors
*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
-->
<!--
## Model Card Contact
*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
-->