Add new SentenceTransformer model

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": false,
+  "pooling_mode_mean_tokens": true,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

README.md

@@ -0,0 +1,515 @@
+---
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:1583079
+- loss:MultipleNegativesRankingLoss
+base_model: bkai-foundation-models/vietnamese-bi-encoder
+widget:
+- source_sentence: tính bền vững trong chuỗi cung ứng là gì
+  sentences:
+  - 'Tính bền vững của chuỗi cung ứng ::: Tính bền vững của chuỗi cung ứng là một
+    vấn đề kinh doanh ảnh hưởng đến chuỗi cung ứng hoặc mạng lưới hậu cần của tổ chức
+    về mặt môi trường, rủi ro và chi phí lãng phí.  Nhu cầu tích hợp các lựa chọn
+    hợp lý về môi trường vào quản lý chuỗi cung ứng ngày càng tăng.  Tính bền vững
+    trong chuỗi cung ứng ngày càng được các nhà quản trị cấp cao coi là cần thiết
+    để mang lại lợi nhuận và đã thay thế chi phí tiền tệ, giá trị và tốc độ là chủ
+    đề thảo luận giữa các chuyên gia mua và cung ứng.  Một chuỗi cung ứng bền vững
+    nắm bắt các cơ hội tạo ra giá trị và mang lại lợi thế cạnh tranh đáng kể cho những
+    người chấp nhận sớm và đổi mới quy trình.'
+  - 'Ung thư biểu mô tuyến bã ::: Ung thư biểu mô tuyến bã, còn được gọi là bã nhờn
+    tuyến ung thư biểu mô (SGC), ung thư biểu mô tế bào bã nhờn, và ung thư biểu mô
+    tuyến mebomian là một khối u ác tính ở da phổ biến.  Hầu hết thường là các u khoảng
+    10 mm kích thước tại chỗ.  Khối u này được cho là phát sinh từ các tuyến bã nhờn
+    trên da và do đó, có thể bắt nguồn từ bất cứ nơi nào trong cơ thể nơi các tuyến
+    này được tìm thấy.  Ung thư biểu mô tuyến bã có thể được chia thành hai loại:
+    mắt và ngoại bào.  Bởi vì khu vực quanh mắt rất phong phú về loại tuyến này, khu
+    vực này là một trang web phổ biến về nguồn gốc.  Nguyên nhân của những tổn thương
+    này là, trong phần lớn các trường hợp, không rõ.  Các trường hợp thỉnh thoảng
+    có thể liên quan đến hội chứng Muir-Torre.  Do sự hiếm gặp của khối u này và sự
+    thay đổi trong biểu hiện lâm sàng và mô học, SGc thường bị chẩn đoán nhầm là tình
+    trạng viêm hoặc một loại khối u phổ biến hơn.'
+  - 'Dấu thời gian ::: Dấu thời gian là một chuỗi các ký tự hoặc thông tin được mã
+    hóa xác định khi một sự kiện nào đó xảy ra, thường đưa ra ngày và giờ trong ngày,
+    đôi khi chính xác đến một phần nhỏ của một giây.  Thuật ngữ này bắt nguồn từ tem
+    cao su được sử dụng trong các văn phòng để đóng dấu ngày hiện tại và đôi khi,
+    bằng mực trên tài liệu giấy, để ghi lại khi nhận được tài liệu.  Các ví dụ phổ
+    biến của loại dấu thời gian này là dấu bưu điện trên một chữ cái hoặc thời gian
+    "vào" và "ra" trên thẻ thời gian.'
+- source_sentence: lãnh thổ mebel nằm ở đâu
+  sentences:
+  - 'Alexander và một ngày tồi tệ, kinh khủng, chán nản, bực bội ::: Alexander và
+    một ngày tồi tệ, kinh khủng, chán nản, bực bội (tựa gốc tiếng Anh: Alexander and
+    the Terrible, Horrible, No Good, Very Bad Day) là phim điện ảnh thiếu nhi hài
+    hước của Mỹ năm 2014 do Miguel Arteta đạo diễn từ kịch bản chắp bút bởi Rob Lieber.
+    Phim có sự tham gia của Steve Carell, Jennifer Garner và Ed Oxenbould, chủ yếu
+    dựa trên cuốn sách thiếu nhi cùng tên năm 1972 của Judith Viorst. Phim khởi chiếu
+    ở Việt Nam vào ngày 20 tháng 11 năm 2014.'
+  - 'Vườn quốc gia Nanda Devi ::: Vườn quốc gia Nanda Devi hay Khu dự trữ sinh quyển
+    Nanda Devi là một vườn quốc gia được thành lập vào năm 1982 bao gồm khu vực tự
+    nhiên xung quanh đỉnh Nanda Devi (7.816 mét) ở bang Uttarakhand, miền bắc Ấn Độ.
+    Toàn bộ vườn quốc gia nằm ở độ cao trên 3.500 m (11.500 ft) so với mực nước biển
+    trung bình. Vườn quốc gia được UNESCO công nhận là Di sản thế giới từ năm 1988
+    trước khi được mở rộng thêm Vườn quốc gia Thung lũng các loài hoa vào năm 2005
+    đổi thành Nanda Devi và Vườn quốc gia Thung lũng các loài hoa.'
+  - 'Vùng Klaipėda ::: Vùng Klaipėda (tiếng Litva: Klaipėdos kraštas) hoặc Lãnh thổ
+    Memel (tiếng Đức: Memelland hay Memelgebiet) được định nghĩa bởi Hiệp ước Versailles
+    năm 1919 năm 1920 và được gọi là phần phía bắc của tỉnh East Prussia của Đức,
+    dưới sự điều hành của Entente ''s Hội ��ồng Đại sứ. Lãnh thổ Memel, cùng với các
+    khu vực khác bị cắt đứt từ Đức (Saar và Danzig) sẽ nằm dưới sự kiểm soát của Liên
+    minh các quốc gia cho đến một ngày trong tương lai khi người dân của các khu vực
+    này sẽ được phép bỏ phiếu về việc liệu đất có trở lại Đức hay không. Ngày nay,
+    Lãnh thổ Memel cũ được kiểm soát bởi Litva, quốc gia đã tổ chức nó thành các quận
+    Klaipeda, Taurage, Marijampole và Alytus.'
+- source_sentence: mục đích của chiến lược gleichschaltung là gì
+  sentences:
+  - 'Đường sắt cao tốc Thượng Hải – Hàng Châu ::: Tuyến đường sắt cao tốc Thượng Hải
+    Hàng Châu (tiếng Trung: 沪杭 客运 hoặc 沪杭 高速 铁路), còn được gọi là đường sắt cao tốc
+    Huhang hoặc đường sắt chở khách Huhang là tuyến đường sắt cao tốc ở Trung Quốc
+    giữa Thượng Hải và Hàng Châu, Chiết Giang. Tuyến có chiều dài 202 km (126 mi)
+    và được thiết kế cho dịch vụ tàu thương mại với tốc độ 350 km/h (217 dặm / giờ).
+    Nó được xây dựng trong 20 tháng và mở cửa vào ngày 26 tháng 10 năm 2010. Đường
+    dây rút ngắn thời gian di chuyển giữa hai thành phố từ 78 xuống còn 45 phút.  Tuyến
+    này cũng được sử dụng bởi các chuyến tàu rời ga Thượng Hải đến Côn Minh và Thâm
+    Quyến, trở thành một phần của Đường sắt cao tốc Thượng Hải Côn Minh và Hành lang
+    đường sắt cao tốc Bờ biển Đông Nam. Nó đã làm cho đề xuất tuyến tàu đệm từ Thượng
+    Hải Hàng Châu không thể triển khai.'
+  - 'Trật tự thế giới mới ::: Thuật ngữ "Trật tự thế giới mới" đã được sử dụng để
+    chỉ bất kỳ giai đoạn lịch sử mới nào chứng minh sự thay đổi mạnh mẽ trong tư tưởng
+    chính trị thế giới và cán cân quyền lực. Mặc dù có nhiều cách hiểu khác nhau về
+    thuật ngữ này, nó chủ yếu gắn liền với khái niệm ý thức hệ về quản trị toàn cầu
+    chỉ trong ý nghĩa của những nỗ lực tập thể mới để xác định, hiểu hoặc giải quyết
+    các vấn đề trên toàn thế giới vượt quá khả năng giải quyết của từng quốc gia.'
+  - 'Gleichschaltung ::: Gleichschaltung trong bối cảnh chính trị - văn hóa là một
+    chiến lược đạt được tầm quan trọng trung tâm, đặc biệt là trong thời kỳ phát xít.
+    Từ những năm 1930, từ này đề cập đến quá trình thống nhất toàn bộ đời sống chính
+    trị xã hội trong giai đoạn tiếp quản quyền lực ở Đức. Mục đích là để 1934 mâu
+    thuẫn hiểu như đa nguyên trong chính phủ và xã hội nên được bãi bỏ và một chế
+    độ độc tài để xây dựng chỉ với một trung tâm quyền lực.'
+- source_sentence: giáng son sinh ngày mấy
+  sentences:
+  - 'Proxymetacaine ::: Proxymetacaine (INN) hoặc proparacaine (USAN) là một loại
+    thuốc gây tê tại chỗ của nhóm aminoester.'
+  - 'Giáng Son ::: Tạ Thị Giáng Son (sinh ngày 1 tháng 2 năm 1975), thường được biết
+    đến với nghệ danh Giáng Son hay Giáng Sol, là một nữ nhạc sĩ người Việt Nam. Cô
+    là một trong số rất ít những nữ nhạc sĩ thành công vào đầu thập niên 2000 của
+    Việt Nam và là cựu thủ lĩnh sáng lập nên nhóm nhạc 5 Dòng Kẻ. Cô là Ủy viên Ban
+    chấp hành của Hội Nhạc sĩ Việt Nam, hội viên của Hội các nhà soạn nhạc thế giới
+    thế kỷ 21 (Composers 21) và thành viên của nhóm tác giả M6. Hiện cô đang giữ chức
+    Phó trưởng khoa Kịch hát dân tộc tại trường Đại học Sân khấu và Điện ảnh Hà Nội.'
+  - 'Sông Kiến Giang (Thái Bình) ::: Sông Kiến Giang là con sông đào gồm nhiều đoạn
+    khác nhau ở khu vực nam Thái Bình .'
+- source_sentence: tên thật của tỉnh drava banovina là gì
+  sentences:
+  - 'Drava Banovina ::: Drava Banovina hoặc Drava Banate (tiếng Slovenia: Dravska
+    banovina) là một tỉnh (banovina) của Vương quốc Nam Tư từ năm 1929 đến năm 1941.
+    Tỉnh này bao gồm hầu hết ngày nay Slovenia và được đặt tên cho Drava sông. Thành
+    phố thủ đô của Drava Banovina là Ljubljana.'
+  - 'Đo khoảng cách (vũ trụ) ::: Đo khoảng cách được sử dụng trong vũ trụ học vật
+    lý để đưa ra một khái niệm tự nhiên về khoảng cách giữa hai vật thể hoặc sự kiện
+    trong vũ trụ.  Chúng thường được sử dụng để buộc một số lượng có thể quan sát
+    được (như độ chói của một quasar ở xa, dịch chuyển đỏ của một thiên hà xa xôi
+    hoặc kích thước góc của các đỉnh âm trong phổ công suất CMB) với một đại lượng
+    khác không thể quan sát trực tiếp, nhưng thuận tiện hơn cho việc tính toán (chẳng
+    hạn như tọa độ đồng chuyển động của chuẩn tinh, thiên hà, v.v.).  Các biện pháp
+    khoảng cách được thảo luận ở đây đều làm giảm khái niệm chung về khoảng cách Euclide
+    ở độ dịch chuyển thấp.'
+  - 'Mùa bão Tây Bắc Thái Bình Dương 1986 ::: Mùa bão năm 1986 ở Tây Bắc Thái Bình
+    Dương không có giới hạn chính thức; nó chạy quanh năm vào năm 1986, nhưng hầu
+    hết các cơn bão nhiệt đới có xu hướng hình thành ở tây bắc Thái Bình Dương giữa
+    tháng Năm và tháng Mười Hai.  Những ngày này thường phân định thời kỳ mỗi năm
+    khi hầu hết các cơn bão nhiệt đới hình thành ở tây bắc Thái Bình Dương.  Bão nhiệt
+    đới hình thành trong toàn bộ lưu vực phía tây Thái Bình Dương đã được Trung tâm
+    Cảnh báo Bão chung đặt tên.  Áp thấp nhiệt đới xâm nhập hoặc hình thành trong
+    khu vực trách nhiệm của Philippines được đặt tên bởi Cơ quan Dịch vụ Khí quyển,
+    Địa vật lý và Thiên văn học Philippines hoặc PAGASA.  Điều này thường có thể dẫn
+    đến cùng một cơn bão có hai tên.'
+pipeline_tag: sentence-similarity
+library_name: sentence-transformers
+---
+
+# SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [bkai-foundation-models/vietnamese-bi-encoder](https://huggingface.co/bkai-foundation-models/vietnamese-bi-encoder). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [bkai-foundation-models/vietnamese-bi-encoder](https://huggingface.co/bkai-foundation-models/vietnamese-bi-encoder) <!-- at revision 84f9d9ada0d1a3c37557398b9ae9fcedcdf40be0 -->
+- **Maximum Sequence Length:** 256 tokens
+- **Output Dimensionality:** 768 dimensions
+- **Similarity Function:** Cosine Similarity
+<!-- - **Training Dataset:** Unknown -->
+<!-- - **Language:** Unknown -->
+<!-- - **License:** Unknown -->
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("tintnguyen/vietnamese-bi-encoder-ft")
+# Run inference
+sentences = [
+    'tên thật của tỉnh drava banovina là gì',
+    'Drava Banovina ::: Drava Banovina hoặc Drava Banate (tiếng Slovenia: Dravska banovina) là một tỉnh (banovina) của Vương quốc Nam Tư từ năm 1929 đến năm 1941. Tỉnh này bao gồm hầu hết ngày nay Slovenia và được đặt tên cho Drava sông. Thành phố thủ đô của Drava Banovina là Ljubljana.',
+    'Mùa bão Tây Bắc Thái Bình Dương 1986 ::: Mùa bão năm 1986 ở Tây Bắc Thái Bình Dương không có giới hạn chính thức; nó chạy quanh năm vào năm 1986, nhưng hầu hết các cơn bão nhiệt đới có xu hướng hình thành ở tây bắc Thái Bình Dương giữa tháng Năm và tháng Mười Hai.  Những ngày này thường phân định thời kỳ mỗi năm khi hầu hết các cơn bão nhiệt đới hình thành ở tây bắc Thái Bình Dương.  Bão nhiệt đới hình thành trong toàn bộ lưu vực phía tây Thái Bình Dương đã được Trung tâm Cảnh báo Bão chung đặt tên.  Áp thấp nhiệt đới xâm nhập hoặc hình thành trong khu vực trách nhiệm của Philippines được đặt tên bởi Cơ quan Dịch vụ Khí quyển, Địa vật lý và Thiên văn học Philippines hoặc PAGASA.  Điều này thường có thể dẫn đến cùng một cơn bão có hai tên.',
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### Unnamed Dataset
+
+
+* Size: 1,583,079 training samples
+* Columns: <code>anchor</code> and <code>positive</code>
+* Approximate statistics based on the first 1000 samples:
+  |         | anchor                                                                            | positive                                                                             |
+  |:--------|:----------------------------------------------------------------------------------|:-------------------------------------------------------------------------------------|
+  | type    | string                                                                            | string                                                                               |
+  | details | <ul><li>min: 5 tokens</li><li>mean: 11.73 tokens</li><li>max: 32 tokens</li></ul> | <ul><li>min: 24 tokens</li><li>mean: 121.83 tokens</li><li>max: 256 tokens</li></ul> |
+* Samples:
+  | anchor                                          | positive                                                                                                                                                      |
+  |:------------------------------------------------|:--------------------------------------------------------------------------------------------------------------------------------------------------------------|
+  | <code>đặng văn hoàn từng giữ chức vụ nào</code> | <code>Đặng Văn Hoàn ::: Đặng Văn Hoàn là chính trị gia người Việt Nam. Ông từng giữ chức vụ Chủ tịch Ủy ban Mặt trận Tổ quốc Việt Nam tỉnh Quảng Bình.</code> |
+  | <code>đặng văn hoàn là người nào</code>         | <code>Đặng Văn Hoàn ::: Đặng Văn Hoàn là chính trị gia người Việt Nam. Ông từng giữ chức vụ Chủ tịch Ủy ban Mặt trận Tổ quốc Việt Nam tỉnh Quảng Bình.</code> |
+  | <code>đặng văn hoàn là ai</code>                | <code>Đặng Văn Hoàn ::: Đặng Văn Hoàn là chính trị gia người Việt Nam. Ông từng giữ chức vụ Chủ tịch Ủy ban Mặt trận Tổ quốc Việt Nam tỉnh Quảng Bình.</code> |
+* Loss: [<code>MultipleNegativesRankingLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#multiplenegativesrankingloss) with these parameters:
+  ```json
+  {
+      "scale": 20.0,
+      "similarity_fct": "cos_sim"
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `per_device_train_batch_size`: 64
+- `per_device_eval_batch_size`: 32
+- `learning_rate`: 2e-05
+- `num_train_epochs`: 2
+- `warmup_ratio`: 0.1
+- `fp16`: True
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: no
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 64
+- `per_device_eval_batch_size`: 32
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 1
+- `eval_accumulation_steps`: None
+- `torch_empty_cache_steps`: None
+- `learning_rate`: 2e-05
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 2
+- `max_steps`: -1
+- `lr_scheduler_type`: linear
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.1
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: False
+- `fp16`: True
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: False
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: False
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `include_for_metrics`: []
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `dispatch_batches`: None
+- `split_batches`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `eval_on_start`: False
+- `use_liger_kernel`: False
+- `eval_use_gather_object`: False
+- `average_tokens_across_devices`: False
+- `prompts`: None
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+| Epoch  | Step  | Training Loss |
+|:------:|:-----:|:-------------:|
+| 0.0202 | 500   | 0.3446        |
+| 0.0404 | 1000  | 0.3366        |
+| 0.0606 | 1500  | 0.4109        |
+| 0.0809 | 2000  | 0.1684        |
+| 0.1011 | 2500  | 0.2029        |
+| 0.1213 | 3000  | 0.1815        |
+| 0.1415 | 3500  | 0.1493        |
+| 0.1617 | 4000  | 0.1606        |
+| 0.1819 | 4500  | 0.1221        |
+| 0.2021 | 5000  | 0.1488        |
+| 0.2223 | 5500  | 0.1751        |
+| 0.2426 | 6000  | 0.2354        |
+| 0.2628 | 6500  | 0.1252        |
+| 0.2830 | 7000  | 0.1352        |
+| 0.3032 | 7500  | 0.1798        |
+| 0.3234 | 8000  | 0.1166        |
+| 0.3436 | 8500  | 0.1247        |
+| 0.3638 | 9000  | 0.1664        |
+| 0.3841 | 9500  | 0.1451        |
+| 0.4043 | 10000 | 0.1391        |
+| 0.4245 | 10500 | 0.3064        |
+| 0.4447 | 11000 | 0.373         |
+| 0.4649 | 11500 | 0.2125        |
+| 0.4851 | 12000 | 0.1839        |
+| 0.5053 | 12500 | 0.3237        |
+| 0.5255 | 13000 | 0.4           |
+| 0.5458 | 13500 | 0.2788        |
+| 0.5660 | 14000 | 0.2936        |
+| 0.5862 | 14500 | 0.1388        |
+| 0.6064 | 15000 | 0.1581        |
+| 0.6266 | 15500 | 0.1876        |
+| 0.6468 | 16000 | 0.1569        |
+| 0.6670 | 16500 | 0.1575        |
+| 0.6873 | 17000 | 0.2999        |
+| 0.7075 | 17500 | 0.2072        |
+| 0.7277 | 18000 | 0.2041        |
+| 0.7479 | 18500 | 0.2705        |
+| 0.7681 | 19000 | 0.3727        |
+| 0.7883 | 19500 | 0.2635        |
+| 0.8085 | 20000 | 0.2007        |
+| 0.8288 | 20500 | 0.1417        |
+| 0.8490 | 21000 | 0.1682        |
+| 0.8692 | 21500 | 0.1665        |
+| 0.8894 | 22000 | 0.0305        |
+| 0.9096 | 22500 | 0.0184        |
+| 0.9298 | 23000 | 0.0159        |
+| 0.9500 | 23500 | 0.0166        |
+| 0.9702 | 24000 | 0.0149        |
+| 0.9905 | 24500 | 0.0158        |
+| 1.0107 | 25000 | 0.0725        |
+| 1.0309 | 25500 | 0.1099        |
+| 1.0511 | 26000 | 0.2281        |
+| 1.0713 | 26500 | 0.1607        |
+| 1.0915 | 27000 | 0.0796        |
+| 1.1117 | 27500 | 0.0998        |
+| 1.1320 | 28000 | 0.0603        |
+| 1.1522 | 28500 | 0.0815        |
+| 1.1724 | 29000 | 0.0754        |
+| 1.1926 | 29500 | 0.0873        |
+| 1.2128 | 30000 | 0.079         |
+| 1.2330 | 30500 | 0.0748        |
+| 1.2532 | 31000 | 0.1438        |
+| 1.2734 | 31500 | 0.0575        |
+| 1.2937 | 32000 | 0.1203        |
+
+
+### Framework Versions
+- Python: 3.11.10
+- Sentence Transformers: 3.3.1
+- Transformers: 4.46.3
+- PyTorch: 2.5.1+cu124
+- Accelerate: 1.1.1
+- Datasets: 3.1.0
+- Tokenizers: 0.20.4
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{henderson2017efficient,
+    title={Efficient Natural Language Response Suggestion for Smart Reply},
+    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
+    year={2017},
+    eprint={1705.00652},
+    archivePrefix={arXiv},
+    primaryClass={cs.CL}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

added_tokens.json

@@ -0,0 +1,3 @@
+{
+  "<mask>": 64000
+}

config.json

@@ -0,0 +1,28 @@
+{
+  "_name_or_path": "models/vietnamese-bi-encoder-ft/checkpoint-32000",
+  "architectures": [
+    "RobertaModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "bos_token_id": 0,
+  "classifier_dropout": null,
+  "eos_token_id": 2,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "layer_norm_eps": 1e-05,
+  "max_position_embeddings": 258,
+  "model_type": "roberta",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "pad_token_id": 1,
+  "position_embedding_type": "absolute",
+  "tokenizer_class": "PhobertTokenizer",
+  "torch_dtype": "float32",
+  "transformers_version": "4.46.3",
+  "type_vocab_size": 1,
+  "use_cache": true,
+  "vocab_size": 64001
+}

config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "3.3.1",
+    "transformers": "4.46.3",
+    "pytorch": "2.5.1+cu124"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": "cosine"
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:57b3c62d4167a99836af0f4032e52bf04388a4a345030213ff45ad1645973bb1
+size 540015464

modules.json

@@ -0,0 +1,14 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 256,
+  "do_lower_case": false
+}

special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<mask>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<pad>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,54 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<pad>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "64000": {
+      "content": "<mask>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "<s>",
+  "eos_token": "</s>",
+  "mask_token": "<mask>",
+  "model_max_length": 256,
+  "pad_token": "<pad>",
+  "sep_token": "</s>",
+  "tokenizer_class": "PhobertTokenizer",
+  "unk_token": "<unk>"
+}