Hugging Face's logo

tintnguyen
/
vietnamese-bi-encoder-ft

Sentence Similarity
sentence-transformers
Safetensors
roberta
feature-extraction
Generated from Trainer
dataset_size:1583079
loss:MultipleNegativesRankingLoss
Inference Endpoints
Model card Files Community
vietnamese-bi-encoder-ft / README.md
tintnguyen's picture
tintnguyen
Update README.md
83fc051 verified
preview code
|
raw
history blame contribute delete
28.5 kB
metadata
tags:
  - sentence-transformers
  - sentence-similarity
  - feature-extraction
  - generated_from_trainer
  - dataset_size:1583079
  - loss:MultipleNegativesRankingLoss
base_model: bkai-foundation-models/vietnamese-bi-encoder
widget:
  - source_sentence: tính bền vững trong chuỗi cung ứng là gì
    sentences:
      - >-
        Tính bền vững của chuỗi cung ứng ::: Tính bền vững của chuỗi cung ứng là
        một vấn đề kinh doanh ảnh hưởng đến chuỗi cung ứng hoặc mạng lưới hậu
        cần của tổ chức về mặt môi trường, rủi ro và chi phí lãng phí.  Nhu cầu
        tích hợp các lựa chọn hợp lý về môi trường vào quản lý chuỗi cung ứng
        ngày càng tăng.  Tính bền vững trong chuỗi cung ứng ngày càng được các
        nhà quản trị cấp cao coi là cần thiết để mang lại lợi nhuận và đã thay
        thế chi phí tiền tệ, giá trị và tốc độ là chủ đề thảo luận giữa các
        chuyên gia mua và cung ứng.  Một chuỗi cung ứng bền vững nắm bắt các cơ
        hội tạo ra giá trị và mang lại lợi thế cạnh tranh đáng kể cho những
        người chấp nhận sớm và đổi mới quy trình.
      - >-
        Ung thư biểu mô tuyến bã ::: Ung thư biểu mô tuyến bã, còn được gọi là
        bã nhờn tuyến ung thư biểu mô (SGC), ung thư biểu mô tế bào bã nhờn, và
        ung thư biểu mô tuyến mebomian là một khối u ác tính ở da phổ biến.  Hầu
        hết thường là các u khoảng 10 mm kích thước tại chỗ.  Khối u này được
        cho là phát sinh từ các tuyến bã nhờn trên da và do đó, có thể bắt nguồn
        từ bất cứ nơi nào trong cơ thể nơi các tuyến này được tìm thấy.  Ung thư
        biểu mô tuyến bã có thể được chia thành hai loại: mắt và ngoại bào.  Bởi
        vì khu vực quanh mắt rất phong phú về loại tuyến này, khu vực này là một
        trang web phổ biến về nguồn gốc.  Nguyên nhân của những tổn thương này
        là, trong phần lớn các trường hợp, không rõ.  Các trường hợp thỉnh
        thoảng có thể liên quan đến hội chứng Muir-Torre.  Do sự hiếm gặp của
        khối u này và sự thay đổi trong biểu hiện lâm sàng và mô học, SGc thường
        bị chẩn đoán nhầm là tình trạng viêm hoặc một loại khối u phổ biến hơn.
      - >-
        Dấu thời gian ::: Dấu thời gian là một chuỗi các ký tự hoặc thông tin
        được mã hóa xác định khi một sự kiện nào đó xảy ra, thường đưa ra ngày
        và giờ trong ngày, đôi khi chính xác đến một phần nhỏ của một giây. 
        Thuật ngữ này bắt nguồn từ tem cao su được sử dụng trong các văn phòng
        để đóng dấu ngày hiện tại và đôi khi, bằng mực trên tài liệu giấy, để
        ghi lại khi nhận được tài liệu.  Các ví dụ phổ biến của loại dấu thời
        gian này là dấu bưu điện trên một chữ cái hoặc thời gian "vào" và "ra"
        trên thẻ thời gian.
  - source_sentence: lãnh thổ mebel nằm ở đâu
    sentences:
      - >-
        Alexander và một ngày tồi tệ, kinh khủng, chán nản, bực bội :::
        Alexander và một ngày tồi tệ, kinh khủng, chán nản, bực bội (tựa gốc
        tiếng Anh: Alexander and the Terrible, Horrible, No Good, Very Bad Day)
        là phim điện ảnh thiếu nhi hài hước của Mỹ năm 2014 do Miguel Arteta đạo
        diễn từ kịch bản chắp bút bởi Rob Lieber. Phim có sự tham gia của Steve
        Carell, Jennifer Garner và Ed Oxenbould, chủ yếu dựa trên cuốn sách
        thiếu nhi cùng tên năm 1972 của Judith Viorst. Phim khởi chiếu ở Việt
        Nam vào ngày 20 tháng 11 năm 2014.
      - >-
        Vườn quốc gia Nanda Devi ::: Vườn quốc gia Nanda Devi hay Khu dự trữ
        sinh quyển Nanda Devi là một vườn quốc gia được thành lập vào năm 1982
        bao gồm khu vực tự nhiên xung quanh đỉnh Nanda Devi (7.816 mét) ở bang
        Uttarakhand, miền bắc Ấn Độ. Toàn bộ vườn quốc gia nằm ở độ cao trên
        3.500 m (11.500 ft) so với mực nước biển trung bình. Vườn quốc gia được
        UNESCO công nhận là Di sản thế giới từ năm 1988 trước khi được mở rộng
        thêm Vườn quốc gia Thung lũng các loài hoa vào năm 2005 đổi thành Nanda
        Devi và Vườn quốc gia Thung lũng các loài hoa.
      - >-
        Vùng Klaipėda ::: Vùng Klaipėda (tiếng Litva: Klaipėdos kraštas) hoặc
        Lãnh thổ Memel (tiếng Đức: Memelland hay Memelgebiet) được định nghĩa
        bởi Hiệp ước Versailles năm 1919 năm 1920 và được gọi là phần phía bắc
        của tỉnh East Prussia của Đức, dưới sự điều hành của Entente 's Hội đồng
        Đại sứ. Lãnh thổ Memel, cùng với các khu vực khác bị cắt đứt từ Đức
        (Saar và Danzig) sẽ nằm dưới sự kiểm soát của Liên minh các quốc gia cho
        đến một ngày trong tương lai khi người dân của các khu vực này sẽ được
        phép bỏ phiếu về việc liệu đất có trở lại Đức hay không. Ngày nay, Lãnh
        thổ Memel cũ được kiểm soát bởi Litva, quốc gia đã tổ chức nó thành các
        quận Klaipeda, Taurage, Marijampole và Alytus.
  - source_sentence: mục đích của chiến lược gleichschaltung là gì
    sentences:
      - >-
        Đường sắt cao tốc Thượng Hải – Hàng Châu ::: Tuyến đường sắt cao tốc
        Thượng Hải Hàng Châu (tiếng Trung: 沪杭 客运 hoặc 沪杭 高速 铁路), còn được gọi là
        đường sắt cao tốc Huhang hoặc đường sắt chở khách Huhang là tuyến đường
        sắt cao tốc ở Trung Quốc giữa Thượng Hải và Hàng Châu, Chiết Giang.
        Tuyến có chiều dài 202 km (126 mi) và được thiết kế cho dịch vụ tàu
        thương mại với tốc độ 350 km/h (217 dặm / giờ). Nó được xây dựng trong
        20 tháng và mở cửa vào ngày 26 tháng 10 năm 2010. Đường dây rút ngắn
        thời gian di chuyển giữa hai thành phố từ 78 xuống còn 45 phút.  Tuyến
        này cũng được sử dụng bởi các chuyến tàu rời ga Thượng Hải đến Côn Minh
        và Thâm Quyến, trở thành một phần của Đường sắt cao tốc Thượng Hải Côn
        Minh và Hành lang đường sắt cao tốc Bờ biển Đông Nam. Nó đã làm cho đề
        xuất tuyến tàu đệm từ Thượng Hải Hàng Châu không thể triển khai.
      - >-
        Trật tự thế giới mới ::: Thuật ngữ "Trật tự thế giới mới" đã được sử
        dụng để chỉ bất kỳ giai đoạn lịch sử mới nào chứng minh sự thay đổi mạnh
        mẽ trong tư tưởng chính trị thế giới và cán cân quyền lực. Mặc dù có
        nhiều cách hiểu khác nhau về thuật ngữ này, nó chủ yếu gắn liền với khái
        niệm ý thức hệ về quản trị toàn cầu chỉ trong ý nghĩa của những nỗ lực
        tập thể mới để xác định, hiểu hoặc giải quyết các vấn đề trên toàn thế
        giới vượt quá khả năng giải quyết của từng quốc gia.
      - >-
        Gleichschaltung ::: Gleichschaltung trong bối cảnh chính trị - văn hóa
        là một chiến lược đạt được tầm quan trọng trung tâm, đặc biệt là trong
        thời kỳ phát xít. Từ những năm 1930, từ này đề cập đến quá trình thống
        nhất toàn bộ đời sống chính trị xã hội trong giai đoạn tiếp quản quyền
        lực ở Đức. Mục đích là để 1934 mâu thuẫn hiểu như đa nguyên trong chính
        phủ và xã hội nên được bãi bỏ và một chế độ độc tài để xây dựng chỉ với
        một trung tâm quyền lực.
  - source_sentence: giáng son sinh ngày mấy
    sentences:
      - >-
        Proxymetacaine ::: Proxymetacaine (INN) hoặc proparacaine (USAN) là một
        loại thuốc gây tê tại chỗ của nhóm aminoester.
      - >-
        Giáng Son ::: Tạ Thị Giáng Son (sinh ngày 1 tháng 2 năm 1975), thường
        được biết đến với nghệ danh Giáng Son hay Giáng Sol, là một nữ nhạc sĩ
        người Việt Nam. Cô là một trong số rất ít những nữ nhạc sĩ thành công
        vào đầu thập niên 2000 của Việt Nam và là cựu thủ lĩnh sáng lập nên nhóm
        nhạc 5 Dòng Kẻ. Cô là Ủy viên Ban chấp hành của Hội Nhạc sĩ Việt Nam,
        hội viên của Hội các nhà soạn nhạc thế giới thế kỷ 21 (Composers 21) và
        thành viên của nhóm tác giả M6. Hiện cô đang giữ chức Phó trưởng khoa
        Kịch hát dân tộc tại trường Đại học Sân khấu và Điện ảnh Hà Nội.
      - >-
        Sông Kiến Giang (Thái Bình) ::: Sông Kiến Giang là con sông đào gồm
        nhiều đoạn khác nhau ở khu vực nam Thái Bình .
  - source_sentence: tên thật của tỉnh drava banovina là gì
    sentences:
      - >-
        Drava Banovina ::: Drava Banovina hoặc Drava Banate (tiếng Slovenia:
        Dravska banovina) là một tỉnh (banovina) của Vương quốc Nam Tư từ năm
        1929 đến năm 1941. Tỉnh này bao gồm hầu hết ngày nay Slovenia và được
        đặt tên cho Drava sông. Thành phố thủ đô của Drava Banovina là
        Ljubljana.
      - >-
        Đo khoảng cách (vũ trụ) ::: Đo khoảng cách được sử dụng trong vũ trụ học
        vật lý để đưa ra một khái niệm tự nhiên về khoảng cách giữa hai vật thể
        hoặc sự kiện trong vũ trụ.  Chúng thường được sử dụng để buộc một số
        lượng có thể quan sát được (như độ chói của một quasar ở xa, dịch chuyển
        đỏ của một thiên hà xa xôi hoặc kích thước góc của các đỉnh âm trong phổ
        công suất CMB) với một đại lượng khác không thể quan sát trực tiếp,
        nhưng thuận tiện hơn cho việc tính toán (chẳng hạn như tọa độ đồng
        chuyển động của chuẩn tinh, thiên hà, v.v.).  Các biện pháp khoảng cách
        được thảo luận ở đây đều làm giảm khái niệm chung về khoảng cách Euclide
        ở độ dịch chuyển thấp.
      - >-
        Mùa bão Tây Bắc Thái Bình Dương 1986 ::: Mùa bão năm 1986 ở Tây Bắc Thái
        Bình Dương không có giới hạn chính thức; nó chạy quanh năm vào năm 1986,
        nhưng hầu hết các cơn bão nhiệt đới có xu hướng hình thành ở tây bắc
        Thái Bình Dương giữa tháng Năm và tháng Mười Hai.  Những ngày này thường
        phân định thời kỳ mỗi năm khi hầu hết các cơn bão nhiệt đới hình thành ở
        tây bắc Thái Bình Dương.  Bão nhiệt đới hình thành trong toàn bộ lưu vực
        phía tây Thái Bình Dương đã được Trung tâm Cảnh báo Bão chung đặt tên. 
        Áp thấp nhiệt đới xâm nhập hoặc hình thành trong khu vực trách nhiệm của
        Philippines được đặt tên bởi Cơ quan Dịch vụ Khí quyển, Địa vật lý và
        Thiên văn học Philippines hoặc PAGASA.  Điều này thường có thể dẫn đến
        cùng một cơn bão có hai tên.
pipeline_tag: sentence-similarity
library_name: sentence-transformers

SentenceTransformer based on bkai-foundation-models/vietnamese-bi-encoder

This is a sentence-transformers model finetuned from bkai-foundation-models/vietnamese-bi-encoder. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

Model Sources

Full Model Architecture 

SentenceTransformer(
  (0): Transformer({'max_seq_length': 256, 'do_lower_case': False}) with Transformer model: RobertaModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("tintnguyen/vietnamese-bi-encoder-ft")
# Run inference
sentences = [
    'tên thật của tỉnh drava banovina là gì',
    'Drava Banovina ::: Drava Banovina hoặc Drava Banate (tiếng Slovenia: Dravska banovina) là một tỉnh (banovina) của Vương quốc Nam Tư từ năm 1929 đến năm 1941. Tỉnh này bao gồm hầu hết ngày nay Slovenia và được đặt tên cho Drava sông. Thành phố thủ đô của Drava Banovina là Ljubljana.',
    'Mùa bão Tây Bắc Thái Bình Dương 1986 ::: Mùa bão năm 1986 ở Tây Bắc Thái Bình Dương không có giới hạn chính thức; nó chạy quanh năm vào năm 1986, nhưng hầu hết các cơn bão nhiệt đới có xu hướng hình thành ở tây bắc Thái Bình Dương giữa tháng Năm và tháng Mười Hai.  Những ngày này thường phân định thời kỳ mỗi năm khi hầu hết các cơn bão nhiệt đới hình thành ở tây bắc Thái Bình Dương.  Bão nhiệt đới hình thành trong toàn bộ lưu vực phía tây Thái Bình Dương đã được Trung tâm Cảnh báo Bão chung đặt tên.  Áp thấp nhiệt đới xâm nhập hoặc hình thành trong khu vực trách nhiệm của Philippines được đặt tên bởi Cơ quan Dịch vụ Khí quyển, Địa vật lý và Thiên văn học Philippines hoặc PAGASA.  Điều này thường có thể dẫn đến cùng một cơn bão có hai tên.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Information Retrieval 

{'aaa_cosine_accuracy@1': 0.6559, 'aaa_cosine_accuracy@3': 0.7988, 'aaa_cosine_accuracy@5': 0.8473, 'aaa_cosine_accuracy@10': 0.8915, 'aaa_cosine_precision@1': 0.6559, 'aaa_cosine_precision@3': 0.4683333333333332, 'aaa_cosine_precision@5': 0.39014000000000004, 'aaa_cosine_precision@10': 0.29126, 'aaa_cosine_recall@1': 0.14735861230027672, 'aaa_cosine_recall@3': 0.2534958821819028, 'aaa_cosine_recall@5': 0.3139822545058687, 'aaa_cosine_recall@10': 0.3978179383957577, 'aaa_cosine_ndcg@10': 0.4994592874617665, 'aaa_cosine_mrr@10': 0.7369935317460269, 'aaa_cosine_map@100': 0.3890462930756453}

Training Details

Training Dataset

Unnamed Dataset

  • Size: 1,583,079 training samples
  • Columns: anchor and positive
  • Approximate statistics based on the first 1000 samples:
    anchor positive
    type string string
    details
    • min: 5 tokens
    • mean: 11.73 tokens
    • max: 32 tokens
    • min: 24 tokens
    • mean: 121.83 tokens
    • max: 256 tokens
  • Samples:
    anchor positive
    đặng văn hoàn từng giữ chức vụ nào Đặng Văn Hoàn ::: Đặng Văn Hoàn là chính trị gia người Việt Nam. Ông từng giữ chức vụ Chủ tịch Ủy ban Mặt trận Tổ quốc Việt Nam tỉnh Quảng Bình.
    đặng văn hoàn là người nào Đặng Văn Hoàn ::: Đặng Văn Hoàn là chính trị gia người Việt Nam. Ông từng giữ chức vụ Chủ tịch Ủy ban Mặt trận Tổ quốc Việt Nam tỉnh Quảng Bình.
    đặng văn hoàn là ai Đặng Văn Hoàn ::: Đặng Văn Hoàn là chính trị gia người Việt Nam. Ông từng giữ chức vụ Chủ tịch Ủy ban Mặt trận Tổ quốc Việt Nam tỉnh Quảng Bình.
  • Loss: MultipleNegativesRankingLoss with these parameters:
    {
    "scale": 20.0,
    "similarity_fct": "cos_sim"
}

Training Hyperparameters

Non-Default Hyperparameters

  • per_device_train_batch_size: 64
  • per_device_eval_batch_size: 32
  • learning_rate: 2e-05
  • num_train_epochs: 2
  • warmup_ratio: 0.1
  • fp16: True
  • batch_sampler: no_duplicates

All Hyperparameters

Click to expand
  • overwrite_output_dir: False
  • do_predict: False
  • eval_strategy: no
  • prediction_loss_only: True
  • per_device_train_batch_size: 64
  • per_device_eval_batch_size: 32
  • per_gpu_train_batch_size: None
  • per_gpu_eval_batch_size: None
  • gradient_accumulation_steps: 1
  • eval_accumulation_steps: None
  • torch_empty_cache_steps: None
  • learning_rate: 2e-05
  • weight_decay: 0.0
  • adam_beta1: 0.9
  • adam_beta2: 0.999
  • adam_epsilon: 1e-08
  • max_grad_norm: 1.0
  • num_train_epochs: 2
  • max_steps: -1
  • lr_scheduler_type: linear
  • lr_scheduler_kwargs: {}
  • warmup_ratio: 0.1
  • warmup_steps: 0
  • log_level: passive
  • log_level_replica: warning
  • log_on_each_node: True
  • logging_nan_inf_filter: True
  • save_safetensors: True
  • save_on_each_node: False
  • save_only_model: False
  • restore_callback_states_from_checkpoint: False
  • no_cuda: False
  • use_cpu: False
  • use_mps_device: False
  • seed: 42
  • data_seed: None
  • jit_mode_eval: False
  • use_ipex: False
  • bf16: False
  • fp16: True
  • fp16_opt_level: O1
  • half_precision_backend: auto
  • bf16_full_eval: False
  • fp16_full_eval: False
  • tf32: None
  • local_rank: 0
  • ddp_backend: None
  • tpu_num_cores: None
  • tpu_metrics_debug: False
  • debug: []
  • dataloader_drop_last: False
  • dataloader_num_workers: 0
  • dataloader_prefetch_factor: None
  • past_index: -1
  • disable_tqdm: False
  • remove_unused_columns: True
  • label_names: None
  • load_best_model_at_end: False
  • ignore_data_skip: False
  • fsdp: []
  • fsdp_min_num_params: 0
  • fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
  • fsdp_transformer_layer_cls_to_wrap: None
  • accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
  • deepspeed: None
  • label_smoothing_factor: 0.0
  • optim: adamw_torch
  • optim_args: None
  • adafactor: False
  • group_by_length: False
  • length_column_name: length
  • ddp_find_unused_parameters: None
  • ddp_bucket_cap_mb: None
  • ddp_broadcast_buffers: False
  • dataloader_pin_memory: True
  • dataloader_persistent_workers: False
  • skip_memory_metrics: True
  • use_legacy_prediction_loop: False
  • push_to_hub: False
  • resume_from_checkpoint: None
  • hub_model_id: None
  • hub_strategy: every_save
  • hub_private_repo: False
  • hub_always_push: False
  • gradient_checkpointing: False
  • gradient_checkpointing_kwargs: None
  • include_inputs_for_metrics: False
  • include_for_metrics: []
  • eval_do_concat_batches: True
  • fp16_backend: auto
  • push_to_hub_model_id: None
  • push_to_hub_organization: None
  • mp_parameters:
  • auto_find_batch_size: False
  • full_determinism: False
  • torchdynamo: None
  • ray_scope: last
  • ddp_timeout: 1800
  • torch_compile: False
  • torch_compile_backend: None
  • torch_compile_mode: None
  • dispatch_batches: None
  • split_batches: None
  • include_tokens_per_second: False
  • include_num_input_tokens_seen: False
  • neftune_noise_alpha: None
  • optim_target_modules: None
  • batch_eval_metrics: False
  • eval_on_start: False
  • use_liger_kernel: False
  • eval_use_gather_object: False
  • average_tokens_across_devices: False
  • prompts: None
  • batch_sampler: no_duplicates
  • multi_dataset_batch_sampler: proportional

Training Logs

Epoch Step Training Loss
0.0202 500 0.3446
0.0404 1000 0.3366
0.0606 1500 0.4109
0.0809 2000 0.1684
0.1011 2500 0.2029
0.1213 3000 0.1815
0.1415 3500 0.1493
0.1617 4000 0.1606
0.1819 4500 0.1221
0.2021 5000 0.1488
0.2223 5500 0.1751
0.2426 6000 0.2354
0.2628 6500 0.1252
0.2830 7000 0.1352
0.3032 7500 0.1798
0.3234 8000 0.1166
0.3436 8500 0.1247
0.3638 9000 0.1664
0.3841 9500 0.1451
0.4043 10000 0.1391
0.4245 10500 0.3064
0.4447 11000 0.373
0.4649 11500 0.2125
0.4851 12000 0.1839
0.5053 12500 0.3237
0.5255 13000 0.4
0.5458 13500 0.2788
0.5660 14000 0.2936
0.5862 14500 0.1388
0.6064 15000 0.1581
0.6266 15500 0.1876
0.6468 16000 0.1569
0.6670 16500 0.1575
0.6873 17000 0.2999
0.7075 17500 0.2072
0.7277 18000 0.2041
0.7479 18500 0.2705
0.7681 19000 0.3727
0.7883 19500 0.2635
0.8085 20000 0.2007
0.8288 20500 0.1417
0.8490 21000 0.1682
0.8692 21500 0.1665
0.8894 22000 0.0305
0.9096 22500 0.0184
0.9298 23000 0.0159
0.9500 23500 0.0166
0.9702 24000 0.0149
0.9905 24500 0.0158
1.0107 25000 0.0725
1.0309 25500 0.1099
1.0511 26000 0.2281
1.0713 26500 0.1607
1.0915 27000 0.0796
1.1117 27500 0.0998
1.1320 28000 0.0603
1.1522 28500 0.0815
1.1724 29000 0.0754
1.1926 29500 0.0873
1.2128 30000 0.079
1.2330 30500 0.0748
1.2532 31000 0.1438
1.2734 31500 0.0575
1.2937 32000 0.1203
1.3139 32500 0.0585
1.3341 33000 0.0626
1.3543 33500 0.0641
1.3745 34000 0.0953
1.3947 34500 0.0625
1.4149 35000 0.1376
1.4352 35500 0.309
1.4554 36000 0.1851
1.4756 36500 0.1268
1.4958 37000 0.1762
1.5160 37500 0.3293
1.5362 38000 0.2692
1.5564 38500 0.2661
1.5766 39000 0.139
1.5969 39500 0.0764
1.6171 40000 0.1381
1.6373 40500 0.0821
1.6575 41000 0.0868
1.6777 41500 0.1709
1.6979 42000 0.1946
1.7181 42500 0.1325
1.7384 43000 0.1217
1.7586 43500 0.2898
1.7788 44000 0.2789
1.7990 44500 0.1743
1.8192 45000 0.1075
1.8394 45500 0.1036
1.8596 46000 0.1409
1.8799 46500 0.0504
1.9001 47000 0.0114
1.9203 47500 0.009
1.9405 48000 0.0083
1.9607 48500 0.0082
1.9809 49000 0.0079

Framework Versions

  • Python: 3.11.10
  • Sentence Transformers: 3.3.1
  • Transformers: 4.46.3
  • PyTorch: 2.5.1+cu124
  • Accelerate: 1.1.1
  • Datasets: 3.1.0
  • Tokenizers: 0.20.4

Citation

BibTeX

Sentence Transformers 

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

MultipleNegativesRankingLoss 

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply},
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}