quarkss/indobert-base-p2-sts-arxiv-id

SentenceTransformer based on indobenchmark/indobert-base-p2

This is a sentence-transformers model finetuned from indobenchmark/indobert-base-p2 on the stsb and arxiv_paper_cs_id datasets. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.

Model Details

Model Description

• Model Type: Sentence Transformer
• Base model: indobenchmark/indobert-base-p2
• Maximum Sequence Length: 512 tokens
• Output Dimensionality: 768 tokens
• Similarity Function: Cosine Similarity
• Training Datasets:
  • stsb
  • arxiv_paper_cs
• Language: id

Model Sources

• Documentation: Sentence Transformers Documentation
• Repository: Sentence Transformers on GitHub
• Hugging Face: Sentence Transformers on Hugging Face

Full Model Architecture

SentenceTransformer(
  (0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: BertModel 
  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)

Usage

Direct Usage (Sentence Transformers)

First install the Sentence Transformers library:

pip install -U sentence-transformers

Then you can load this model and run inference.

from sentence_transformers import SentenceTransformer

# Download from the 🤗 Hub
model = SentenceTransformer("quarkss/indobert-base-p2-sts-arxiv-id")
# Run inference
sentences = [
    'TIDAK ada alasan yang tepat untuk kegagalan penerapan video play dalam sepak bola profesional.',
    'Ada masalah lain dengan menerapkan tayangan ulang instan selain dari sekadar mengganggu alur permainan.',
    'Seseorang sedang mengebor sebuah lubang pada sepotong kayu.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]

# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]

Evaluation

Metrics

Semantic Similarity

• Dataset: sts-dev
• Evaluated with EmbeddingSimilarityEvaluator

Metric	Value
pearson_cosine	0.8244
spearman_cosine	0.8422
pearson_manhattan	0.8401
spearman_manhattan	0.8413
pearson_euclidean	0.84
spearman_euclidean	0.8413
pearson_dot	0.7155
spearman_dot	0.7106
pearson_max	0.8401
spearman_max	0.8422

Training Details

Training Datasets

stsb

• Dataset: stsb at fc55c9d
• Size: 5,749 training samples
• Columns: sentence1, sentence2, and score
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	score
  type	string	string	float
  details	min: 6 tokens mean: 9.65 tokens max: 25 tokens	min: 6 tokens mean: 9.59 tokens max: 24 tokens	min: 0.0 mean: 0.54 max: 1.0

• Samples:

  sentence1	sentence2	score
  Sebuah pesawat sedang lepas landas.	Sebuah pesawat terbang sedang lepas landas.	1.0
  Seorang pria sedang memainkan seruling besar.	Seorang pria sedang memainkan seruling.	0.76
  Seorang pria sedang mengoleskan keju parut di atas pizza.	Seorang pria sedang mengoleskan keju parut di atas pizza yang belum matang.	0.76

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

arxiv_paper_cs

• Dataset: arxiv_paper_cs
• Size: 76,504 training samples
• Columns: title and abstract
• Approximate statistics based on the first 1000 samples:

  	title	abstract
  type	string	string
  details	min: 4 tokens mean: 14.39 tokens max: 54 tokens	min: 40 tokens mean: 195.76 tokens max: 512 tokens

• Samples:

  title	abstract
  menanyakan angka-angka geometris menggunakan bahasa terkontrol, grafik ontologis, dan kisi-kisi ketergantungan	Sistem geometri dinamis (dynamic geometry systems/DGS) telah menjadi alat bantu dasar dalam banyak bidang geometri, misalnya dalam bidang pendidikan. pembuktian teorema otomatis geometri (geometry automated theorem provers/GATP) merupakan bidang penelitian yang aktif dan dianggap sebagai alat bantu dasar dalam perangkat lunak pendidikan yang disempurnakan di masa depan dan juga pada asisten matematika otomatis generasi berikutnya. repositori web yang baru-baru ini muncul untuk pengetahuan geometri, seperti tgtp dan intergeo, merupakan upaya untuk membuat kumpulan data yang sudah sangat banyak tentang pengetahuan geometri menjadi tersedia secara luas. Mengingat banyaknya informasi geometris yang telah tersedia, kita menghadapi kebutuhan akan mekanisme kueri untuk deskripsi konstruksi geometris. Dalam makalah ini kami membahas dua pendekatan untuk mendeskripsikan bangun geometris (deklaratif dan prosedural), dan menyajikan algoritme untuk melakukan kueri terhadap bangun geometris dalam korpus yang dideskripsikan secara deklaratif dan prosedural, dengan menggunakan bahasa alami terkontrol dgs atau bahasa alami terkontrol yang didedikasikan untuk kueri.
  identifikasi otomatis arteri dan vena retina pada citra fundus menggunakan pola biner lokal	Klasifikasi arteri dan vena (av) pada citra retina merupakan kunci dari berbagai tugas yang diperlukan, seperti pengukuran otomatis rasio diameter arteriolar dan vena (avr). Makalah ini mengulas secara komprehensif tentang metode-metode klasifikasi av yang telah ada. Untuk memperbaiki metode-metode sebelumnya, diusulkan metode baru yang berbasis lokal bi-pola (lbp). Selain kesederhanaannya, lbp juga kuat terhadap citra fundus dengan kontras rendah dan kualitas rendah; serta membantu proses dengan menyertakan tambahan informasi tekstur dan bentuk av. Hasil eksperimen membandingkan kinerja metode baru dengan metode yang sudah ada sebelumnya; serta metode dengan skema ekstraksi fitur dan klasifikasi yang berbeda.
  analisis komprehensif representasi berbasis pembelajaran mendalam untuk pengenalan wajah	Pendekatan berbasis deep learning telah mendominasi bidang pengenalan wajah karena peningkatan kinerja yang signifikan yang mereka berikan pada dataset liar yang menantang. pendekatan ini telah diuji secara ekstensif pada dataset yang tidak dibatasi, pada wajah berlabel di alam liar dan wajah-wajah di youtube, untuk beberapa nama. namun, kemampuan mereka untuk menangani variasi penampilan individu yang disebabkan oleh faktor-faktor seperti pose kepala, iluminasi, oklusi, dan ketidaksejajaran belum dinilai secara menyeluruh hingga saat ini. Dalam makalah ini, kami menyajikan studi komprehensif untuk mengevaluasi kinerja representasi wajah berbasis deep learning dalam beberapa kondisi termasuk berbagai sudut pose kepala, oklusi wajah bagian atas dan bawah, perubahan iluminasi dengan kekuatan yang berbeda, dan ketidaksejajaran karena lokalisasi fitur wajah yang salah. Dua model deep learning yang sukses dan tersedia untuk umum, yaitu vgg-face dan lightened cnn telah digunakan untuk mengekstrak representasi wajah. hasil yang diperoleh menunjukkan bahwa meskipun deep learning memberikan representasi yang kuat untuk pengenalan wajah, namun masih dapat memperoleh manfaat dari prapemrosesan, misalnya, untuk normalisasi pose dan pencahayaan untuk mencapai kinerja yang lebih baik dalam berbagai kondisi. Terutama, jika variasi-variasi ini tidak dimasukkan ke dalam dataset yang digunakan untuk melatih model deep learning, peran preprocessing menjadi lebih penting. Hasil eksperimen juga menunjukkan bahwa representasi berbasis deep learning kuat terhadap ketidaksejajaran dan dapat mentoleransi kesalahan lokalisasi fitur wajah hingga 10% dari jarak antar mata.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Evaluation Datasets

stsb

• Dataset: stsb at fc55c9d
• Size: 1,500 evaluation samples
• Columns: sentence1, sentence2, and score
• Approximate statistics based on the first 1000 samples:

  	sentence1	sentence2	score
  type	string	string	float
  details	min: 5 tokens mean: 14.38 tokens max: 45 tokens	min: 6 tokens mean: 14.39 tokens max: 43 tokens	min: 0.0 mean: 0.47 max: 1.0

• Samples:

  sentence1	sentence2	score
  Seorang pria dengan topi keras sedang menari.	Seorang pria yang mengenakan topi keras sedang menari.	1.0
  Seorang anak kecil sedang menunggang kuda.	Seorang anak sedang menunggang kuda.	0.95
  Seorang pria sedang memberi makan seekor tikus kepada seekor ular.	Pria itu sedang memberi makan seekor tikus kepada ular.	1.0

• Loss: CoSENTLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "pairwise_cos_sim"
  }
  

arxiv_paper_cs

• Dataset: arxiv_paper_cs
• Size: 8,501 evaluation samples
• Columns: title and abstract
• Approximate statistics based on the first 1000 samples:

  	title	abstract
  type	string	string
  details	min: 4 tokens mean: 14.63 tokens max: 47 tokens	min: 51 tokens mean: 196.85 tokens max: 512 tokens

• Samples:

  title	abstract
  penemuan dan pelokalan objek tanpa pengawasan di alam liar: pencocokan berbasis bagian dengan proposal wilayah dari bawah ke atas	Makalah ini membahas penemuan dan pelokalan tanpa pengawasan dari objek dominan dari koleksi gambar yang berisik dengan beberapa kelas objek. Pengaturan masalah ini sepenuhnya tanpa pengawasan, bahkan tanpa anotasi pada tingkat gambar atau asumsi kelas dominan tunggal. Ini jauh lebih umum daripada tugas kolokalisasi, kosegmentasi, atau pelokalan yang diawasi dengan lemah. Kami menangani masalah penemuan dan pelokalan dengan menggunakan pendekatan pencocokan wilayah berbasis bagian: kami menggunakan proposal wilayah yang sudah jadi untuk membentuk sekumpulan kotak pembatas kandidat untuk objek dan bagian objek. Wilayah-wilayah ini dicocokkan secara efisien di seluruh gambar menggunakan transformasi hough probabilistik yang mengevaluasi kepercayaan untuk setiap korespondensi kandidat dengan mempertimbangkan konsistensi tampilan dan spasial. Objek dominan ditemukan dan dilokalisasi dengan membandingkan skor wilayah kandidat dan memilih wilayah yang lebih menonjol daripada wilayah lain yang mengandungnya. Evaluasi ekstensif terhadap tolok ukur standar menunjukkan bahwa pendekatan yang diusulkan secara signifikan mengungguli kondisi saat ini dalam kolokisasi, dan mencapai penemuan objek yang kuat dalam set data kelas campuran yang menantang.
  pengertian aljabar tentang penghentian	Lima gagasan aljabar tentang terminasi diformalkan, dianalisis dan dibandingkan: wellfoundedness atau noetherity, rumus l"ob, ketiadaan iterasi tak hingga, ketiadaan divergensi, dan normalisasi. penelitian ini didasarkan pada semiring modal, yaitu semiring idempoten yang bersifat aditif dengan operator modal maju dan mundur. Untuk memodelkan perilaku tak hingga, semiring idempoten diperluas ke semiring divergensi, aljabar kleene divergensi dan aljabar omega. Gagasan dan teknik yang dihasilkan digunakan dalam pembuktian kalkulasi teorema klasik dari teori penulisan ulang. aplikasi ini menunjukkan bahwa semiring modal merupakan alat yang ampuh untuk bernalar secara aljabar tentang dinamika terbatas dan tak hingga dari program dan sistem transisi.
  menyetel program logika fuzzy dengan eksekusi simbolik	Pemrograman logika fuzzy merupakan paradigma deklaratif yang sedang berkembang yang bertujuan untuk mengintegrasikan logika fuzzy ke dalam pemrograman logika. Salah satu tugas tersulit dalam menentukan program logika fuzzy adalah menentukan bobot yang tepat untuk setiap aturan, serta penghubung dan operator fuzzy yang paling sesuai. Dalam makalah ini, kami memperkenalkan perluasan simbolis dari program logika fuzzy di mana beberapa parameter dapat dibiarkan tidak diketahui, sehingga pengguna dapat dengan mudah melihat dampak dari nilai-nilai yang mungkin. Selanjutnya, dengan diberikan sejumlah kasus uji, nilai yang paling tepat untuk parameter-parameter ini dapat dihitung secara otomatis.

• Loss: MultipleNegativesRankingLoss with these parameters:

  {
      "scale": 20.0,
      "similarity_fct": "cos_sim"
  }
  

Training Hyperparameters

Non-Default Hyperparameters

• eval_strategy: steps
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• learning_rate: 2e-05
• weight_decay: 0.01
• warmup_ratio: 0.1
• fp16: True

All Hyperparameters

Click to expand

• overwrite_output_dir: False
• do_predict: False
• eval_strategy: steps
• prediction_loss_only: True
• per_device_train_batch_size: 16
• per_device_eval_batch_size: 16
• per_gpu_train_batch_size: None
• per_gpu_eval_batch_size: None
• gradient_accumulation_steps: 1
• eval_accumulation_steps: None
• learning_rate: 2e-05
• weight_decay: 0.01
• adam_beta1: 0.9
• adam_beta2: 0.999
• adam_epsilon: 1e-08
• max_grad_norm: 1.0
• num_train_epochs: 3
• max_steps: -1
• lr_scheduler_type: linear
• lr_scheduler_kwargs: {}
• warmup_ratio: 0.1
• warmup_steps: 0
• log_level: passive
• log_level_replica: warning
• log_on_each_node: True
• logging_nan_inf_filter: True
• save_safetensors: True
• save_on_each_node: False
• save_only_model: False
• restore_callback_states_from_checkpoint: False
• no_cuda: False
• use_cpu: False
• use_mps_device: False
• seed: 42
• data_seed: None
• jit_mode_eval: False
• use_ipex: False
• bf16: False
• fp16: True
• fp16_opt_level: O1
• half_precision_backend: auto
• bf16_full_eval: False
• fp16_full_eval: False
• tf32: None
• local_rank: 0
• ddp_backend: None
• tpu_num_cores: None
• tpu_metrics_debug: False
• debug: []
• dataloader_drop_last: False
• dataloader_num_workers: 0
• dataloader_prefetch_factor: None
• past_index: -1
• disable_tqdm: False
• remove_unused_columns: True
• label_names: None
• load_best_model_at_end: False
• ignore_data_skip: False
• fsdp: []
• fsdp_min_num_params: 0
• fsdp_config: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
• fsdp_transformer_layer_cls_to_wrap: None
• accelerator_config: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
• deepspeed: None
• label_smoothing_factor: 0.0
• optim: adamw_torch
• optim_args: None
• adafactor: False
• group_by_length: False
• length_column_name: length
• ddp_find_unused_parameters: None
• ddp_bucket_cap_mb: None
• ddp_broadcast_buffers: False
• dataloader_pin_memory: True
• dataloader_persistent_workers: False
• skip_memory_metrics: True
• use_legacy_prediction_loop: False
• push_to_hub: False
• resume_from_checkpoint: None
• hub_model_id: None
• hub_strategy: every_save
• hub_private_repo: False
• hub_always_push: False
• gradient_checkpointing: False
• gradient_checkpointing_kwargs: None
• include_inputs_for_metrics: False
• eval_do_concat_batches: True
• fp16_backend: auto
• push_to_hub_model_id: None
• push_to_hub_organization: None
• mp_parameters:
• auto_find_batch_size: False
• full_determinism: False
• torchdynamo: None
• ray_scope: last
• ddp_timeout: 1800
• torch_compile: False
• torch_compile_backend: None
• torch_compile_mode: None
• dispatch_batches: None
• split_batches: None
• include_tokens_per_second: False
• include_num_input_tokens_seen: False
• neftune_noise_alpha: None
• optim_target_modules: None
• batch_eval_metrics: False
• eval_on_start: False
• batch_sampler: batch_sampler
• multi_dataset_batch_sampler: proportional

Training Logs

Click to expand

Epoch	Step	Training Loss	arxiv paper cs loss	stsb loss	sts-dev_spearman_cosine
0.0194	100	1.3793	-	-	-
0.0389	200	1.1011	-	-	-
0.0583	300	0.7999	-	-	-
0.0778	400	0.7443	-	-	-
0.0972	500	0.7195	0.3034	9.4158	0.7621
0.1167	600	0.6015	-	-	-
0.1361	700	0.6134	-	-	-
0.1556	800	0.6417	-	-	-
0.1750	900	0.5846	-	-	-
0.1945	1000	0.8131	0.2630	8.8162	0.7515
0.2139	1100	0.6905	-	-	-
0.2334	1200	0.4964	-	-	-
0.2528	1300	0.525	-	-	-
0.2723	1400	0.6376	-	-	-
0.2917	1500	0.6487	0.2450	7.6820	0.7145
0.3112	1600	0.4807	-	-	-
0.3306	1700	0.6752	-	-	-
0.3501	1800	0.3399	-	-	-
0.3695	1900	0.5505	-	-	-
0.3890	2000	0.3662	0.2180	8.5049	0.6860
0.4084	2100	0.471	-	-	-
0.4278	2200	0.465	-	-	-
0.4473	2300	0.43	-	-	-
0.4667	2400	0.3793	-	-	-
0.4862	2500	0.6452	0.2055	7.7386	0.7735
0.5056	2600	0.4262	-	-	-
0.5251	2700	0.3848	-	-	-
0.5445	2800	0.4272	-	-	-
0.5640	2900	0.3874	-	-	-
0.5834	3000	0.42	0.1885	7.3993	0.7694
0.6029	3100	0.3812	-	-	-
0.6223	3200	0.4634	-	-	-
0.6418	3300	0.424	-	-	-
0.6612	3400	0.6116	-	-	-
0.6807	3500	0.3541	0.1821	7.1737	0.7756
0.7001	3600	0.494	-	-	-
0.7196	3700	0.3463	-	-	-
0.7390	3800	0.4878	-	-	-
0.7585	3900	0.7074	-	-	-
0.7779	4000	0.3102	0.1599	7.0651	0.7908
0.7974	4100	0.5743	-	-	-
0.8168	4200	0.439	-	-	-
0.8363	4300	0.4874	-	-	-
0.8557	4400	0.3162	-	-	-
0.8751	4500	0.5188	0.1506	6.1683	0.8040
0.8946	4600	0.2958	-	-	-
0.9140	4700	0.4295	-	-	-
0.9335	4800	0.5376	-	-	-
0.9529	4900	0.2758	-	-	-
0.9724	5000	0.3258	0.1392	6.7478	0.7936
0.9918	5100	0.3645	-	-	-
1.0113	5200	0.4156	-	-	-
1.0307	5300	0.361	-	-	-
1.0502	5400	0.4824	-	-	-
1.0696	5500	0.4721	0.1357	6.2677	0.8159
1.0891	5600	0.4966	-	-	-
1.1085	5700	0.3686	-	-	-
1.1280	5800	0.3774	-	-	-
1.1474	5900	0.4448	-	-	-
1.1669	6000	0.3911	0.1232	6.5678	0.8198
1.1863	6100	0.572	-	-	-
1.2058	6200	0.3344	-	-	-
1.2252	6300	0.5053	-	-	-
1.2447	6400	0.2711	-	-	-
1.2641	6500	0.437	0.1300	6.5860	0.8155
1.2835	6600	0.2762	-	-	-
1.3030	6700	0.5095	-	-	-
1.3224	6800	0.3834	-	-	-
1.3419	6900	0.3036	-	-	-
1.3613	7000	0.4065	0.1287	6.3673	0.8028
1.3808	7100	0.1095	-	-	-
1.4002	7200	0.3184	-	-	-
1.4197	7300	0.1512	-	-	-
1.4391	7400	0.333	-	-	-
1.4586	7500	0.1431	0.1196	7.1903	0.8085
1.4780	7600	0.5441	-	-	-
1.4975	7700	0.2221	-	-	-
1.5169	7800	0.3238	-	-	-
1.5364	7900	0.1424	-	-	-
1.5558	8000	0.275	0.1190	6.7080	0.8182
1.5753	8100	0.139	-	-	-
1.5947	8200	0.3027	-	-	-
1.6142	8300	0.3137	-	-	-
1.6336	8400	0.2764	-	-	-
1.6531	8500	0.3538	0.1174	6.5456	0.8191
1.6725	8600	0.3095	-	-	-
1.6919	8700	0.2211	-	-	-
1.7114	8800	0.3583	-	-	-
1.7308	8900	0.3033	-	-	-
1.7503	9000	0.3815	0.1126	7.1239	0.8204
1.7697	9100	0.4188	-	-	-
1.7892	9200	0.3312	-	-	-
1.8086	9300	0.3496	-	-	-
1.8281	9400	0.2666	-	-	-
1.8475	9500	0.2697	0.1044	6.6489	0.8260
1.8670	9600	0.3439	-	-	-
1.8864	9700	0.2813	-	-	-
1.9059	9800	0.2207	-	-	-
1.9253	9900	0.2382	-	-	-
1.9448	10000	0.4296	0.1039	6.3442	0.8375
1.9642	10100	0.219	-	-	-
1.9837	10200	0.209	-	-	-
2.0031	10300	0.305	-	-	-
2.0226	10400	0.2147	-	-	-
2.0420	10500	0.3895	0.1028	6.4420	0.8364
2.0615	10600	0.416	-	-	-
2.0809	10700	0.2972	-	-	-
2.1004	10800	0.3619	-	-	-
2.1198	10900	0.2692	-	-	-
2.1392	11000	0.3194	0.0995	7.2408	0.8340
2.1587	11100	0.3272	-	-	-
2.1781	11200	0.3632	-	-	-
2.1976	11300	0.3714	-	-	-
2.2170	11400	0.4847	-	-	-
2.2365	11500	0.1553	0.1032	7.0639	0.8312
2.2559	11600	0.2912	-	-	-
2.2754	11700	0.3506	-	-	-
2.2948	11800	0.4386	-	-	-
2.3143	11900	0.1853	-	-	-
2.3337	12000	0.4417	0.1021	6.9850	0.8401
2.3532	12100	0.2067	-	-	-
2.3726	12200	0.1964	-	-	-
2.3921	12300	0.2289	-	-	-
2.4115	12400	0.1728	-	-	-
2.4310	12500	0.242	0.0986	7.2576	0.8411
2.4504	12600	0.1623	-	-	-
2.4699	12700	0.3243	-	-	-
2.4893	12800	0.2584	-	-	-
2.5088	12900	0.2971	-	-	-
2.5282	13000	0.0833	0.0993	7.3682	0.8370
2.5476	13100	0.2298	-	-	-
2.5671	13200	0.1919	-	-	-
2.5865	13300	0.2254	-	-	-
2.6060	13400	0.1474	-	-	-
2.6254	13500	0.2348	0.0983	7.2719	0.8368
2.6449	13600	0.264	-	-	-
2.6643	13700	0.3416	-	-	-
2.6838	13800	0.2327	-	-	-
2.7032	13900	0.3539	-	-	-
2.7227	14000	0.122	0.0955	7.1619	0.8410
2.7421	14100	0.3808	-	-	-
2.7616	14200	0.4472	-	-	-
2.7810	14300	0.1957	-	-	-
2.8005	14400	0.3181	-	-	-
2.8199	14500	0.2838	0.0932	7.2225	0.8424
2.8394	14600	0.2699	-	-	-
2.8588	14700	0.1874	-	-	-
2.8783	14800	0.3185	-	-	-
2.8977	14900	0.1529	-	-	-
2.9172	15000	0.2448	0.0925	7.3046	0.8422
2.9366	15100	0.3415	-	-	-
2.9560	15200	0.222	-	-	-
2.9755	15300	0.1858	-	-	-
2.9949	15400	0.1906	-	-	-

Framework Versions

• Python: 3.10.13
• Sentence Transformers: 3.0.1
• Transformers: 4.42.3
• PyTorch: 2.1.2
• Accelerate: 0.32.1
• Datasets: 2.20.0
• Tokenizers: 0.19.1

Citation

BibTeX

Sentence Transformers

@inproceedings{reimers-2019-sentence-bert,
    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
    author = "Reimers, Nils and Gurevych, Iryna",
    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
    month = "11",
    year = "2019",
    publisher = "Association for Computational Linguistics",
    url = "https://arxiv.org/abs/1908.10084",
}

CoSENTLoss

@online{kexuefm-8847,
    title={CoSENT: A more efficient sentence vector scheme than Sentence-BERT},
    author={Su Jianlin},
    year={2022},
    month={Jan},
    url={https://kexue.fm/archives/8847},
}

MultipleNegativesRankingLoss

@misc{henderson2017efficient,
    title={Efficient Natural Language Response Suggestion for Smart Reply}, 
    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
    year={2017},
    eprint={1705.00652},
    archivePrefix={arXiv},
    primaryClass={cs.CL}
}