---
base_model: vinai/phobert-base-v2
datasets: []
language: []
library_name: sentence-transformers
metrics:
- pearson_cosine
- spearman_cosine
- pearson_manhattan
- spearman_manhattan
- pearson_euclidean
- spearman_euclidean
- pearson_dot
- spearman_dot
- pearson_max
- spearman_max
pipeline_tag: sentence-similarity
tags:
- sentence-transformers
- sentence-similarity
- feature-extraction
- generated_from_trainer
- dataset_size:291719
- loss:TripletLoss
- loss:MultipleNegativesRankingLoss
- loss:CosineSimilarityLoss
widget:
- source_sentence: nếu thời_gian đến mà họ phải có một cuộc đấu_tranh johny shanon
có_thể là một người ngạc_nhiên
sentences:
- johny nghĩ anh ta là người giỏi nhất trong thị_trấn
- nếu một cuộc đấu_tranh đã xảy ra johny có_thể ngạc_nhiên đấy
- jay leno không phải là một diễn_viên hài
- source_sentence: các luật_sư tại california nông_thôn hợp_pháp báo_cáo rằng giữa
bốn_mươi và chín_mươi phần_trăm thẻ xanh của họ đang giữ khách_hàng rời khỏi đất_nước
này trong suốt thời_gian đại_diện
sentences:
- Đa_số những người cầm thẻ xanh vẫn còn ở trong đất_nước trong khi luật_sư của
họ đại_diện cho họ .
- Theo báo_cáo , một phần_trăm của khách_hàng đang giữ thẻ xanh rời khỏi đất_nước
trong khi luật_sư của họ vẫn còn đại_diện cho họ .
- Những bình_luận này được thảo_luận bởi ủy_ban và được công_bố vào ngày 12 tháng
1996 . Năm 1996 .
- source_sentence: một tình_huống giảm_giá loại 4 là nơi mà mailer làm giảm công_việc
yêu_cầu bằng cách thay_đổi hành_vi của mình trong những cách hiệu_quả mà không
phải là dự_đoán hoặc không có vẻ đặc_biệt liên_quan đến bản_chất của giảm_giá
sentences:
- Tôi đã tạo ra một ngành công_nghiệp bối_rối .
- Các bưu_phẩm không có khả_năng giảm các công_việc cần_thiết .
- Một giảm_giá 4 liên_quan đến việc mailer giảm các công_việc cần_thiết .
- source_sentence: khu vườn là một sự cống_hiến mạnh_mẽ cho hàng ngàn chiến_binh ireland
đã chết trong chiến_tranh thế_giới tôi trong khi phục_vụ trong quân_đội anh
sentences:
- Lính Ireland không bao_giờ được phục_vụ với người anh .
- Hàng ngàn lính ireland đã chết trong chiến_tranh thế_giới tôi .
- Chúng_ta đang ở trong một thị_trấn ở bắc potomac , gần potomac .
- source_sentence: Câu trả lời đơn giản là có, chồi hoa trên rau diếp là một dấu hiệu
chắc chắn của việc bắt vít.
sentences:
- Có vẻ như nó đã bắt đầu bắt đầu.
- Hai người đàn ông đang đợi một chuyến đi bên lề đường đất.
- Không có ngụ ý nào về Tom trong một câu như vậy.
model-index:
- name: SentenceTransformer based on vinai/phobert-base-v2
results:
- task:
type: semantic-similarity
name: Semantic Similarity
dataset:
name: sts evaluator
type: sts-evaluator
metrics:
- type: pearson_cosine
value: 0.5848185575836586
name: Pearson Cosine
- type: spearman_cosine
value: 0.6070556898352754
name: Spearman Cosine
- type: pearson_manhattan
value: 0.707840239937728
name: Pearson Manhattan
- type: spearman_manhattan
value: 0.7130754440352984
name: Spearman Manhattan
- type: pearson_euclidean
value: 0.4592545627339163
name: Pearson Euclidean
- type: spearman_euclidean
value: 0.5334661915153798
name: Spearman Euclidean
- type: pearson_dot
value: 0.322685593671414
name: Pearson Dot
- type: spearman_dot
value: 0.5248948294043073
name: Spearman Dot
- type: pearson_max
value: 0.707840239937728
name: Pearson Max
- type: spearman_max
value: 0.7130754440352984
name: Spearman Max
---
# SentenceTransformer based on vinai/phobert-base-v2
This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [vinai/phobert-base-v2](https://huggingface.co/vinai/phobert-base-v2). It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
## Model Details
### Model Description
- **Model Type:** Sentence Transformer
- **Base model:** [vinai/phobert-base-v2](https://huggingface.co/vinai/phobert-base-v2)
- **Maximum Sequence Length:** 512 tokens
- **Output Dimensionality:** 768 tokens
- **Similarity Function:** Cosine Similarity
### Model Sources
- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
### Full Model Architecture
```
SentenceTransformer(
(0): Transformer({'max_seq_length': 512, 'do_lower_case': False}) with Transformer model: RobertaModel
(1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': False, 'pooling_mode_mean_tokens': True, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
)
```
## Usage
### Direct Usage (Sentence Transformers)
First install the Sentence Transformers library:
```bash
pip install -U sentence-transformers
```
Then you can load this model and run inference.
```python
from sentence_transformers import SentenceTransformer
# Download from the 🤗 Hub
model = SentenceTransformer("huudan123/stag_123_cp8000")
# Run inference
sentences = [
'Câu trả lời đơn giản là có, chồi hoa trên rau diếp là một dấu hiệu chắc chắn của việc bắt vít.',
'Có vẻ như nó đã bắt đầu bắt đầu.',
'Hai người đàn ông đang đợi một chuyến đi bên lề đường đất.',
]
embeddings = model.encode(sentences)
print(embeddings.shape)
# [3, 768]
# Get the similarity scores for the embeddings
similarities = model.similarity(embeddings, embeddings)
print(similarities.shape)
# [3, 3]
```
## Evaluation
### Metrics
#### Semantic Similarity
* Dataset: `sts-evaluator`
* Evaluated with [EmbeddingSimilarityEvaluator](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.EmbeddingSimilarityEvaluator)
| Metric | Value |
|:-------------------|:-----------|
| pearson_cosine | 0.5848 |
| spearman_cosine | 0.6071 |
| pearson_manhattan | 0.7078 |
| spearman_manhattan | 0.7131 |
| pearson_euclidean | 0.4593 |
| spearman_euclidean | 0.5335 |
| pearson_dot | 0.3227 |
| spearman_dot | 0.5249 |
| pearson_max | 0.7078 |
| **spearman_max** | **0.7131** |
## Training Details
### Training Hyperparameters
#### Non-Default Hyperparameters
- `overwrite_output_dir`: True
- `eval_strategy`: steps
- `per_device_train_batch_size`: 128
- `per_device_eval_batch_size`: 128
- `gradient_accumulation_steps`: 2
- `learning_rate`: 1e-05
- `num_train_epochs`: 15
- `lr_scheduler_type`: cosine_with_restarts
- `warmup_ratio`: 0.1
- `fp16`: True
- `load_best_model_at_end`: True
- `gradient_checkpointing`: True
- `batch_sampler`: no_duplicates
#### All Hyperparameters
Click to expand
- `overwrite_output_dir`: True
- `do_predict`: False
- `eval_strategy`: steps
- `prediction_loss_only`: True
- `per_device_train_batch_size`: 128
- `per_device_eval_batch_size`: 128
- `per_gpu_train_batch_size`: None
- `per_gpu_eval_batch_size`: None
- `gradient_accumulation_steps`: 2
- `eval_accumulation_steps`: None
- `learning_rate`: 1e-05
- `weight_decay`: 0.0
- `adam_beta1`: 0.9
- `adam_beta2`: 0.999
- `adam_epsilon`: 1e-08
- `max_grad_norm`: 1.0
- `num_train_epochs`: 15
- `max_steps`: -1
- `lr_scheduler_type`: cosine_with_restarts
- `lr_scheduler_kwargs`: {}
- `warmup_ratio`: 0.1
- `warmup_steps`: 0
- `log_level`: passive
- `log_level_replica`: warning
- `log_on_each_node`: True
- `logging_nan_inf_filter`: True
- `save_safetensors`: True
- `save_on_each_node`: False
- `save_only_model`: False
- `restore_callback_states_from_checkpoint`: False
- `no_cuda`: False
- `use_cpu`: False
- `use_mps_device`: False
- `seed`: 42
- `data_seed`: None
- `jit_mode_eval`: False
- `use_ipex`: False
- `bf16`: False
- `fp16`: True
- `fp16_opt_level`: O1
- `half_precision_backend`: auto
- `bf16_full_eval`: False
- `fp16_full_eval`: False
- `tf32`: None
- `local_rank`: 0
- `ddp_backend`: None
- `tpu_num_cores`: None
- `tpu_metrics_debug`: False
- `debug`: []
- `dataloader_drop_last`: False
- `dataloader_num_workers`: 0
- `dataloader_prefetch_factor`: None
- `past_index`: -1
- `disable_tqdm`: False
- `remove_unused_columns`: True
- `label_names`: None
- `load_best_model_at_end`: True
- `ignore_data_skip`: False
- `fsdp`: []
- `fsdp_min_num_params`: 0
- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
- `fsdp_transformer_layer_cls_to_wrap`: None
- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
- `deepspeed`: None
- `label_smoothing_factor`: 0.0
- `optim`: adamw_torch
- `optim_args`: None
- `adafactor`: False
- `group_by_length`: False
- `length_column_name`: length
- `ddp_find_unused_parameters`: None
- `ddp_bucket_cap_mb`: None
- `ddp_broadcast_buffers`: False
- `dataloader_pin_memory`: True
- `dataloader_persistent_workers`: False
- `skip_memory_metrics`: True
- `use_legacy_prediction_loop`: False
- `push_to_hub`: False
- `resume_from_checkpoint`: None
- `hub_model_id`: None
- `hub_strategy`: every_save
- `hub_private_repo`: False
- `hub_always_push`: False
- `gradient_checkpointing`: True
- `gradient_checkpointing_kwargs`: None
- `include_inputs_for_metrics`: False
- `eval_do_concat_batches`: True
- `fp16_backend`: auto
- `push_to_hub_model_id`: None
- `push_to_hub_organization`: None
- `mp_parameters`:
- `auto_find_batch_size`: False
- `full_determinism`: False
- `torchdynamo`: None
- `ray_scope`: last
- `ddp_timeout`: 1800
- `torch_compile`: False
- `torch_compile_backend`: None
- `torch_compile_mode`: None
- `dispatch_batches`: None
- `split_batches`: None
- `include_tokens_per_second`: False
- `include_num_input_tokens_seen`: False
- `neftune_noise_alpha`: None
- `optim_target_modules`: None
- `batch_eval_metrics`: False
- `eval_on_start`: False
- `batch_sampler`: no_duplicates
- `multi_dataset_batch_sampler`: proportional