Add new SentenceTransformer model.

1_Pooling/config.json

@@ -0,0 +1,10 @@
+{
+  "word_embedding_dimension": 768,
+  "pooling_mode_cls_token": true,
+  "pooling_mode_mean_tokens": false,
+  "pooling_mode_max_tokens": false,
+  "pooling_mode_mean_sqrt_len_tokens": false,
+  "pooling_mode_weightedmean_tokens": false,
+  "pooling_mode_lasttoken": false,
+  "include_prompt": true
+}

README.md

@@ -0,0 +1,818 @@
+---
+base_model: BAAI/bge-base-en-v1.5
+language:
+- en
+library_name: sentence-transformers
+license: apache-2.0
+metrics:
+- cosine_accuracy@1
+- cosine_accuracy@3
+- cosine_accuracy@5
+- cosine_accuracy@10
+- cosine_precision@1
+- cosine_precision@3
+- cosine_precision@5
+- cosine_precision@10
+- cosine_recall@1
+- cosine_recall@3
+- cosine_recall@5
+- cosine_recall@10
+- cosine_ndcg@10
+- cosine_mrr@10
+- cosine_map@100
+pipeline_tag: sentence-similarity
+tags:
+- sentence-transformers
+- sentence-similarity
+- feature-extraction
+- generated_from_trainer
+- dataset_size:806
+- loss:MatryoshkaLoss
+- loss:MultipleNegativesRankingLoss
+widget:
+- source_sentence: La posologie habituelle est de 1 à 2 g de plante séchée par tasse
+    d’eau bouillante, en infusion, plusieurs fois par jour, ou l’équivalent en herbe
+    fraîche. Pour la prise en extrait liquide (sirop), la posologie est calculée en
+    fonction de la concentration en principes actifs. Une tisane de thym ou une goutte
+    d’huile essentielle diluée dans un bol d’eau chaude peuvent également être utilisées
+    en inhalation pour dégager les voies respiratoires. Des infusions plus concentrées
+    (5 g de plante sèche pour 100 ml d’eau) sont employées en gargarisme ou en bain
+    de bouche. Les mélanges feuilles de thym / racine de primevère sont à utiliser
+    selon les recommandations de la notice du produit.
+  sentences:
+  - La plante Bourdaine est-elle sans danger pendant la grossesse et l'allaitement?
+  - Quelles sont les formes et le dosage recommandés pour la plante Thym?
+  - Quel est l'avis d'un expert sur la plante Valériane?
+- source_sentence: L’allergie reconnue au fenouil ou à l’anéthol, ou à toute plante
+    apparentée comme le céleri, le cumin, la coriandre, l’anis vert ou l’aneth, en
+    contre-indique l’utilisation. Les personnes allergiques aux plantes de la famille
+    des astéracées (anciennement famille des composées) comme l’armoise, l’ambroisie
+    ou la camomille, doivent également utiliser le fenouil avec prudence. De plus,
+    les femmes qui souffrent ou ont souffert de cancer hormonodépendant (cancer du
+    sein, des ovaires ou de l'utérus) doivent s'abstenir de prendre un traitement
+    à base de fenouil, du fait des propriétés estrogéniques de cette plante.
+  sentences:
+  - Quelle est la description de la plante Saule blanc?
+  - Quelles sont les contre-indications pour la plante Petite centaurée?
+  - Quelles sont les contre-indications pour la plante Fenouil?
+- source_sentence: En tisane, la dose recommandée est de 3 g de graines écrasées en
+    infusion, dans 150 ml d’eau frémissante, trois fois par jour. Pour soulager des
+    troubles digestifs, il est possible de mâcher une petite cuillerée de graines
+    à la fin du repas. L’huile essentielle d’anis vert peut être utilisée en inhalation
+    lors de rhume ou de bronchite. Il suffit de diluer quelques gouttes d’huile essentielle
+    dans un bol d’eau bouillante et d’inhaler les vapeurs. Dans tous les cas, si les
+    symptômes persistent au-delà de 48 heures, une consultation médicale est nécessaire.
+  sentences:
+  - Quelles sont les formes et le dosage recommandés pour la plante Anis vert?
+  - Quelle est la description de la plante Fenouil?
+  - Comment utiliser la plante Valériane?
+- source_sentence: Les produits à base de lierre grimpant pourraient interagir avec
+    les médicaments de la toux (antitussifs).
+  sentences:
+  - Quelles sont les interactions possibles de la plante Lierre grimpant avec d’autres
+    substances?
+  - Quelles sont les contre-indications pour la plante Ginseng?
+  - Que pensent les autorités de santé de la plante Bouillon-blanc?
+- source_sentence: Les personnes qui prennent des anticoagulants (fluidifiants du
+    sang) devraient s’abstenir de consommer de grandes quantités de canneberge. De
+    plus, il est préférable de ne pas prendre de fortes doses de canneberge avec d’autres
+    plantes anticoagulantes (par exemple l’ail, le ginkgo, le ginseng, l’éleuthérocoque,
+    le saule blanc, le kava, la fève tonka, etc.), ni avec des produits contenant
+    des acides gras oméga-3. La canneberge pourrait également interagir avec les médicaments
+    prescrits pour lutter contre les brûlures d’estomac (antihistaminiques H2 et inhibiteurs
+    de la pompe à protons).
+  sentences:
+  - Quelle est l'efficacité de la plante Bouillon-blanc?
+  - Quelle est l'origine et quels sont les usages de la plante Petite centaurée?
+  - Quelles sont les interactions possibles de la plante Canneberge ou cranberry avec
+    d’autres substances?
+model-index:
+- name: BGE base Financial Matryoshka
+  results:
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 768
+      type: dim_768
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.32222222222222224
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.5
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.6333333333333333
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.8111111111111111
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.32222222222222224
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.16666666666666666
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.12666666666666665
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.0811111111111111
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.32222222222222224
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.5
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.6333333333333333
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.8111111111111111
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.5423585397564108
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.4590123456790124
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.4692052653121261
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 512
+      type: dim_512
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.28888888888888886
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.5
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.6333333333333333
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.8333333333333334
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.28888888888888886
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.16666666666666666
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.12666666666666665
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.08333333333333331
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.28888888888888886
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.5
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.6333333333333333
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.8333333333333334
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.5318522788264519
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.4391534391534392
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.448465509528844
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 256
+      type: dim_256
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.3
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.5
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.6222222222222222
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.8333333333333334
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.3
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.16666666666666666
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.12444444444444444
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.08333333333333331
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.3
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.5
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.6222222222222222
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.8333333333333334
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.5412674141664099
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.4508994708994711
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.4591974099649539
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 128
+      type: dim_128
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.2777777777777778
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.4888888888888889
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.6111111111111112
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.8111111111111111
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.2777777777777778
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.16296296296296295
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.1222222222222222
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.0811111111111111
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.2777777777777778
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.4888888888888889
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.6111111111111112
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.8111111111111111
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.5157896241121187
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.4248500881834215
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.4341048300656952
+      name: Cosine Map@100
+  - task:
+      type: information-retrieval
+      name: Information Retrieval
+    dataset:
+      name: dim 64
+      type: dim_64
+    metrics:
+    - type: cosine_accuracy@1
+      value: 0.2
+      name: Cosine Accuracy@1
+    - type: cosine_accuracy@3
+      value: 0.37777777777777777
+      name: Cosine Accuracy@3
+    - type: cosine_accuracy@5
+      value: 0.5444444444444444
+      name: Cosine Accuracy@5
+    - type: cosine_accuracy@10
+      value: 0.7444444444444445
+      name: Cosine Accuracy@10
+    - type: cosine_precision@1
+      value: 0.2
+      name: Cosine Precision@1
+    - type: cosine_precision@3
+      value: 0.1259259259259259
+      name: Cosine Precision@3
+    - type: cosine_precision@5
+      value: 0.10888888888888888
+      name: Cosine Precision@5
+    - type: cosine_precision@10
+      value: 0.07444444444444444
+      name: Cosine Precision@10
+    - type: cosine_recall@1
+      value: 0.2
+      name: Cosine Recall@1
+    - type: cosine_recall@3
+      value: 0.37777777777777777
+      name: Cosine Recall@3
+    - type: cosine_recall@5
+      value: 0.5444444444444444
+      name: Cosine Recall@5
+    - type: cosine_recall@10
+      value: 0.7444444444444445
+      name: Cosine Recall@10
+    - type: cosine_ndcg@10
+      value: 0.4349093331984765
+      name: Cosine Ndcg@10
+    - type: cosine_mrr@10
+      value: 0.3400573192239858
+      name: Cosine Mrr@10
+    - type: cosine_map@100
+      value: 0.35002712945861025
+      name: Cosine Map@100
+---
+
+# BGE base Financial Matryoshka
+
+This is a [sentence-transformers](https://www.SBERT.net) model finetuned from [BAAI/bge-base-en-v1.5](https://huggingface.co/BAAI/bge-base-en-v1.5) on the json dataset. It maps sentences & paragraphs to a 768-dimensional dense vector space and can be used for semantic textual similarity, semantic search, paraphrase mining, text classification, clustering, and more.
+
+## Model Details
+
+### Model Description
+- **Model Type:** Sentence Transformer
+- **Base model:** [BAAI/bge-base-en-v1.5](https://huggingface.co/BAAI/bge-base-en-v1.5) <!-- at revision a5beb1e3e68b9ab74eb54cfd186867f64f240e1a -->
+- **Maximum Sequence Length:** 512 tokens
+- **Output Dimensionality:** 768 tokens
+- **Similarity Function:** Cosine Similarity
+- **Training Dataset:**
+    - json
+- **Language:** en
+- **License:** apache-2.0
+
+### Model Sources
+
+- **Documentation:** [Sentence Transformers Documentation](https://sbert.net)
+- **Repository:** [Sentence Transformers on GitHub](https://github.com/UKPLab/sentence-transformers)
+- **Hugging Face:** [Sentence Transformers on Hugging Face](https://huggingface.co/models?library=sentence-transformers)
+
+### Full Model Architecture
+
+```
+SentenceTransformer(
+  (0): Transformer({'max_seq_length': 512, 'do_lower_case': True}) with Transformer model: BertModel 
+  (1): Pooling({'word_embedding_dimension': 768, 'pooling_mode_cls_token': True, 'pooling_mode_mean_tokens': False, 'pooling_mode_max_tokens': False, 'pooling_mode_mean_sqrt_len_tokens': False, 'pooling_mode_weightedmean_tokens': False, 'pooling_mode_lasttoken': False, 'include_prompt': True})
+  (2): Normalize()
+)
+```
+
+## Usage
+
+### Direct Usage (Sentence Transformers)
+
+First install the Sentence Transformers library:
+
+```bash
+pip install -U sentence-transformers
+```
+
+Then you can load this model and run inference.
+```python
+from sentence_transformers import SentenceTransformer
+
+# Download from the 🤗 Hub
+model = SentenceTransformer("tmmazen/bge-base-st-phyto")
+# Run inference
+sentences = [
+    'Les personnes qui prennent des anticoagulants (fluidifiants du sang) devraient s’abstenir de consommer de grandes quantités de canneberge. De plus, il est préférable de ne pas prendre de fortes doses de canneberge avec d’autres plantes anticoagulantes (par exemple l’ail, le ginkgo, le ginseng, l’éleuthérocoque, le saule blanc, le kava, la fève tonka, etc.), ni avec des produits contenant des acides gras oméga-3. La canneberge pourrait également interagir avec les médicaments prescrits pour lutter contre les brûlures d’estomac (antihistaminiques H2 et inhibiteurs de la pompe à protons).',
+    'Quelles sont les interactions possibles de la plante Canneberge ou cranberry avec d’autres substances?',
+    "Quelle est l'efficacité de la plante Bouillon-blanc?",
+]
+embeddings = model.encode(sentences)
+print(embeddings.shape)
+# [3, 768]
+
+# Get the similarity scores for the embeddings
+similarities = model.similarity(embeddings, embeddings)
+print(similarities.shape)
+# [3, 3]
+```
+
+<!--
+### Direct Usage (Transformers)
+
+<details><summary>Click to see the direct usage in Transformers</summary>
+
+</details>
+-->
+
+<!--
+### Downstream Usage (Sentence Transformers)
+
+You can finetune this model on your own dataset.
+
+<details><summary>Click to expand</summary>
+
+</details>
+-->
+
+<!--
+### Out-of-Scope Use
+
+*List how the model may foreseeably be misused and address what users ought not to do with the model.*
+-->
+
+## Evaluation
+
+### Metrics
+
+#### Information Retrieval
+* Dataset: `dim_768`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.3222     |
+| cosine_accuracy@3   | 0.5        |
+| cosine_accuracy@5   | 0.6333     |
+| cosine_accuracy@10  | 0.8111     |
+| cosine_precision@1  | 0.3222     |
+| cosine_precision@3  | 0.1667     |
+| cosine_precision@5  | 0.1267     |
+| cosine_precision@10 | 0.0811     |
+| cosine_recall@1     | 0.3222     |
+| cosine_recall@3     | 0.5        |
+| cosine_recall@5     | 0.6333     |
+| cosine_recall@10    | 0.8111     |
+| cosine_ndcg@10      | 0.5424     |
+| cosine_mrr@10       | 0.459      |
+| **cosine_map@100**  | **0.4692** |
+
+#### Information Retrieval
+* Dataset: `dim_512`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.2889     |
+| cosine_accuracy@3   | 0.5        |
+| cosine_accuracy@5   | 0.6333     |
+| cosine_accuracy@10  | 0.8333     |
+| cosine_precision@1  | 0.2889     |
+| cosine_precision@3  | 0.1667     |
+| cosine_precision@5  | 0.1267     |
+| cosine_precision@10 | 0.0833     |
+| cosine_recall@1     | 0.2889     |
+| cosine_recall@3     | 0.5        |
+| cosine_recall@5     | 0.6333     |
+| cosine_recall@10    | 0.8333     |
+| cosine_ndcg@10      | 0.5319     |
+| cosine_mrr@10       | 0.4392     |
+| **cosine_map@100**  | **0.4485** |
+
+#### Information Retrieval
+* Dataset: `dim_256`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.3        |
+| cosine_accuracy@3   | 0.5        |
+| cosine_accuracy@5   | 0.6222     |
+| cosine_accuracy@10  | 0.8333     |
+| cosine_precision@1  | 0.3        |
+| cosine_precision@3  | 0.1667     |
+| cosine_precision@5  | 0.1244     |
+| cosine_precision@10 | 0.0833     |
+| cosine_recall@1     | 0.3        |
+| cosine_recall@3     | 0.5        |
+| cosine_recall@5     | 0.6222     |
+| cosine_recall@10    | 0.8333     |
+| cosine_ndcg@10      | 0.5413     |
+| cosine_mrr@10       | 0.4509     |
+| **cosine_map@100**  | **0.4592** |
+
+#### Information Retrieval
+* Dataset: `dim_128`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
+
+| Metric              | Value      |
+|:--------------------|:-----------|
+| cosine_accuracy@1   | 0.2778     |
+| cosine_accuracy@3   | 0.4889     |
+| cosine_accuracy@5   | 0.6111     |
+| cosine_accuracy@10  | 0.8111     |
+| cosine_precision@1  | 0.2778     |
+| cosine_precision@3  | 0.163      |
+| cosine_precision@5  | 0.1222     |
+| cosine_precision@10 | 0.0811     |
+| cosine_recall@1     | 0.2778     |
+| cosine_recall@3     | 0.4889     |
+| cosine_recall@5     | 0.6111     |
+| cosine_recall@10    | 0.8111     |
+| cosine_ndcg@10      | 0.5158     |
+| cosine_mrr@10       | 0.4249     |
+| **cosine_map@100**  | **0.4341** |
+
+#### Information Retrieval
+* Dataset: `dim_64`
+* Evaluated with [<code>InformationRetrievalEvaluator</code>](https://sbert.net/docs/package_reference/sentence_transformer/evaluation.html#sentence_transformers.evaluation.InformationRetrievalEvaluator)
+
+| Metric              | Value    |
+|:--------------------|:---------|
+| cosine_accuracy@1   | 0.2      |
+| cosine_accuracy@3   | 0.3778   |
+| cosine_accuracy@5   | 0.5444   |
+| cosine_accuracy@10  | 0.7444   |
+| cosine_precision@1  | 0.2      |
+| cosine_precision@3  | 0.1259   |
+| cosine_precision@5  | 0.1089   |
+| cosine_precision@10 | 0.0744   |
+| cosine_recall@1     | 0.2      |
+| cosine_recall@3     | 0.3778   |
+| cosine_recall@5     | 0.5444   |
+| cosine_recall@10    | 0.7444   |
+| cosine_ndcg@10      | 0.4349   |
+| cosine_mrr@10       | 0.3401   |
+| **cosine_map@100**  | **0.35** |
+
+<!--
+## Bias, Risks and Limitations
+
+*What are the known or foreseeable issues stemming from this model? You could also flag here known failure cases or weaknesses of the model.*
+-->
+
+<!--
+### Recommendations
+
+*What are recommendations with respect to the foreseeable issues? For example, filtering explicit content.*
+-->
+
+## Training Details
+
+### Training Dataset
+
+#### json
+
+* Dataset: json
+* Size: 806 training samples
+* Columns: <code>positive</code> and <code>anchor</code>
+* Approximate statistics based on the first 806 samples:
+  |         | positive                                                                            | anchor                                                                             |
+  |:--------|:------------------------------------------------------------------------------------|:-----------------------------------------------------------------------------------|
+  | type    | string                                                                              | string                                                                             |
+  | details | <ul><li>min: 3 tokens</li><li>mean: 206.94 tokens</li><li>max: 512 tokens</li></ul> | <ul><li>min: 10 tokens</li><li>mean: 21.83 tokens</li><li>max: 41 tokens</li></ul> |
+* Samples:
+  | positive                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                             | anchor                                                                            |
+  |:---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------------|:----------------------------------------------------------------------------------|
+  | <code>Les études cliniques évaluant les propriétés thérapeutiques de l’ortie sont nombreuses et portent sur un grand nombre de patients. Les propriétés diurétiques des feuilles ont été étudiées au cours d’au moins cinq essais cliniques portant sur plus de 10 000 patients. Malheureusement, dans la plupart des cas, ces études ne faisaient pas appel à un placebo et leurs résultats, plutôt favorables à cet effet diurétique, sont entachés d’incertitude. De la même manière, la demi-douzaine d’essais cliniques évaluant les effets de la racine d’ortie sur l’adénome de la prostate, et portant sur plus de 16 000 hommes, est de si mauvaise qualité méthodologique qu’il est impossible d’être certain des effets observés. Pour résumer, on peut dire que si les études existantes pointent vers une efficacité de la racine d’ortie, elles n’en apportent pas la preuve scientifique. Une petite étude contre placebo suggère une certaine efficacité des feuilles d’ortie pour soulager les symptômes de la rhinite allergique. Enfin, aucune étude ne justifie son usage pour améliorer l’aspect des cheveux et des ongles, ou pour soulager les douleurs articulaires. ... l’EMA Si l’Agence européenne du médicament considère comme « traditionnellement établi » l’usage des feuilles d’ortie comme « traitement diurétique complémentaire des infections urinaires » et comme « traitement complémentaire des douleurs articulaires et de la séborrhée », elle se refuse à qualifier l’usage de la racine d’ortie. L'EMA considère que les études ne sont pas concluantes et que, l'HBP étant une maladie qui doit être traitée médicalement, la racine d'ortie ne peut pas être considérée comme un traitement traditionnel de cette pathologie. ... l’OMS L’Organisation mondiale de la santé reconnaît comme « cliniquement établi » l’usage de la racine d’ortie « dans le traitement des problèmes d’émission d’urine liés à l’HBP légère à modérée, lorsque l’absence de cancer de la prostate est avérée ». Elle considère comme « traditionnel » l’usage de la racine d’ortie comme « diurétique, et pour soulager les douleurs rhumatismales et la sciatique ». ... la Commission E La Commission E du ministère de la Santé allemand reconnaît l’usage des feuilles d’ortie comme « traitement complémentaire des douleurs articulaires et, en tant que diurétique, comme traitement complémentaire des infections et des calculs urinaires ». Elle admet l’usage de la racine d’ortie « dans le traitement symptomatique des troubles de la prostate mineurs ou modérés, en augmentant le flux urinaire et en diminuant la quantité d’urine restant dans la vessie ». ... l’ESCOP La Coopération scientifique européenne en phytothérapie reconnaît l’usage des feuilles d’ortie comme « traitement symptomatique de l’arthrose et des douleurs articulaires », et comme « diurétique dans les infections urinaires, malgré l’absence de preuves d’efficacité après administration par voie orale ». Elle admet l’usage de la racine d’ortie « dans le traitement symptomatique des problèmes d’émission d’urine liés aux troubles de la prostate, mineurs ou modérés ».</code> | <code>Quelle est l'efficacité de la plante Ortie dioïque?</code>                  |
+  | <code>D’après des essais in vitro (dans le tube à essai), l’extrait aqueux de mélisse pourrait inhiber la TSH, une hormone qui stimule la glande thyroïde. Cependant, aucun effet indésirable de type thyroïdien n’a été décrit. Néanmoins, les personnes qui souffrent de maladie de la thyroïde doivent utiliser la mélisse avec prudence.</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                  | <code>Quelles sont les contre-indications pour la plante Mélisse?</code>          |
+  | <code> L’absinthe (Artemisia absinthium) pousse dans les zones tempérées d’Europe, d’Amérique et d’Asie. Au moment de la floraison, on en récolte les feuilles et les sommités fleuries pour les faire sécher. Pendant longtemps, la poudre d’absinthe a été mélangée à l’encre des copistes pour protéger les manuscrits contre les attaques des insectes mangeurs de papier. L’absinthe a également servi à la fabrication d’une boisson alcoolisée très populaire au XIXe siècle, dont l’usage abusif provoquait des hallucinations, de la démence et des convulsions. Depuis 2005, les alcools à base d’absinthe sont de nouveau autorisés à la vente à condition de contenir moins de 35 mg de thuyone par litre. En phytothérapie, l’absinthe est utilisée pour ouvrir l’appétit et aider les digestions difficiles. En application locale, elle est proposée pour aider à la cicatrisation des plaies. Les autres usages traditionnels de l’absinthe<br><br><br>L’absinthe a également été utilisée comme sédatif, ainsi que pour faire baisser la fièvre, éliminer les vers intestinaux et lutter contre l’anémie.</code>                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                                    | <code>Quelle est l'origine et quels sont les usages de la plante Absinthe?</code> |
+* Loss: [<code>MatryoshkaLoss</code>](https://sbert.net/docs/package_reference/sentence_transformer/losses.html#matryoshkaloss) with these parameters:
+  ```json
+  {
+      "loss": "MultipleNegativesRankingLoss",
+      "matryoshka_dims": [
+          768,
+          512,
+          256,
+          128,
+          64
+      ],
+      "matryoshka_weights": [
+          1,
+          1,
+          1,
+          1,
+          1
+      ],
+      "n_dims_per_step": -1
+  }
+  ```
+
+### Training Hyperparameters
+#### Non-Default Hyperparameters
+
+- `eval_strategy`: epoch
+- `per_device_train_batch_size`: 16
+- `per_device_eval_batch_size`: 16
+- `gradient_accumulation_steps`: 16
+- `learning_rate`: 1e-05
+- `num_train_epochs`: 4
+- `lr_scheduler_type`: cosine
+- `warmup_ratio`: 0.1
+- `fp16`: True
+- `load_best_model_at_end`: True
+- `optim`: adamw_torch_fused
+- `batch_sampler`: no_duplicates
+
+#### All Hyperparameters
+<details><summary>Click to expand</summary>
+
+- `overwrite_output_dir`: False
+- `do_predict`: False
+- `eval_strategy`: epoch
+- `prediction_loss_only`: True
+- `per_device_train_batch_size`: 16
+- `per_device_eval_batch_size`: 16
+- `per_gpu_train_batch_size`: None
+- `per_gpu_eval_batch_size`: None
+- `gradient_accumulation_steps`: 16
+- `eval_accumulation_steps`: None
+- `learning_rate`: 1e-05
+- `weight_decay`: 0.0
+- `adam_beta1`: 0.9
+- `adam_beta2`: 0.999
+- `adam_epsilon`: 1e-08
+- `max_grad_norm`: 1.0
+- `num_train_epochs`: 4
+- `max_steps`: -1
+- `lr_scheduler_type`: cosine
+- `lr_scheduler_kwargs`: {}
+- `warmup_ratio`: 0.1
+- `warmup_steps`: 0
+- `log_level`: passive
+- `log_level_replica`: warning
+- `log_on_each_node`: True
+- `logging_nan_inf_filter`: True
+- `save_safetensors`: True
+- `save_on_each_node`: False
+- `save_only_model`: False
+- `restore_callback_states_from_checkpoint`: False
+- `no_cuda`: False
+- `use_cpu`: False
+- `use_mps_device`: False
+- `seed`: 42
+- `data_seed`: None
+- `jit_mode_eval`: False
+- `use_ipex`: False
+- `bf16`: False
+- `fp16`: True
+- `fp16_opt_level`: O1
+- `half_precision_backend`: auto
+- `bf16_full_eval`: False
+- `fp16_full_eval`: False
+- `tf32`: None
+- `local_rank`: 0
+- `ddp_backend`: None
+- `tpu_num_cores`: None
+- `tpu_metrics_debug`: False
+- `debug`: []
+- `dataloader_drop_last`: False
+- `dataloader_num_workers`: 0
+- `dataloader_prefetch_factor`: None
+- `past_index`: -1
+- `disable_tqdm`: False
+- `remove_unused_columns`: True
+- `label_names`: None
+- `load_best_model_at_end`: True
+- `ignore_data_skip`: False
+- `fsdp`: []
+- `fsdp_min_num_params`: 0
+- `fsdp_config`: {'min_num_params': 0, 'xla': False, 'xla_fsdp_v2': False, 'xla_fsdp_grad_ckpt': False}
+- `fsdp_transformer_layer_cls_to_wrap`: None
+- `accelerator_config`: {'split_batches': False, 'dispatch_batches': None, 'even_batches': True, 'use_seedable_sampler': True, 'non_blocking': False, 'gradient_accumulation_kwargs': None}
+- `deepspeed`: None
+- `label_smoothing_factor`: 0.0
+- `optim`: adamw_torch_fused
+- `optim_args`: None
+- `adafactor`: False
+- `group_by_length`: False
+- `length_column_name`: length
+- `ddp_find_unused_parameters`: None
+- `ddp_bucket_cap_mb`: None
+- `ddp_broadcast_buffers`: False
+- `dataloader_pin_memory`: True
+- `dataloader_persistent_workers`: False
+- `skip_memory_metrics`: True
+- `use_legacy_prediction_loop`: False
+- `push_to_hub`: False
+- `resume_from_checkpoint`: None
+- `hub_model_id`: None
+- `hub_strategy`: every_save
+- `hub_private_repo`: False
+- `hub_always_push`: False
+- `gradient_checkpointing`: False
+- `gradient_checkpointing_kwargs`: None
+- `include_inputs_for_metrics`: False
+- `eval_do_concat_batches`: True
+- `fp16_backend`: auto
+- `push_to_hub_model_id`: None
+- `push_to_hub_organization`: None
+- `mp_parameters`: 
+- `auto_find_batch_size`: False
+- `full_determinism`: False
+- `torchdynamo`: None
+- `ray_scope`: last
+- `ddp_timeout`: 1800
+- `torch_compile`: False
+- `torch_compile_backend`: None
+- `torch_compile_mode`: None
+- `dispatch_batches`: None
+- `split_batches`: None
+- `include_tokens_per_second`: False
+- `include_num_input_tokens_seen`: False
+- `neftune_noise_alpha`: None
+- `optim_target_modules`: None
+- `batch_eval_metrics`: False
+- `batch_sampler`: no_duplicates
+- `multi_dataset_batch_sampler`: proportional
+
+</details>
+
+### Training Logs
+| Epoch      | Step   | Training Loss | dim_128_cosine_map@100 | dim_256_cosine_map@100 | dim_512_cosine_map@100 | dim_64_cosine_map@100 | dim_768_cosine_map@100 |
+|:----------:|:------:|:-------------:|:----------------------:|:----------------------:|:----------------------:|:---------------------:|:----------------------:|
+| 0.9412     | 3      | -             | 0.2476                 | 0.2681                 | 0.2813                 | 0.2090                | 0.3067                 |
+| 1.8824     | 6      | -             | 0.3945                 | 0.4313                 | 0.4189                 | 0.3002                | 0.4526                 |
+| 2.8235     | 9      | -             | 0.4301                 | 0.4536                 | 0.4456                 | 0.3390                | 0.4674                 |
+| 3.1373     | 10     | 6.0243        | -                      | -                      | -                      | -                     | -                      |
+| **3.7647** | **12** | **-**         | **0.4341**             | **0.4592**             | **0.4485**             | **0.35**              | **0.4692**             |
+
+* The bold row denotes the saved checkpoint.
+
+### Framework Versions
+- Python: 3.10.12
+- Sentence Transformers: 3.1.0
+- Transformers: 4.41.2
+- PyTorch: 2.1.2+cu121
+- Accelerate: 0.33.0
+- Datasets: 2.19.1
+- Tokenizers: 0.19.1
+
+## Citation
+
+### BibTeX
+
+#### Sentence Transformers
+```bibtex
+@inproceedings{reimers-2019-sentence-bert,
+    title = "Sentence-BERT: Sentence Embeddings using Siamese BERT-Networks",
+    author = "Reimers, Nils and Gurevych, Iryna",
+    booktitle = "Proceedings of the 2019 Conference on Empirical Methods in Natural Language Processing",
+    month = "11",
+    year = "2019",
+    publisher = "Association for Computational Linguistics",
+    url = "https://arxiv.org/abs/1908.10084",
+}
+```
+
+#### MatryoshkaLoss
+```bibtex
+@misc{kusupati2024matryoshka,
+    title={Matryoshka Representation Learning},
+    author={Aditya Kusupati and Gantavya Bhatt and Aniket Rege and Matthew Wallingford and Aditya Sinha and Vivek Ramanujan and William Howard-Snyder and Kaifeng Chen and Sham Kakade and Prateek Jain and Ali Farhadi},
+    year={2024},
+    eprint={2205.13147},
+    archivePrefix={arXiv},
+    primaryClass={cs.LG}
+}
+```
+
+#### MultipleNegativesRankingLoss
+```bibtex
+@misc{henderson2017efficient,
+    title={Efficient Natural Language Response Suggestion for Smart Reply},
+    author={Matthew Henderson and Rami Al-Rfou and Brian Strope and Yun-hsuan Sung and Laszlo Lukacs and Ruiqi Guo and Sanjiv Kumar and Balint Miklos and Ray Kurzweil},
+    year={2017},
+    eprint={1705.00652},
+    archivePrefix={arXiv},
+    primaryClass={cs.CL}
+}
+```
+
+<!--
+## Glossary
+
+*Clearly define terms in order to be accessible across audiences.*
+-->
+
+<!--
+## Model Card Authors
+
+*Lists the people who create the model card, providing recognition and accountability for the detailed work that goes into its construction.*
+-->
+
+<!--
+## Model Card Contact
+
+*Provides a way for people who have updates to the Model Card, suggestions, or questions, to contact the Model Card authors.*
+-->

config.json

@@ -0,0 +1,32 @@
+{
+  "_name_or_path": "BAAI/bge-base-en-v1.5",
+  "architectures": [
+    "BertModel"
+  ],
+  "attention_probs_dropout_prob": 0.1,
+  "classifier_dropout": null,
+  "gradient_checkpointing": false,
+  "hidden_act": "gelu",
+  "hidden_dropout_prob": 0.1,
+  "hidden_size": 768,
+  "id2label": {
+    "0": "LABEL_0"
+  },
+  "initializer_range": 0.02,
+  "intermediate_size": 3072,
+  "label2id": {
+    "LABEL_0": 0
+  },
+  "layer_norm_eps": 1e-12,
+  "max_position_embeddings": 512,
+  "model_type": "bert",
+  "num_attention_heads": 12,
+  "num_hidden_layers": 12,
+  "pad_token_id": 0,
+  "position_embedding_type": "absolute",
+  "torch_dtype": "float32",
+  "transformers_version": "4.41.2",
+  "type_vocab_size": 2,
+  "use_cache": true,
+  "vocab_size": 30522
+}

config_sentence_transformers.json

@@ -0,0 +1,10 @@
+{
+  "__version__": {
+    "sentence_transformers": "3.1.0",
+    "transformers": "4.41.2",
+    "pytorch": "2.1.2+cu121"
+  },
+  "prompts": {},
+  "default_prompt_name": null,
+  "similarity_fn_name": null
+}

model.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:8c7c09ec98be1b97c02d181cb220ccb8f65633a1526b4c71050db36c248f494a
+size 437951328

modules.json

@@ -0,0 +1,20 @@
+[
+  {
+    "idx": 0,
+    "name": "0",
+    "path": "",
+    "type": "sentence_transformers.models.Transformer"
+  },
+  {
+    "idx": 1,
+    "name": "1",
+    "path": "1_Pooling",
+    "type": "sentence_transformers.models.Pooling"
+  },
+  {
+    "idx": 2,
+    "name": "2",
+    "path": "2_Normalize",
+    "type": "sentence_transformers.models.Normalize"
+  }
+]

sentence_bert_config.json

@@ -0,0 +1,4 @@
+{
+  "max_seq_length": 512,
+  "do_lower_case": true
+}

special_tokens_map.json

@@ -0,0 +1,37 @@
+{
+  "cls_token": {
+    "content": "[CLS]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "[MASK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "[PAD]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "[SEP]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "[UNK]",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,57 @@
+{
+  "added_tokens_decoder": {
+    "0": {
+      "content": "[PAD]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "100": {
+      "content": "[UNK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "101": {
+      "content": "[CLS]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "102": {
+      "content": "[SEP]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "103": {
+      "content": "[MASK]",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "clean_up_tokenization_spaces": true,
+  "cls_token": "[CLS]",
+  "do_basic_tokenize": true,
+  "do_lower_case": true,
+  "mask_token": "[MASK]",
+  "model_max_length": 512,
+  "never_split": null,
+  "pad_token": "[PAD]",
+  "sep_token": "[SEP]",
+  "strip_accents": null,
+  "tokenize_chinese_chars": true,
+  "tokenizer_class": "BertTokenizer",
+  "unk_token": "[UNK]"
+}