Mistral-7B-v0.1_german-news-titles-v1

This model was finetuned using the german-news-titles dataset.

• License: Apache-2.0

Usage

Use the following prompt instruction that was used during the training process:

Erstelle einen 14 Wörter langen Titelvorschlag für folgenden Artikel:

Example

Input:

"Die Vorbereitungen für das Frequency Festival, das von 14. bis 17. August in St. Pölten über die Bühne gehen wird, laufen auf Hochtouren. Das Rote Kreuz wird in Spitzenzeiten mit bis zu 120 Mitarbeitenden im Einsatz sein, die ÖBB bieten Sonderzüge an. Online seit heute, 9.00 Uhr Laut dem Veranstalter wird das Festival „wie geplant“ stattfinden, allerdings müssen Besucher und Besucherinnen mit längeren Wartezeiten aufgrund genauerer Kontrollen rechnen. Den Auftakt macht Ed Sheeran am 14. August, einem Zusatztag. An den folgenden Tagen werden an der Traisen u. a. Apache 207, The Offspring, RAF Camora, Peter Fox und Cro auftreten. Pro Tag werden um die 50.000 Besucher auf dem VAZ-Gelände in der niederösterreichischen Landeshauptstadt erwartet. Anders als in Vorjahren gibt es (laut Stand von Samstagfrüh) noch Viertagespässe und Tagestickets zu kaufen."

Outputs:

Titelvorschlag: Festival-Besucher: Von Stress zur Begeisterung

Titelvorschlag: Wie der Publikumseinstieg auf dem Festival Festival in St. Pölten gestiegen ist

Titelvorschlag: Fokus auf ökologische Verantwortung: Festivals in Österreich setzen auf nachhaltige Praktiken

Training

Training sources: https://github.com/Jotschi/mistral-7b_german-news-titles

Hyperparams used to train this model:

Parameter	Value
gradient_accumulation_steps	2
learning_rate	2e-4
epochs	3
lora_r	64
lora_alpha	16
max_seq_length	256

Training template:

  count=count_words(title)
  prompt="Erstelle einen " + str(count) + " Wörter langen Titelvorschlag für folgenden Artikel:\n" + text
  chat = [
       {"role": "user", "content": prompt},
       {"role": "assistant", "content": "Titelvorschlag: " + title},
    ]