metadata

license: cc-by-4.0
metrics:
  - bleu4
  - meteor
  - rouge-l
  - bertscore
  - moverscore
language: de
datasets:
  - lmqg/qg_dequad
pipeline_tag: text2text-generation
tags:
  - question answering
widget:
  - text: >-
      question: Welche Auszeichnung hat die Wartburg 1999 erhalten?, context:
      Thüringen == Kultur == Die Kulturlandschaft Thüringens ist bedingt durch
      die lange politische Zersplitterung (bis 1920) recht vielfältig. Diese
      Vielfalt hat sich bis heute erhalten und findet in den verschiedenen
      ehemaligen Residenzen im Land mit ihren historisch gewachsenen Museen und
      Theatern Ausdruck. Parallel zur Vielfalt der Landesteile verbinden aber
      vor allem die ähnliche Küche sowie ähnlichen Feste und Bräuche. Prägend
      für die Kultur sind nach wie vor die zahlreichen Stätten der klassischen
      Hochkultur von der Reformation bis zum Bauhaus hinter denen die Orte der
      Gegenwartskultur ein Stück weit zurückfallen. Zum UNESCO-Welterbe in
      Thüringen gehören seit 1996 die Bauhaus-Stätten in Weimar mit dem zwischen
      1904 und 1911 nach Plänen von Henry van de Velde errichteten Hauptgebäude
      der Bauhaus-Universität, der Kunstgewerbeschule Weimar und dem Musterhaus
      Am Horn, seit 1998 die elf Stätten des Klassischen Weimars (Goethes
      Wohnhaus, Schillers Wohnhaus, Herderkirche und Herder-Stätten, Weimarer
      Stadtschloss, Wittumspalais, Herzogin Anna Amalia Bibliothek, Park an der
      Ilm mit Goethes Gartenhaus und Römischem Haus, Schloss Belvedere, Schloss
      Ettersburg, Schloss Tiefurt, Historischer Friedhof Weimar), seit 1999 die
      Wartburg bei Eisenach und seit 2011 der Nationalpark Hainich als Teil der
      Europäischen Buchenurwälder.
    example_title: Question Answering Example 1
  - text: >-
      question: Wann endete die Aberdeen Regierung? , context: Krimkrieg ===
      Großbritannien === Der Krimkrieg zeigte, dass es erhebliche Missstände im
      britischen Militär gab. Dadurch verlor die Regierung Aberdeen erheblich an
      Ansehen. Im Februar 1855 wurde sie zum Rücktritt gezwungen, und Palmerston
      übernahm die Bildung eines neuen Kabinetts. Der spätere britische
      Premierminister Disraeli erklärte den Krieg aus einer von Südasien
      eingenommenen Perspektive zu einem „indischen Krieg“, da es zuvor
      (irreale) Befürchtungen gegeben hatte, dass Russland durch eine Expansion
      nach Süden das britische Indien in Gefahr bringen könnte. Das Verhältnis
      zwischen Großbritannien und Russland blieb bis ins 20. Jahrhundert aus
      ideologischen und weltmachtpolitischen Gründen angespannt. Der Krieg
      führte in Großbritannien zur Bildung eines modernen Nationalmythos des die
      Ehre der Nation verteidigenden „gemeinen“ Soldaten, anstelle des
      Aristokraten früherer Kriege. In der Mittelklasse kam es zu einem neuen
      Gefühl des Selbstbewusstseins im Zusammenhang von Ideen wie
      professioneller Fähigkeit und dem Leistungsprinzip. Die Mittelklasse
      erkannte sich in einer Florence Nightingale wieder, die zur Nationalheldin
      aufstieg. Die Königin stiftete 1857 das Victoria-Kreuz, mit dem erstmals
      Nichtoffiziere ausgezeichnet werden konnten.
    example_title: Question Answering Example 2
model-index:
  - name: lmqg/mt5-small-dequad-qa
    results:
      - task:
          name: Text2text Generation
          type: text2text-generation
        dataset:
          name: lmqg/qg_dequad
          type: default
          args: default
        metrics:
          - name: BLEU4 (Question Answering)
            type: bleu4_question_answering
            value: 1.1
          - name: ROUGE-L (Question Answering)
            type: rouge_l_question_answering
            value: 5.42
          - name: METEOR (Question Answering)
            type: meteor_question_answering
            value: 7.61
          - name: BERTScore (Question Answering)
            type: bertscore_question_answering
            value: 76.67
          - name: MoverScore (Question Answering)
            type: moverscore_question_answering
            value: 52.97
          - name: AnswerF1Score (Question Answering)
            type: answer_f1_score__question_answering
            value: 9.15
          - name: AnswerExactMatch (Question Answering)
            type: answer_exact_match_question_answering
            value: 0.45

Model Card of `lmqg/mt5-small-dequad-qa`

This model is fine-tuned version of google/mt5-small for question answering task on the lmqg/qg_dequad (dataset_name: default) via lmqg.

Overview

Language model: google/mt5-small
Language: de
Training data: lmqg/qg_dequad (default)
Online Demo: https://autoqg.net/
Repository: https://github.com/asahi417/lm-question-generation
Paper: https://arxiv.org/abs/2210.03992

Usage

With lmqg

from lmqg import TransformersQG

# initialize model
model = TransformersQG(language="de", model="lmqg/mt5-small-dequad-qa")

# model prediction
answers = model.answer_q(list_question="Welche Auszeichnung hat die Wartburg 1999 erhalten?", list_context=" Thüringen == Kultur == Die Kulturlandschaft Thüringens ist bedingt durch die lange politische Zersplitterung (bis 1920) recht vielfältig. Diese Vielfalt hat sich bis heute erhalten und findet in den verschiedenen ehemaligen Residenzen im Land mit ihren historisch gewachsenen Museen und Theatern Ausdruck. Parallel zur Vielfalt der Landesteile verbinden aber vor allem die ähnliche Küche sowie ähnlichen Feste und Bräuche. Prägend für die Kultur sind nach wie vor die zahlreichen Stätten der klassischen Hochkultur von der Reformation bis zum Bauhaus hinter denen die Orte der Gegenwartskultur ein Stück weit zurückfallen. Zum UNESCO-Welterbe in Thüringen gehören seit 1996 die Bauhaus-Stätten in Weimar mit dem zwischen 1904 und 1911 nach Plänen von Henry van de Velde errichteten Hauptgebäude der Bauhaus-Universität, der Kunstgewerbeschule Weimar und dem Musterhaus Am Horn, seit 1998 die elf Stätten des Klassischen Weimars (Goethes Wohnhaus, Schillers Wohnhaus, Herderkirche und Herder-Stätten, Weimarer Stadtschloss, Wittumspalais, Herzogin Anna Amalia Bibliothek, Park an der Ilm mit Goethes Gartenhaus und Römischem Haus, Schloss Belvedere, Schloss Ettersburg, Schloss Tiefurt, Historischer Friedhof Weimar), seit 1999 die Wartburg bei Eisenach und seit 2011 der Nationalpark Hainich als Teil der Europäischen Buchenurwälder.")

With transformers

from transformers import pipeline

pipe = pipeline("text2text-generation", "lmqg/mt5-small-dequad-qa")
output = pipe("question: Welche Auszeichnung hat die Wartburg 1999 erhalten?, context: Thüringen == Kultur == Die Kulturlandschaft Thüringens ist bedingt durch die lange politische Zersplitterung (bis 1920) recht vielfältig. Diese Vielfalt hat sich bis heute erhalten und findet in den verschiedenen ehemaligen Residenzen im Land mit ihren historisch gewachsenen Museen und Theatern Ausdruck. Parallel zur Vielfalt der Landesteile verbinden aber vor allem die ähnliche Küche sowie ähnlichen Feste und Bräuche. Prägend für die Kultur sind nach wie vor die zahlreichen Stätten der klassischen Hochkultur von der Reformation bis zum Bauhaus hinter denen die Orte der Gegenwartskultur ein Stück weit zurückfallen. Zum UNESCO-Welterbe in Thüringen gehören seit 1996 die Bauhaus-Stätten in Weimar mit dem zwischen 1904 und 1911 nach Plänen von Henry van de Velde errichteten Hauptgebäude der Bauhaus-Universität, der Kunstgewerbeschule Weimar und dem Musterhaus Am Horn, seit 1998 die elf Stätten des Klassischen Weimars (Goethes Wohnhaus, Schillers Wohnhaus, Herderkirche und Herder-Stätten, Weimarer Stadtschloss, Wittumspalais, Herzogin Anna Amalia Bibliothek, Park an der Ilm mit Goethes Gartenhaus und Römischem Haus, Schloss Belvedere, Schloss Ettersburg, Schloss Tiefurt, Historischer Friedhof Weimar), seit 1999 die Wartburg bei Eisenach und seit 2011 der Nationalpark Hainich als Teil der Europäischen Buchenurwälder.")

Evaluation

Metric (Question Answering): raw metric file

	Score	Type	Dataset
AnswerExactMatch	0.45	default	lmqg/qg_dequad
AnswerF1Score	9.15	default	lmqg/qg_dequad
BERTScore	76.67	default	lmqg/qg_dequad
Bleu_1	5.35	default	lmqg/qg_dequad
Bleu_2	2.79	default	lmqg/qg_dequad
Bleu_3	1.7	default	lmqg/qg_dequad
Bleu_4	1.1	default	lmqg/qg_dequad
METEOR	7.61	default	lmqg/qg_dequad
MoverScore	52.97	default	lmqg/qg_dequad
ROUGE_L	5.42	default	lmqg/qg_dequad

Training hyperparameters

The following hyperparameters were used during fine-tuning:

dataset_path: lmqg/qg_dequad
dataset_name: default
input_types: ['paragraph_question']
output_types: ['answer']
prefix_types: None
model: google/mt5-small
max_length: 512
max_length_output: 32
epoch: 17
batch: 16
lr: 0.0005
fp16: False
random_seed: 1
gradient_accumulation_steps: 4
label_smoothing: 0.15

The full configuration can be found at fine-tuning config file.

Citation

@inproceedings{ushio-etal-2022-generative,
    title = "{G}enerative {L}anguage {M}odels for {P}aragraph-{L}evel {Q}uestion {G}eneration",
    author = "Ushio, Asahi  and
        Alva-Manchego, Fernando  and
        Camacho-Collados, Jose",
    booktitle = "Proceedings of the 2022 Conference on Empirical Methods in Natural Language Processing",
    month = dec,
    year = "2022",
    address = "Abu Dhabi, U.A.E.",
    publisher = "Association for Computational Linguistics",
}