README.md

---
base_model: google/mt5-base
pipeline_tag: summarization
tags:
- summarization
- mT5
datasets:
- csebuetnlp/xlsum
- data-silence/sumnews
language:
- am
- ar
- az
- bn
- my
- zh
- en
- fr
- gu
- ha
- hi
- ig
- id
- ja
- rn
- ko
- ky
- mr
- ne
- om
- ps
- fa
- pcm
- pt
- pa
- ru
- gd
- sr
- si
- so
- es
- sw
- ta
- te
- th
- ti
- tr
- uk
- ur
- uz
- vi
- cy
- yo
licenses:
- cc-by-nc-sa-4.0
library_name: transformers
inference:
  parameters:
    no_repeat_ngram_size: 4
widget:
- text: >-
    Высота башни составляет 324 метра (1063 фута), примерно такая же высота, как
    у 81-этажного здания, и самое высокое сооружение в Париже. Его основание
    квадратно, размером 125 метров (410 футов) с любой стороны. Во время
    строительства Эйфелева башня превзошла монумент Вашингтона, став самым
    высоким искусственным сооружением в мире, и этот титул она удерживала в
    течение 41 года до завершения строительство здания Крайслер в Нью-Йорке в
    1930 году. Это первое сооружение которое достигло высоты 300 метров. Из-за
    добавления вещательной антенны на вершине башни в 1957 году она сейчас выше
    здания Крайслер на 5,2 метра (17 футов). За исключением передатчиков,
    Эйфелева башня является второй самой высокой отдельно стоящей структурой во
    Франции после виадука Мийо.
  example_title: Википедия
- text: >-
    С 1 сентября в России вступают в силу поправки в закон «О банкротстве» —
    теперь должники смогут освобождаться от непосильных обязательств во
    внесудебном порядке, если сумма задолженности составляет не менее 50 тыс.
    рублей и не превышает 500 тыс. рублей без учета штрафов, пени, процентов за
    просрочку платежа и прочих имущественных или финансовых санкций. У физлиц и
    индивидуальных предпринимателей появилась возможность пройти процедуру
    банкротства без участия суда и финансового управляющего — достаточно подать
    соответствующее заявление через МФЦ. Сумму задолженности и список всех
    известных заявителю кредиторов нужно предоставить самостоятельно. Если все
    условия соблюдены, сведения внесут в Единый федеральный реестр в течение
    трех рабочих дней. При этом на момент подачи заявления в отношении заявителя
    должно быть окончено исполнительное производство с возвращением
    исполнительного документа взыскателю. Это значит, что у потенциального
    банкрота не должно быть имущества, которое можно взыскать. Кроме того, в
    отношении гражданина не должно быть возбуждено другое исполнительное
    производство. В период всей процедуры заявитель не сможет брать займы,
    кредиты, выдавать поручительства, совершать иные обеспечительные сделки.
    Внесудебное банкротство будет длиться шесть месяцев, в течение которых также
    будет действовать мораторий на удовлетворение требований кредиторов,
    отмеченных в заявлении должника, и мораторий об уплате обязательных
    платежей. Кроме того, прекращается начисление неустоек и иных финансовых
    санкций; имущественные взыскания (кроме алиментов) также будут
    приостановлены. По завершению процедуры заявителя освободят от дальнейшего
    выполнения требований кредиторов, указанных в заявлении о признании его
    банкротом, а эта задолженность признается безнадежной. В прошлом месяце
    стало известно, что за первое полугодие 2020 года российские суды признали
    банкротами 42,7 тыс. граждан (в том числе индивидуальных предпринимателей) —
    по данным единого реестра «Федресурс», это на 47,2% больше показателя
    аналогичного периода 2019 года. Рост числа обанкротившихся граждан во втором
    квартале по сравнению с первым замедлился — такая динамика обусловлена тем,
    что в период ограничений с 19 марта по 11 мая суды редко рассматривали
    банкротные дела компаний и меньше, чем обычно, в отношении граждан, объяснял
    руководитель проекта «Федресурс» Алексей Юхнин. Он прогнозирует, что во
    втором полугодии мы увидим рост показателя, когда суды рассмотрят все дела,
    что не смогли ранее в режиме ограничений. По его данным, уже в июне число
    личных банкротств выросло до 11,5 тыс., что в два раза превышает показатель
    аналогичного периода 2019 года.
  example_title: Новости
- text: >-
    Актуальность проблемы. Электронная информация играет все большую  роль во
    всех сферах жизни современного общества. В последние годы объем
    научно-технической текстовой информации в электронном виде возрос настолько,
    что возникает угроза обесценивания этой информации в связи с трудностями
    поиска необходимых сведений среди множества доступных текстов. Развитие
    информационных ресурсов Интернет многократно усугубило проблему
    информационной перегрузки. В этой ситуации особенно актуальными становятся
    методы автоматизации реферирования текстовой информации, то есть методы
    получения сжатого представления текстовых документов–рефератов (аннотаций).
    Постановка  проблемы  автоматического реферирования текста и соответственно
    попытки ее решения с использованием различных подходов предпринимались
    многими исследователями. История применения вычислительной техники для
    реферирования  насчитывает уже более 50 лет и связана с именами таких
    исследователей, как Г.П. Лун, В.Е. Берзон, И.П. Cевбо, Э.Ф. Скороходько,
    Д.Г. Лахути, Р.Г. Пиотровский и др. За эти годы  выработаны  многочисленные
    подходы к решению данной проблемы, которые достаточно четко подразделяются
    на два направления: автоматическое реферирование, основанное на
    экстрагировании из первичных документов с помощью определенных формальных
    признаков «наиболее информативных» фраз (фрагментов), совокупность которых
    образует некоторый экстракт; автоматическое реферирование, основанное на
    выделении из текстов с помощью специальных информационных языков наиболее
    существенной информации и порождении новых текстов (рефератов),
    содержательно обобщающих первичные  документы.
  example_title: Научная статья
---
# data-silence/any-news-sum

This repository contains the mT5 checkpoint finetuned on the 45 languages of my [sumnews](https://huggingface.co/datasets/data-silence/sumnews) dataset which based on popular [XL-Sum](https://huggingface.co/datasets/csebuetnlp/xlsum). 
The model solves the news summarization task: it's designed to simultaneously generate a headline and a summary of a news article based on its full content. 
The primary focus of the training was on Russian language operation, but to some extent the model will work on text in any language supported by the mT5 mother model and XL-Sum dataset. 

## Testing this model on `Spaces`

You can try out the trained model [here](https://huggingface.co/spaces/data-silence/sumnews)

## Using this model in `transformers`

```python
import torch
from transformers import AutoTokenizer, AutoModelForSeq2SeqLM, DataCollatorForSeq2Seq
# Загрузка модели и токенизатора
model_name = "data-silence/any-news-sum"
tokenizer = AutoTokenizer.from_pretrained(model_name)
model = AutoModelForSeq2SeqLM.from_pretrained(model_name)
device = torch.device("cuda" if torch.cuda.is_available() else "cpu")
def generate_summary_with_special_tokens(text, max_length=512):
    inputs = tokenizer(text, return_tensors="pt", max_length=max_length, truncation=True).to(device)
    
    outputs = model.generate(
        **inputs,
        max_length=max_length,
        num_return_sequences=1,
        no_repeat_ngram_size=4,
    )
    
    generated_text = tokenizer.decode(outputs[0], skip_special_tokens=False)
    
    # Разделение на заголовок и резюме
    parts = generated_text.split('<title_resume_sep>')
    title = parts[0].replace("<pad> ", "").strip()
    resume = parts[1].replace("</s>", "").strip() if len(parts) > 1 else ""
    
    return title, resume
title, resume = generate_summary_with_special_tokens('Пациенты с сердечными заболеваниями зачастую имеют низкий уровень мелатонина и нарушение цикла сна-бодрствования. До сих пор механизмы, лежащие в основе этого явления, оставались неясными. В статье, опубликованной в журнале Science, команда Мюнхенского технического университета (TUM) показывает, каким именно образом сердечные заболевания влияют на выработку гормона сна в шишковидной железе. А в качестве связующего звена между двумя органами оказывается ганглий в области шеи.')
print(title)  # Ученые показал, каким именно образом сердечные заболевания влияют на выработку гормона сна в шишковидной железе
print(resume)  # Ученые опубликовали статью, опубликованную в журнале Science, команда Мюнхенского технического университета (TUM) показывает, каким образом кардиальные заболевания влияет на выработку гормона сна в шишковидной железе.
```

### Training hyperparameters

The following hyperparameters were used during training:
- learning_rate: 2e-05
- train_batch_size: 6
- eval_batch_size: 6
- seed: 42
- gradient_accumulation_steps: 6
- total_train_batch_size: 36
- optimizer: Adam with betas=(0.9,0.999) and epsilon=1e-08
- lr_scheduler_type: linear
- lr_scheduler_warmup_steps: 500
- num_epochs: 4


## Evaluation result

 This model achieves the following results on the evaluation set:

| Metric                    | Significance           | ROUGE-1            | ROUGE-2            | ROUGE-L            |
|---------------------------|------------------------|--------------------|--------------------|--------------------|
| Training Loss             | 0.4487                 | -                  | -                  | -                  |
| Epoch                     | 4.0                    | -                  | -                  | -                  |
| Step                      | 20496                  | -                  | -                  | -                  |
| Evaluation Runtime (s)    | 3433.4702              | -                  | -                  | -                  |
| Evaluation Samples/Sec    | 9.37                   | -                  | -                  | -                  |
| Evaluation Steps/Sec      | 1.562                  | -                  | -                  | -                  |
| Evaluation Loss           | 0.2748                 | -                  | -                  | -                  |
| Evaluation Title          | -                      | 0.1373             | 0.0489             | 0.1220             |
| Evaluation Resume         | -                      | 0.0016             | 0.0005             | 0.0015             |
"""

### Framework versions

- Transformers 4.42.4
- Pytorch 2.3.1+cu121
- Datasets 2.21.0
- Tokenizers 0.19.1