wav2vec2-russian / README.md
Alikhan Urumov
Update README.md
d90e989
|
raw
history blame
3.39 kB
metadata
tags:
  - generated_from_trainer
model-index:
  - name: wav2vec2-russian
    results: []
widget:
  - src: >-
      https://cdn-media.huggingface.co/speech_samples/common_voice_ru_18849022.mp3

wav2vec2-russian


Загрузите аудиофайл в формате wav для распознования. Результат можно откорректировать в другой моей сети. которая исправляет ошибки, расставляет знаки припинания и исправляет цифры. https://huggingface.co/UrukHan/t5-russian-spell

Output wav2vec2 Output spell correcor
ывсем привет выныканалетоп армии и это двадцать пятый день спец операций на украине ет самый главной новости российские военные ракетами кинжалы калибр уничтожили крупную военную топливную базу украины ракетным ударом по населенному пункту под жетамиром уничтжены более стаукраинских военных Всем привет! Вы в курсе новостей от армии. И это 25 день спецопераций на Украине. Есть самые главные новости. Российские военные ракетами «Кинжалы» и «Кинжалы» калибра уничтожили крупную военную топливную базу Украины. Ракетным ударом по населенному пункту под Жетамиром уничтожены более ста украинских военных.


Запуск сети пример в колабе https://colab.research.google.com/drive/1dVZvccYJq02hmEsapWgmuJ-pLdezFnn1?usp=sharing


from transformers import AutoModelForCTC, Wav2Vec2Processor

model = AutoModelForCTC.from_pretrained("wav2vec2-russian-colab")
processor = Wav2Vec2Processor.from_pretrained("wav2vec2-russian-colab")

def map_to_result(batch):
  with torch.no_grad():
    input_values = torch.tensor(batch["input_values"]).unsqueeze(0) #, device="cuda"
    logits = model(input_values).logits

  pred_ids = torch.argmax(logits, dim=-1)
  batch = processor.batch_decode(pred_ids)[0]
  return batch
 
 map_to_result()


Тренировка модели с обработкой данных и созданием датасета разобрать можете в колабе:

https://colab.research.google.com/drive/1zkCA2PtKxD2acqLr55USh35OomoOwOhm?usp=sharing

Можно пропусстить обработку аудио. готовый датасет если использовать "https://huggingface.co/datasets/UrukHan/wav2vec2-russian"

словарь также самому можно вручную собрать, там для русского язывка всего 36 символов