Alikhan Urumov commited on
Commit
2847bc1
1 Parent(s): ebf8c02

Update README.md

Browse files
Files changed (1) hide show
  1. README.md +15 -6
README.md CHANGED
@@ -22,7 +22,9 @@ should probably proofread and complete it, then remove this comment. -->
22
  Запуск на вывод результатов пример работы с комментариями в колабе https://colab.research.google.com/drive/1ame2va9_NflYqy4RZ07HYmQ0moJYy7w2?usp=sharing :
23
 
24
  --------------------------------------------------------------------------------------------
25
- ```ruby
 
 
26
  # Установим библиотеку трансформеров
27
  !pip install transformers
28
 
@@ -53,9 +55,12 @@ encoded = tokenizer(
53
  predicts = model.generate(**encoded) # # Прогнозирование
54
 
55
  tokenizer.batch_decode(predicts, skip_special_tokens=True) # Декодируем данные
56
- ```
 
57
  --------------------------------------------------------------------------------------------
58
- ```python
 
 
59
  Настроенный блокнот для запуска обучения и сохранения модели в свой репозиторий на huggingface hub:
60
  https://colab.research.google.com/drive/1H4IoasDqa2TEjGivVDp-4Pdpm0oxrCWd?usp=sharing
61
 
@@ -178,9 +183,13 @@ trainer = Seq2SeqTrainer(
178
  trainer.train()
179
 
180
  trainer.push_to_hub()
181
- ```
 
 
182
  --------------------------------------------------------------------------------------------
183
- ```python
 
 
184
  # Пример конвертации массивов для данной сети
185
 
186
  input_data = ['удач почти отнее отвернулась', 'в хааоде проведения чемпиониавта мира дветысячивосемнандцтая лгодаа']
@@ -210,4 +219,4 @@ labels[labels == tokenizer.pad_token_id] = -100'''
210
  data = Dataset.from_pandas(pd.DataFrame({'input_ids': list(np.array(input_ids)), 'attention_mask': list(np.array(attention_mask)), 'labels': list(np.array(labels))}))
211
  data = data.train_test_split(0.02)
212
  # и получим на вход сети для нашешго trainer: train_dataset = data['train'], eval_dataset = data['test']
213
- ```
 
22
  Запуск на вывод результатов пример работы с комментариями в колабе https://colab.research.google.com/drive/1ame2va9_NflYqy4RZ07HYmQ0moJYy7w2?usp=sharing :
23
 
24
  --------------------------------------------------------------------------------------------
25
+
26
+ ~/.vimrc
27
+
28
  # Установим библиотеку трансформеров
29
  !pip install transformers
30
 
 
55
  predicts = model.generate(**encoded) # # Прогнозирование
56
 
57
  tokenizer.batch_decode(predicts, skip_special_tokens=True) # Декодируем данные
58
+
59
+
60
  --------------------------------------------------------------------------------------------
61
+
62
+
63
+
64
  Настроенный блокнот для запуска обучения и сохранения модели в свой репозиторий на huggingface hub:
65
  https://colab.research.google.com/drive/1H4IoasDqa2TEjGivVDp-4Pdpm0oxrCWd?usp=sharing
66
 
 
183
  trainer.train()
184
 
185
  trainer.push_to_hub()
186
+
187
+
188
+
189
  --------------------------------------------------------------------------------------------
190
+
191
+
192
+
193
  # Пример конвертации массивов для данной сети
194
 
195
  input_data = ['удач почти отнее отвернулась', 'в хааоде проведения чемпиониавта мира дветысячивосемнандцтая лгодаа']
 
219
  data = Dataset.from_pandas(pd.DataFrame({'input_ids': list(np.array(input_ids)), 'attention_mask': list(np.array(attention_mask)), 'labels': list(np.array(labels))}))
220
  data = data.train_test_split(0.02)
221
  # и получим на вход сети для нашешго trainer: train_dataset = data['train'], eval_dataset = data['test']
222
+