Alikhan Urumov
commited on
Commit
•
2847bc1
1
Parent(s):
ebf8c02
Update README.md
Browse files
README.md
CHANGED
@@ -22,7 +22,9 @@ should probably proofread and complete it, then remove this comment. -->
|
|
22 |
Запуск на вывод результатов пример работы с комментариями в колабе https://colab.research.google.com/drive/1ame2va9_NflYqy4RZ07HYmQ0moJYy7w2?usp=sharing :
|
23 |
|
24 |
--------------------------------------------------------------------------------------------
|
25 |
-
|
|
|
|
|
26 |
# Установим библиотеку трансформеров
|
27 |
!pip install transformers
|
28 |
|
@@ -53,9 +55,12 @@ encoded = tokenizer(
|
|
53 |
predicts = model.generate(**encoded) # # Прогнозирование
|
54 |
|
55 |
tokenizer.batch_decode(predicts, skip_special_tokens=True) # Декодируем данные
|
56 |
-
|
|
|
57 |
--------------------------------------------------------------------------------------------
|
58 |
-
|
|
|
|
|
59 |
Настроенный блокнот для запуска обучения и сохранения модели в свой репозиторий на huggingface hub:
|
60 |
https://colab.research.google.com/drive/1H4IoasDqa2TEjGivVDp-4Pdpm0oxrCWd?usp=sharing
|
61 |
|
@@ -178,9 +183,13 @@ trainer = Seq2SeqTrainer(
|
|
178 |
trainer.train()
|
179 |
|
180 |
trainer.push_to_hub()
|
181 |
-
|
|
|
|
|
182 |
--------------------------------------------------------------------------------------------
|
183 |
-
|
|
|
|
|
184 |
# Пример конвертации массивов для данной сети
|
185 |
|
186 |
input_data = ['удач почти отнее отвернулась', 'в хааоде проведения чемпиониавта мира дветысячивосемнандцтая лгодаа']
|
@@ -210,4 +219,4 @@ labels[labels == tokenizer.pad_token_id] = -100'''
|
|
210 |
data = Dataset.from_pandas(pd.DataFrame({'input_ids': list(np.array(input_ids)), 'attention_mask': list(np.array(attention_mask)), 'labels': list(np.array(labels))}))
|
211 |
data = data.train_test_split(0.02)
|
212 |
# и получим на вход сети для нашешго trainer: train_dataset = data['train'], eval_dataset = data['test']
|
213 |
-
|
|
|
22 |
Запуск на вывод результатов пример работы с комментариями в колабе https://colab.research.google.com/drive/1ame2va9_NflYqy4RZ07HYmQ0moJYy7w2?usp=sharing :
|
23 |
|
24 |
--------------------------------------------------------------------------------------------
|
25 |
+
|
26 |
+
~/.vimrc
|
27 |
+
|
28 |
# Установим библиотеку трансформеров
|
29 |
!pip install transformers
|
30 |
|
|
|
55 |
predicts = model.generate(**encoded) # # Прогнозирование
|
56 |
|
57 |
tokenizer.batch_decode(predicts, skip_special_tokens=True) # Декодируем данные
|
58 |
+
|
59 |
+
|
60 |
--------------------------------------------------------------------------------------------
|
61 |
+
|
62 |
+
|
63 |
+
|
64 |
Настроенный блокнот для запуска обучения и сохранения модели в свой репозиторий на huggingface hub:
|
65 |
https://colab.research.google.com/drive/1H4IoasDqa2TEjGivVDp-4Pdpm0oxrCWd?usp=sharing
|
66 |
|
|
|
183 |
trainer.train()
|
184 |
|
185 |
trainer.push_to_hub()
|
186 |
+
|
187 |
+
|
188 |
+
|
189 |
--------------------------------------------------------------------------------------------
|
190 |
+
|
191 |
+
|
192 |
+
|
193 |
# Пример конвертации массивов для данной сети
|
194 |
|
195 |
input_data = ['удач почти отнее отвернулась', 'в хааоде проведения чемпиониавта мира дветысячивосемнандцтая лгодаа']
|
|
|
219 |
data = Dataset.from_pandas(pd.DataFrame({'input_ids': list(np.array(input_ids)), 'attention_mask': list(np.array(attention_mask)), 'labels': list(np.array(labels))}))
|
220 |
data = data.train_test_split(0.02)
|
221 |
# и получим на вход сети для нашешго trainer: train_dataset = data['train'], eval_dataset = data['test']
|
222 |
+
|