gabrielandrade2's picture
Upload tokenizer
99058a9 verified
raw
history blame
24.1 kB
[PAD]
[UNK]
[CLS]
[SEP]
[MASK]
<unused0>
<unused1>
<unused2>
<unused3>
<unused4>
<unused5>
<unused6>
<unused7>
<unused8>
<unused9>
!
"
#
$
%
&
'
(
)
*
+
,
-
.
/
0
1
2
3
4
5
6
7
8
9
:
;
<
=
>
?
@
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
[
\
]
^
_
`
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
u
v
w
x
y
z
{
|
}
~
¡
¢
£
¥
§
©
«
¬
®
°
±
·
»
¿
À
Á
Ä
Å
Æ
Ç
É
Í
Î
Ó
Ö
×
Ø
Ú
Ü
Þ
ß
à
á
â
ã
ä
å
æ
ç
è
é
ê
ë
ì
í
î
ï
ð
ñ
ò
ó
ô
õ
ö
÷
ø
ù
ú
û
ü
ý
þ
Ā
ā
ă
ą
Ć
ć
Č
č
Đ
đ
ē
ĕ
ė
ę
ě
ĝ
ğ
ħ
ĩ
Ī
ī
İ
ı
Ł
ł
ń
ň
ŋ
ō
ŏ
ő
œ
ř
Ś
ś
Ş
ş
Š
š
ţ
ť
ũ
ū
ŭ
ů
ź
Ż
ż
Ž
ž
ơ
ư
ǁ
ǎ
ǐ
ǒ
ǔ
ǰ
ș
ȝ
ɐ
ɑ
ɒ
ɔ
ɕ
ə
ɛ
ɟ
ɡ
ɣ
ɦ
ɨ
ɪ
ɫ
ɯ
ɲ
ɴ
ɸ
ɹ
ɾ
ʁ
ʃ
ʊ
ʌ
ʎ
ʏ
ʑ
ʒ
ʔ
ʕ
ʧ
ʻ
ʼ
ʿ
ˀ
ˈ
ˌ
ː
́
̃
̈
̓
̝
̥
̩
̯
͡
Ά
Α
Β
Γ
Δ
Ε
Ζ
Η
Θ
Ι
Κ
Λ
Μ
Ν
Ξ
Ο
Π
Ρ
Σ
Τ
Φ
Χ
Ψ
Ω
ά
έ
ή
ί
α
β
γ
δ
ε
ζ
η
θ
ι
κ
λ
μ
ν
ξ
ο
π
ρ
ς
σ
τ
υ
φ
χ
ψ
ω
ό
ύ
ώ
Ё
І
Ј
А
Б
В
Г
Д
Е
Ж
З
И
Й
К
Л
М
Н
О
П
Р
С
Т
У
Ф
Х
Ц
Ч
Ш
Э
Ю
Я
а
б
в
г
д
е
ж
з
и
й
к
л
м
н
о
п
р
с
т
у
ф
х
ц
ч
ш
щ
ъ
ы
ь
э
ю
я
ё
і
ї
ј
њ
ћ
қ
ү
ө
Ա
ա
գ
ե
ի
յ
ն
ո
տ
ր
ւ
ְ
ִ
ֵ
ֶ
ַ
ָ
ֹ
ּ
ׁ
א
ב
ג
ד
ה
ו
ז
ח
ט
י
כ
ל
ם
מ
ן
נ
ס
ע
פ
צ
ק
ר
ש
ת
،
ء
آ
أ
إ
ئ
ا
ب
ة
ت
ث
ج
ح
خ
د
ر
ز
س
ش
ص
ض
ط
ظ
ع
غ
ـ
ف
ق
ك
ل
م
ن
ه
و
ى
ي
َ
ِ
ْ
پ
چ
ک
گ
ھ
ہ
ی
ە
ि
ி
ി
က
ế
使
便
姿
婿
宿
寿
尿
广
廿
彿
椿
槿
橿
歿
殿
沿
涿
湿
滿
漿
禿
稿
穿
竿
簿
綿
线
耀
西
調
谿
貿
輿
辿
退
駿
鹿
麿
󠄁