add tokenizer
25ba562
|
[UNK] |
|
[CLS] |
|
[SEP] |
|
[PAD] |
|
[MASK] |
|
|
|
|
|
|
|
|
|
|
|
! |
|
" |
|
# |
|
$ |
|
% |
|
& |
|
' |
|
( |
|
) |
|
* |
|
+ |
|
, |
|
- |
|
. |
|
/ |
|
0 |
|
1 |
|
2 |
|
3 |
|
4 |
|
5 |
|
6 |
|
7 |
|
8 |
|
9 |
|
: |
|
; |
|
< |
|
= |
|
> |
|
? |
|
@ |
|
A |
|
B |
|
C |
|
D |
|
E |
|
F |
|
G |
|
H |
|
I |
|
J |
|
K |
|
L |
|
M |
|
N |
|
O |
|
P |
|
Q |
|
R |
|
S |
|
T |
|
U |
|
V |
|
W |
|
X |
|
Y |
|
Z |
|
[ |
|
\ |
|
] |
|
^ |
|
_ |
|
` |
|
a |
|
b |
|
c |
|
d |
|
e |
|
f |
|
g |
|
h |
|
i |
|
j |
|
k |
|
l |
|
m |
|
n |
|
o |
|
p |
|
q |
|
r |
|
s |
|
t |
|
u |
|
v |
|
w |
|
x |
|
y |
|
z |
|
{ |
|
| |
|
} |
|
~ |
|
¡ |
|
¢ |
|
£ |
|
¥ |
|
§ |
|
¯ |
|
µ |
|
º |
|
» |
|
¿ |
|
À |
|
 |
|
à |
|
Ä |
|
Å |
|
Ç |
|
Ë |
|
Í |
|
Î |
|
Ï |
|
Ñ |
|
Ó |
|
Ø |
|
Ù |
|
Ú |
|
Ü |
|
ß |
|
à |
|
á |
|
â |
|
ã |
|
ä |
|
å |
|
æ |
|
ç |
|
è |
|
é |
|
ê |
|
ë |
|
ì |
|
í |
|
î |
|
ï |
|
ñ |
|
ò |
|
ó |
|
ô |
|
õ |
|
ö |
|
ø |
|
ù |
|
ú |
|
û |
|
ü |
|
ý |
|
þ |
|
ā |
|
ă |
|
ą |
|
ć |
|
č |
|
ď |
|
đ |
|
ē |
|
ĕ |
|
ė |
|
Ę |
|
ę |
|
ě |
|
ġ |
|
ģ |
|
ĩ |
|
ī |
|
ĭ |
|
İ |
|
ı |
|
ĵ |
|
ķ |
|
ĸ |
|
ĺ |
|
ł |
|
ń |
|
ň |
|
ʼn |
|
ŋ |
|
ō |
|
ŏ |
|
ő |
|
œ |
|
ŕ |
|
ŗ |
|
Ř |
|
ř |
|
Ś |
|
ś |
|
Ş |
|
ş |
|
š |
|
ţ |
|
Ť |
|
ť |
|
ũ |
|
ū |
|
ŭ |
|
ű |
|
ų |
|
ŵ |
|
Ÿ |
|
ż |
|
ž |
|
ƀ |
|
Ɓ |
|
Ƅ |
|
ƅ |
|
Ƈ |
|
ƒ |
|
ƙ |
|
ƞ |
|
Ƭ |
|
Ư |
|
Ƴ |
|
Ǐ |
|
Ƿ |
|
ǹ |
|
ȋ |
|
ș |
|
ț |
|
ȧ |
|
ȯ |
|
Ʌ |
|
ɑ |
|
ɗ |
|
ɠ |
|
ɡ |
|
ɢ |
|
ɣ |
|
ɩ |
|
ɪ |
|
ɭ |
|
ɯ |
|
ɱ |
|
ɳ |
|
ɴ |
|
ɺ |
|
ɼ |
|
ɾ |
|
ʀ |
|
ʂ |
|
ʄ |
|
ʋ |
|
ʌ |
|
ʍ |
|
ʏ |
|
ʙ |
|
ʜ |
|
ʝ |
|
ʟ |
|
ʨ |
|
˄ |
|
Α |
|
Β |
|
Ε |
|
Ζ |
|
Η |
|
Ι |
|
Κ |
|
Μ |
|
Ν |
|
Ο |
|
Ρ |
|
Τ |
|
Υ |
|
Χ |
|
ί |
|
α |
|
β |
|
γ |
|
η |
|
ι |
|
κ |
|
μ |
|
ν |
|
ο |
|
π |
|
ρ |
|
σ |
|
τ |
|
υ |
|
χ |
|
ω |
|
ϲ |
|
ϳ |
|
Ϲ |
|
Ϻ |
|
Ѕ |
|
Ј |
|
А |
|
В |
|
Е |
|
З |
|
К |
|
М |
|
Н |
|
О |
|
Р |
|
С |
|
Т |
|
У |
|
Х |
|
Ь |
|
а |
|
в |
|
г |
|
д |
|
е |
|
и |
|
к |
|
л |
|
н |
|
о |
|
п |
|
р |
|
с |
|
т |
|
у |
|
х |
|
ч |
|
ш |
|
щ |
|
ѐ |
|
ё |
|
ѕ |
|
і |
|
ј |
|
џ |
|
ѡ |
|
Ѵ |
|
ѵ |
|
ҏ |
|
қ |
|
ҡ |
|
ң |
|
ҥ |
|
Ү |
|
ү |
|
ҳ |
|
һ |
|
ҽ |
|
ӏ |
|
ԁ |
|
ԛ |
|
Ա |
|
Ի |
|
Ս |
|
Տ |
|
Օ |
|
ա |
|
գ |
|
զ |
|
ժ |
|
հ |
|
յ |
|
ս |
|
օ |
|
Ⴍ |
|
Ⴓ |
|
Ⴝ |
|
Ꭰ |
|
Ꭲ |
|
Ꭵ |
|
Ꭺ |
|
Ꭻ |
|
Ꮃ |
|
Ꮇ |
|
Ꮋ |
|
Ꮐ |
|
Ꮓ |
|
Ꮢ |
|
Ꮩ |
|
Ꮪ |
|
Ꮮ |
|
Ꮯ |
|
Ꮲ |
|
Ꮶ |
|
Ᏼ |
|
ᚱ |
|
ᛁ |
|
ᛒ |
|
ᛕ |
|
ᛖ |
|
ᴄ |
|
ᴇ |
|
ᴋ |
|
ᴍ |
|
ᴏ |
|
ᴑ |
|
ᴜ |
|
ᴠ |
|
ᴡ |
|
ᴦ |
|
ᴨ |
|
ᴺ |
|
ᴼ |
|
ᴾ |
|
ᴿ |
|
ḟ |
|
ḱ |
|
ḿ |
|
ṁ |
|
ṅ |
|
Ṛ |
|
ṡ |
|
ẁ |
|
ẃ |
|
ẇ |
|
ἀ |
|
ἁ |
|
ἇ |
|
ἰ |
|
ἱ |
|
ἳ |
|
ὀ |
|
ὁ |
|
ὶ |
|
ί |
|
ῤ |
|
ῥ |
|
― |
|
₩ |
|
€ |
|
₿ |
|
ℹ |
|
⋃ |
|
𝘼 |
|
𝘾 |
|
𝘿 |
|
𝙀 |
|
𝙍 |
|
𝙏 |
|
## |
|
## |
|
## |
|
## |
|
## |
|
##! |
|
##" |
|
### |
|
##$ |
|
##% |
|
##& |
|
##' |
|
##( |
|
##) |
|
##* |
|
##+ |
|
##, |
|
##- |
|
##. |
|
##/ |
|
##0 |
|
##1 |
|
##2 |
|
##3 |
|
##4 |
|
##5 |
|
##6 |
|
##7 |
|
##8 |
|
##9 |
|
##: |
|
##; |
|
##< |
|
##= |
|
##> |
|
##? |
|
##@ |
|
##A |
|
##B |
|
##C |
|
##D |
|
##E |
|
##F |
|
##G |
|
##H |
|
##I |
|
##J |
|
##K |
|
##L |
|
##M |
|
##N |
|
##O |
|
##P |
|
##Q |
|
##R |
|
##S |
|
##T |
|
##U |
|
##V |
|
##W |
|
##X |
|
##Y |
|
##Z |
|
##[ |
|
##\ |
|
##] |
|
##^ |
|
##_ |
|
##` |
|
##a |
|
##b |
|
##c |
|
##d |
|
##e |
|
##f |
|
##g |
|
##h |
|
##i |
|
##j |
|
##k |
|
##l |
|
##m |
|
##n |
|
##o |
|
##p |
|
##q |
|
##r |
|
##s |
|
##t |
|
##u |
|
##v |
|
##w |
|
##x |
|
##y |
|
##z |
|
##{ |
|
##| |
|
##} |
|
##~ |
|
##¡ |
|
##¢ |
|
##£ |
|
##¥ |
|
##§ |
|
##¯ |
|
##µ |
|
##º |
|
##» |
|
##¿ |
|
##À |
|
##Â |
|
##Ã |
|
##Ä |
|
##Å |
|
##Ç |
|
##Ë |
|
##Í |
|
##Î |
|
##Ï |
|
##Ñ |
|
##Ó |
|
##Ø |
|
##Ù |
|
##Ú |
|
##Ü |
|
##ß |
|
##à |
|
##á |
|
##â |
|
##ã |
|
##ä |
|
##å |
|
##æ |
|
##ç |
|
##è |
|
##é |
|
##ê |
|
##ë |
|
##ì |
|
##í |
|
##î |
|
##ï |
|
##ñ |
|
##ò |
|
##ó |
|
##ô |
|
##õ |
|
##ö |
|
##ø |
|
##ù |
|
##ú |
|
##û |
|
##ü |
|
##ý |
|
##þ |
|
##ā |
|
##ă |
|
##ą |
|
##ć |
|
##č |
|
##ď |
|
##đ |
|
##ē |
|
##ĕ |
|
##ė |
|
##Ę |
|
##ę |
|
##ě |
|
##ġ |
|
##ģ |
|
##ĩ |
|
##ī |
|
##ĭ |
|
##İ |
|
##ı |
|
##ĵ |
|
##ķ |
|
##ĸ |
|
##ĺ |
|
##ł |
|
##ń |
|
##ň |
|
##ʼn |
|
##ŋ |
|
##ō |
|
##ŏ |
|
##ő |
|
##œ |
|
##ŕ |
|
##ŗ |
|
##Ř |
|
##ř |
|
##Ś |
|
##ś |
|
##Ş |
|
##ş |
|
##š |
|
##ţ |
|
##Ť |
|
##ť |
|
##ũ |
|
##ū |
|
##ŭ |
|
##ű |
|
##ų |
|
##ŵ |
|
##Ÿ |
|
##ż |
|
##ž |
|
##ƀ |
|
##Ɓ |
|
##Ƅ |
|
##ƅ |
|
##Ƈ |
|
##ƒ |
|
##ƙ |
|
##ƞ |
|
##Ƭ |
|
##Ư |
|
##Ƴ |
|
##Ǐ |
|
##Ƿ |
|
##ǹ |
|
##ȋ |
|
##ș |
|
##ț |
|
##ȧ |
|
##ȯ |
|
##Ʌ |
|
##ɑ |
|
##ɗ |
|
##ɠ |
|
##ɡ |
|
##ɢ |
|
##ɣ |
|
##ɩ |
|
##ɪ |
|
##ɭ |
|
##ɯ |
|
##ɱ |
|
##ɳ |
|
##ɴ |
|
##ɺ |
|
##ɼ |
|
##ɾ |
|
##ʀ |
|
##ʂ |
|
##ʄ |
|
##ʋ |
|
##ʌ |
|
##ʍ |
|
##ʏ |
|
##ʙ |
|
##ʜ |
|
##ʝ |
|
##ʟ |
|
##ʨ |
|
##˄ |
|
##Α |
|
##Β |
|
##Ε |
|
##Ζ |
|
##Η |
|
##Ι |
|
##Κ |
|
##Μ |
|
##Ν |
|
##Ο |
|
##Ρ |
|
##Τ |
|
##Υ |
|
##Χ |
|
##ί |
|
##α |
|
##β |
|
##γ |
|
##η |
|
##ι |
|
##κ |
|
##μ |
|
##ν |
|
##ο |
|
##π |
|
##ρ |
|
##σ |
|
##τ |
|
##υ |
|
##χ |
|
##ω |
|
##ϲ |
|
##ϳ |
|
##Ϲ |
|
##Ϻ |
|
##Ѕ |
|
##Ј |
|
##А |
|
##В |
|
##Е |
|
##З |
|
##К |
|
##М |
|
##Н |
|
##О |
|
##Р |
|
##С |
|
##Т |
|
##У |
|
##Х |
|
##Ь |
|
##а |
|
##в |
|
##г |
|
##д |
|
##е |
|
##и |
|
##к |
|
##л |
|
##н |
|
##о |
|
##п |
|
##р |
|
##с |
|
##т |
|
##у |
|
##х |
|
##ч |
|
##ш |
|
##щ |
|
##ѐ |
|
##ё |
|
##ѕ |
|
##і |
|
##ј |
|
##џ |
|
##ѡ |
|
##Ѵ |
|
##ѵ |
|
##ҏ |
|
##қ |
|
##ҡ |
|
##ң |
|
##ҥ |
|
##Ү |
|
##ү |
|
##ҳ |
|
##һ |
|
##ҽ |
|
##ӏ |
|
##ԁ |
|
##ԛ |
|
##Ա |
|
##Ի |
|
##Ս |
|
##Տ |
|
##Օ |
|
##ա |
|
##գ |
|
##զ |
|
##ժ |
|
##հ |
|
##յ |
|
##ս |
|
##օ |
|
##Ⴍ |
|
##Ⴓ |
|
##Ⴝ |
|
##Ꭰ |
|
##Ꭲ |
|
##Ꭵ |
|
##Ꭺ |
|
##Ꭻ |
|
##Ꮃ |
|
##Ꮇ |
|
##Ꮋ |
|
##Ꮐ |
|
##Ꮓ |
|
##Ꮢ |
|
##Ꮩ |
|
##Ꮪ |
|
##Ꮮ |
|
##Ꮯ |
|
##Ꮲ |
|
##Ꮶ |
|
##Ᏼ |
|
##ᚱ |
|
##ᛁ |
|
##ᛒ |
|
##ᛕ |
|
##ᛖ |
|
##ᴄ |
|
##ᴇ |
|
##ᴋ |
|
##ᴍ |
|
##ᴏ |
|
##ᴑ |
|
##ᴜ |
|
##ᴠ |
|
##ᴡ |
|
##ᴦ |
|
##ᴨ |
|
##ᴺ |
|
##ᴼ |
|
##ᴾ |
|
##ᴿ |
|
##ḟ |
|
##ḱ |
|
##ḿ |
|
##ṁ |
|
##ṅ |
|
##Ṛ |
|
##ṡ |
|
##ẁ |
|
##ẃ |
|
##ẇ |
|
##ἀ |
|
##ἁ |
|
##ἇ |
|
##ἰ |
|
##ἱ |
|
##ἳ |
|
##ὀ |
|
##ὁ |
|
##ὶ |
|
##ί |
|
##ῤ |
|
##ῥ |
|
##― |
|
##₩ |
|
##€ |
|
##₿ |
|
##ℹ |
|
##⋃ |
|
##𝘼 |
|
##𝘾 |
|
##𝘿 |
|
##𝙀 |
|
##𝙍 |
|
##𝙏 |
|
|