lhy's picture
add tokenizer
25ba562
[UNK]
[CLS]
[SEP]
[PAD]
[MASK]





!
"
#
$
%
&
'
(
)
*
+
,
-
.
/
0
1
2
3
4
5
6
7
8
9
:
;
<
=
>
?
@
A
B
C
D
E
F
G
H
I
J
K
L
M
N
O
P
Q
R
S
T
U
V
W
X
Y
Z
[
\
]
^
_
`
a
b
c
d
e
f
g
h
i
j
k
l
m
n
o
p
q
r
s
t
u
v
w
x
y
z
{
|
}
~
¡
¢
£
¥
§
¯
µ
º
»
¿
À
Â
Ã
Ä
Å
Ç
Ë
Í
Î
Ï
Ñ
Ó
Ø
Ù
Ú
Ü
ß
à
á
â
ã
ä
å
æ
ç
è
é
ê
ë
ì
í
î
ï
ñ
ò
ó
ô
õ
ö
ø
ù
ú
û
ü
ý
þ
ā
ă
ą
ć
č
ď
đ
ē
ĕ
ė
Ę
ę
ě
ġ
ģ
ĩ
ī
ĭ
İ
ı
ĵ
ķ
ĸ
ĺ
ł
ń
ň
ʼn
ŋ
ō
ŏ
ő
œ
ŕ
ŗ
Ř
ř
Ś
ś
Ş
ş
š
ţ
Ť
ť
ũ
ū
ŭ
ű
ų
ŵ
Ÿ
ż
ž
ƀ
Ɓ
Ƅ
ƅ
Ƈ
ƒ
ƙ
ƞ
Ƭ
Ư
Ƴ
Ǐ
Ƿ
ǹ
ȋ
ș
ț
ȧ
ȯ
Ʌ
ɑ
ɗ
ɠ
ɡ
ɢ
ɣ
ɩ
ɪ
ɭ
ɯ
ɱ
ɳ
ɴ
ɺ
ɼ
ɾ
ʀ
ʂ
ʄ
ʋ
ʌ
ʍ
ʏ
ʙ
ʜ
ʝ
ʟ
ʨ
˄
Α
Β
Ε
Ζ
Η
Ι
Κ
Μ
Ν
Ο
Ρ
Τ
Υ
Χ
ί
α
β
γ
η
ι
κ
μ
ν
ο
π
ρ
σ
τ
υ
χ
ω
ϲ
ϳ
Ϲ
Ϻ
Ѕ
Ј
А
В
Е
З
К
М
Н
О
Р
С
Т
У
Х
Ь
а
в
г
д
е
и
к
л
н
о
п
р
с
т
у
х
ч
ш
щ
ѐ
ё
ѕ
і
ј
џ
ѡ
Ѵ
ѵ
ҏ
қ
ҡ
ң
ҥ
Ү
ү
ҳ
һ
ҽ
ӏ
ԁ
ԛ
Ա
Ի
Ս
Տ
Օ
ա
գ
զ
ժ
հ
յ
ս
օ
ᴿ
ḿ
𝘼
𝘾
𝘿
𝙀
𝙍
𝙏
##
##
##
##
##
##!
##"
###
##$
##%
##&
##'
##(
##)
##*
##+
##,
##-
##.
##/
##0
##1
##2
##3
##4
##5
##6
##7
##8
##9
##:
##;
##<
##=
##>
##?
##@
##A
##B
##C
##D
##E
##F
##G
##H
##I
##J
##K
##L
##M
##N
##O
##P
##Q
##R
##S
##T
##U
##V
##W
##X
##Y
##Z
##[
##\
##]
##^
##_
##`
##a
##b
##c
##d
##e
##f
##g
##h
##i
##j
##k
##l
##m
##n
##o
##p
##q
##r
##s
##t
##u
##v
##w
##x
##y
##z
##{
##|
##}
##~
##¡
##¢
##£
##¥
##§
##¯
##µ
##º
##»
##¿
##À
##Â
##Ã
##Ä
##Å
##Ç
##Ë
##Í
##Î
##Ï
##Ñ
##Ó
##Ø
##Ù
##Ú
##Ü
##ß
##à
##á
##â
##ã
##ä
##å
##æ
##ç
##è
##é
##ê
##ë
##ì
##í
##î
##ï
##ñ
##ò
##ó
##ô
##õ
##ö
##ø
##ù
##ú
##û
##ü
##ý
##þ
##ā
##ă
##ą
##ć
##č
##ď
##đ
##ē
##ĕ
##ė
##Ę
##ę
##ě
##ġ
##ģ
##ĩ
##ī
##ĭ
##İ
##ı
##ĵ
##ķ
##ĸ
##ĺ
##ł
##ń
##ň
##ʼn
##ŋ
##ō
##ŏ
##ő
##œ
##ŕ
##ŗ
##Ř
##ř
##Ś
##ś
##Ş
##ş
##š
##ţ
##Ť
##ť
##ũ
##ū
##ŭ
##ű
##ų
##ŵ
##Ÿ
##ż
##ž
##ƀ
##Ɓ
##Ƅ
##ƅ
##Ƈ
##ƒ
##ƙ
##ƞ
##Ƭ
##Ư
##Ƴ
##Ǐ
##Ƿ
##ǹ
##ȋ
##ș
##ț
##ȧ
##ȯ
##Ʌ
##ɑ
##ɗ
##ɠ
##ɡ
##ɢ
##ɣ
##ɩ
##ɪ
##ɭ
##ɯ
##ɱ
##ɳ
##ɴ
##ɺ
##ɼ
##ɾ
##ʀ
##ʂ
##ʄ
##ʋ
##ʌ
##ʍ
##ʏ
##ʙ
##ʜ
##ʝ
##ʟ
##ʨ
##˄
##Α
##Β
##Ε
##Ζ
##Η
##Ι
##Κ
##Μ
##Ν
##Ο
##Ρ
##Τ
##Υ
##Χ
##ί
##α
##β
##γ
##η
##ι
##κ
##μ
##ν
##ο
##π
##ρ
##σ
##τ
##υ
##χ
##ω
##ϲ
##ϳ
##Ϲ
##Ϻ
##Ѕ
##Ј
##А
##В
##Е
##З
##К
##М
##Н
##О
##Р
##С
##Т
##У
##Х
##Ь
##а
##в
##г
##д
##е
##и
##к
##л
##н
##о
##п
##р
##с
##т
##у
##х
##ч
##ш
##щ
##ѐ
##ё
##ѕ
##і
##ј
##џ
##ѡ
##Ѵ
##ѵ
##ҏ
##қ
##ҡ
##ң
##ҥ
##Ү
##ү
##ҳ
##һ
##ҽ
##ӏ
##ԁ
##ԛ
##Ա
##Ի
##Ս
##Տ
##Օ
##ա
##գ
##զ
##ժ
##հ
##յ
##ս
##օ
##Ⴍ
##Ⴓ
##Ⴝ
##Ꭰ
##Ꭲ
##Ꭵ
##Ꭺ
##Ꭻ
##Ꮃ
##Ꮇ
##Ꮋ
##Ꮐ
##Ꮓ
##Ꮢ
##Ꮩ
##Ꮪ
##Ꮮ
##Ꮯ
##Ꮲ
##Ꮶ
##Ᏼ
##ᚱ
##ᛁ
##ᛒ
##ᛕ
##ᛖ
##ᴄ
##ᴇ
##ᴋ
##ᴍ
##ᴏ
##ᴑ
##ᴜ
##ᴠ
##ᴡ
##ᴦ
##ᴨ
##ᴺ
##ᴼ
##ᴾ
##ᴿ
##ḟ
##ḱ
##ḿ
##ṁ
##ṅ
##Ṛ
##ṡ
##ẁ
##ẃ
##ẇ
##ἀ
##ἁ
##ἇ
##ἰ
##ἱ
##ἳ
##ὀ
##ὁ
##ὶ
##ί
##ῤ
##ῥ
##―
##₩
##€
##₿
##ℹ
##⋃
##𝘼
##𝘾
##𝘿
##𝙀
##𝙍
##𝙏