Upload tokenizer
78f9823
verified
|
#version: 0.2 |
|
Ø § |
|
Ù Ħ |
|
Ġ Ø |
|
Ù Ĩ |
|
Ù ħ |
|
Ù Ĭ |
|
Ù Ī |
|
ا ÙĦ |
|
Ù ĩ |
|
Ø ± |
|
Ġ اÙĦ |
|
h e |
|
Ù ĥ |
|
Ġ t |
|
Ø ª |
|
Ù ģ |
|
Ġ a |
|
Ø ¨ |
|
Ø ¯ |
|
i n |
|
Ù Ĥ |
|
Ø ¹ |
|
e r |
|
Ø ³ |
|
Ġ Ùħ |
|
Ġt he |
|
o n |
|
r e |
|
ĠØ £ |
|
Ø £ |
|
Ġ ÙĪ |
|
i s |
|
e d |
|
Ø Ń |
|
Ø © |
|
Ġ s |
|
Ġ ÙĦ |
|
o r |
|
Ġ w |
|
Ø ° |
|
e n |
|
a t |
|
a n |
|
Ġ ÙĬ |
|
Ġ o |
|
Ġ c |
|
Ġ Ùģ |
|
e s |
|
ĠØ ¨ |
|
a r |
|
ÙĨ ا |
|
i t |
|
a l |
|
ا Ø |
|
Ġ b |
|
a s |
|
Ġ f |
|
ĠØ ¹ |
|
Ġo f |
|
Ù ī |
|
ĠØ ª |
|
Ġ p |
|
Ø ¬ |
|
Ġ in |
|
n d |
|
ÙĬ ÙĨ |
|
ÙĪ ÙĨ |
|
ĠÙħ ÙĨ |
|
Ùĩ Ùħ |
|
i c |
|
ÙĦ ا |
|
in g |
|
ÙĪ ا |
|
Ùħ ا |
|
T he |
|
r o |
|
Ġ h |
|
Ġa nd |
|
ĠØ ¥ |
|
Ġ m |
|
Ġ Ùĥ |
|
i on |
|
Ġ d |
|
Ġt o |
|
Ø ¥ |
|
Ø ® |
|
l e |
|
Ø µ |
|
Ġ is |
|
ا ÙĨ |
|
ĠÙģ ÙĬ |
|
o u |
|
Ùĩ ا |
|
Ø · |
|
Ø ´ |
|
ÙĦ ÙĬ |
|
en t |
|
Ġw as |
|
Ø ² |
|
ÙĦ Ùī |
|
Ø ¶ |
|
ĠØ£ ÙĨ |
|
Ġ l |
|
a m |
|
i l |
|
ذ ا |
|
ÙĦ Ùĩ |
|
o m |
|
Ġ re |
|
ĠاÙĦ Ùħ |
|
s t |
|
Ġ n |
|
e l |
|
Ø « |
|
Ġ Ùĩ |
|
ÙĪ Ùħ |
|
Ġ S |
|
Ġ ÙĤ |
|
ĠØ ± |
|
o l |
|
Ġ C |
|
c t |
|
ÙĬ ا |
|
ĠØ ³ |
|
l y |
|
ÙĦ Ùħ |
|
Ø§Ø ¡ |
|
ÙĪ ÙĦ |
|
a d |
|
u r |
|
i v |
|
Ġ e |
|
Ø º |
|
Ø¥ ÙĨ |
|
t er |
|
Ùĥ Ùħ |
|
Ġ ÙĨ |
|
ÙĬ ر |
|
Ġ g |
|
س ت |
|
o t |
|
Ġb e |
|
c h |
|
ĠØ Ń |
|
u s |
|
i d |
|
i m |
|
o w |
|
Ġt h |
|
ر ÙĬ |
|
at ion |
|
he r |
|
i g |
|
ĠاÙĦ ÙĦÙĩ |
|
Ġa l |
|
ÙĦ Ùĥ |
|
Ùħ ÙĨ |
|
ĠاÙĦ Ø£ |
|
i r |
|
a y |
|
er s |
|
e t |
|
ا ب |
|
Ġf or |
|
Ø ¸ |
|
Ġ on |
|
c e |
|
Ġ M |
|
ĠØ ¬ |
|
Ġs t |
|
Ġ A |
|
Ø ¦ |
|
r a |
|
u t |
|
Ġع ÙĨ |
|
Ġ B |
|
Ġ P |
|
د ÙĬ |
|
ĠÙĦ ا |
|
د ا |
|
ر ا |
|
Ġa s |
|
u l |
|
ĠØ ´ |
|
Ġب اÙĦ |
|
H e |
|
ÙĨ ÙĬ |
|
Ġع ÙĦÙī |
|
ĠÙħ ا |
|
is t |
|
it h |
|
u n |
|
Ġ " |
|
ĠØ ® |
|
Ġa re |
|
Ġ v |
|
I t |
|
Ġb y |
|
' s |
|
s o |
|
ĠÙĪ اÙĦ |
|
ĠاÙĦ Ø° |
|
ع د |
|
Ø£ ÙĨ |
|
u m |
|
ب ÙĬ |
|
Ġw ith |
|
g e |
|
ب ا |
|
s e |
|
Ġc on |
|
a v |
|
Ġ R |
|
ÙĤ د |
|
or t |
|
ĠØ¥ ÙĦÙī |
|
ÙĬ Ùħ |
|
a in |
|
ĠاÙĦ ع |
|
ĠØ µ |
|
Ùĩ ÙĦ |
|
ر ة |
|
an d |
|
Ġع ÙĦÙĬ |
|
ĠاÙĦ ØŃ |
|
Ġa t |
|
ا ت |
|
ĠاÙĦ س |
|
ا Ùħ |
|
v er |
|
Ġp ro |
|
ĠØ¥ ÙĨ |
|
ÙĤ اÙĦ |
|
r i |
|
Ġ G |
|
Ġa n |
|
es t |
|
Ø§Ø ¦ |
|
o c |
|
Ø ¢ |
|
Ġ L |
|
ĠÙĥ اÙĨ |
|
Ġal so |
|
o d |
|
Ġ he |
|
ĠØ ° |
|
ÙĬ Ø© |
|
a c |
|
at ed |
|
e m |
|
Ġ T |
|
Ùĥ ÙĨ |
|
Ġ H |
|
o p |
|
ع ÙĦ |
|
ĠÙĦ ÙĬ |
|
i f |
|
Ġ D |
|
ت Ùħ |
|
Ùģ ر |
|
re s |
|
Ġc om |
|
a b |
|
Ġs e |
|
ر ب |
|
Ġ W |
|
ت ÙĬ |
|
Ġر ب |
|
it y |
|
al l |
|
Ġd e |
|
i es |
|
p p |
|
u d |
|
es s |
|
Ġ it |
|
o s |
|
ro m |
|
Ùħ ÙĦ |
|
Ùĥ ر |
|
Ġh is |
|
Ġ F |
|
n t |
|
ĠاÙĦ ر |
|
Ùĥ اÙĨ |
|
Ġ E |
|
ĠØ ¯ |
|
ar t |
|
Ø ¤ |
|
ĠاÙĦ ÙĤ |
|
ĠÙĩ ذا |
|
ا ر |
|
Ġs u |
|
il l |
|
Ùĥ ÙĪÙĨ |
|
ع ر |
|
ØŃ Ø¯ |
|
e w |
|
ĠØ ¢ |
|
Ø£ ÙĨا |
|
a k |
|
Ġ N |
|
Ġc h |
|
am e |
|
ĠØ º |
|
er e |
|
i a |
|
re d |
|
an t |
|
ت Ùĩ |
|
ĠاÙĦ ج |
|
e ar |
|
ÙĤ ÙĦ |
|
Ġf rom |
|
Ġ or |
|
Ùĩ ÙĪ |
|
Ùĥ ÙĦ |
|
ig h |
|
ÙĬ د |
|
Ø° Ùĩ |
|
as t |
|
Ġh as |
|
q u |
|
ا د |
|
i an |
|
Ġw ere |
|
t h |
|
Ġ r |
|
Ø ¡ |
|
ب ر |
|
Ġp l |
|
ĠاÙĦ Ùĥ |
|
at e |
|
en d |
|
al ly |
|
iv e |
|
Ġe x |
|
ÙĦ ÙĤ |
|
ÙĪ اÙĦ |
|
Ø§Ø ¬ |
|
a p |
|
Ġs p |
|
a g |
|
ÙĪ ر |
|
ar d |
|
o re |
|
ÙĬ ع |
|
ÙĪ ÙĤ |
|
ĠÙĪ Ø£ |
|
ĠاÙĦ ص |
|
س ب |
|
h i |
|
l d |
|
Ġ ا |
|
ĠÙĩ ÙĪ |
|
" . |
|
ت ر |
|
Ùģ ÙĬ |
|
ع ÙĦÙħ |
|
ro u |
|
ÙĪ ج |
|
س Ùħ |
|
ou s |
|
Ġ I |
|
ÙĪ د |
|
m ent |
|
Ġ J |
|
Ùħ ر |
|
ĠاÙĦ Ø´ |
|
in e |
|
ĠÙĦ ÙĦ |
|
av e |
|
ĠØ Į |
|
Ùģ س |
|
ĠÙħ ع |
|
Ġth at |
|
Ù Ģ |
|
خ ر |
|
Ġ k |
|
Ġ y |
|
ب ÙĦ |
|
on g |
|
ØŃ Ø¨ |
|
ÙĬ ت |
|
ر ض |
|
Ġw h |
|
ou r |
|
ĠاÙĦØ° ÙĬÙĨ |
|
or n |
|
ĠاÙĦ ÙĨ |
|
ĠØ · |
|
is h |
|
om e |
|
T h |
|
g h |
|
o st |
|
ÙĪ ÙĦا |
|
ar y |
|
r ic |
|
u st |
|
ÙĬ ÙĦ |
|
Ġs h |
|
ĠØ¥ ÙĦا |
|
ĠÙĥ ÙĦ |
|
e ct |
|
ĠØ « |
|
ĠÙĦ Ùħ |
|
c i |
|
Ġth is |
|
Ġ O |
|
el l |
|
ĠاÙĦ ت |
|
ĠاÙĦ ÙĨا |
|
ØŃ Ùħ |
|
ĠاÙĦØ° ÙĬ |
|
Ġب Ùĩ |
|
o g |
|
t her |
|
Ġ us |
|
ر س |
|
Ùģ ا |
|
Ø§Ø ¶ |
|
ÙĪ ت |
|
اÙĦ Ùħ |
|
ÙĤ ÙĪÙĦ |
|
Ġn ot |
|
o v |
|
r it |
|
u c |
|
ÙĪ س |
|
Ġt w |
|
ĠÙĪ Ùħا |
|
or d |
|
ow n |
|
Ġcom p |
|
ĠÙĪ ÙĦا |
|
or k |
|
f ter |
|
ب ع |
|
at er |
|
Ġm an |
|
ت اب |
|
Ġh ave |
|
ĠØ´ ÙĬ |
|
ĠØ° ÙĦÙĥ |
|
a ge |
|
c l |
|
f f |
|
Ġ K |
|
ت Ùĥ |
|
ع ة |
|
ĠÙĬ ÙĪÙħ |
|
I n |
|
ذ ب |
|
رÙĬ د |
|
Th is |
|
a re |
|
b er |
|
w n |
|
Ġ le |
|
Ġب ع |
|
ش ر |
|
ÙĬر ا |
|
r y |
|
u b |
|
ion s |
|
igh t |
|
ÙĪ Ùĩ |
|
ĠÙĦ Ùĩ |
|
ص ر |
|
Ġit s |
|
Ùĥ Ø« |
|
ع ت |
|
ĠØ£ ÙĪ |
|
Ġl oc |
|
o k |
|
ا Ùĩ |
|
ĠÙĪ ÙĦ |
|
Ġbe en |
|
Ġcon t |
|
i e |
|
m er |
|
p t |
|
ÙĬ ÙĪÙħ |
|
ب د |
|
er v |
|
س ا |
|
س ر |
|
on d |
|
ĠØ£ Ùħ |
|
Ġh ad |
|
r an |
|
u re |
|
ÙĦ Ø© |
|
ع Ùħ |
|
The y |
|
p l |
|
p er |
|
Ġت ÙĪÙħ |
|
ĠS t |
|
r u |
|
Ġ U |
|
ĠاÙĦ Ø® |
|
ØŃ Øª |
|
Ġc l |
|
ic al |
|
ĠاÙĦ د |
|
Ø° ÙĦÙĥ |
|
ar k |
|
إ ذا |
|
ou nt |
|
ÙĦ Ùģ |
|
ÙĪ Ùģ |
|
أ ت |
|
ĠÙĦ ÙĩÙħ |
|
Ġ u |
|
Ġ her |
|
ا Ùģ |
|
ع ÙĪÙĨ |
|
ĠÙĬ ÙĨ |
|
ÙĬ Ùģ |
|
ĠاÙĦ ب |
|
ĠØ£ ÙĬ |
|
ic e |
|
ĠÙĤ اÙĦ |
|
ĠعÙĨ د |
|
c c |
|
i ed |
|
u e |
|
as s |
|
ĠC h |
|
ation s |
|
ig n |
|
Ġ un |
|
ÙĪ Ùħا |
|
ز ÙĦ |
|
ir st |
|
ظ ر |
|
ac k |
|
Ġtw o |
|
S he |
|
Ġ ro |
|
or s |
|
Ø® Ø° |
|
ĠÙģÙĬ Ùĩا |
|
ذا ب |
|
l ow |
|
o ol |
|
ÙĪ ÙĬ |
|
ĠاÙĦ Ùģ |
|
Ġa d |
|
ج د |
|
Ġin t |
|
id e |
|
ĠاÙĦر ØŃ |
|
m an |
|
ÙĪ ب |
|
ÙĪ Ø£ |
|
ĠاÙĦ Ø¥ |
|
ĠاÙĦ Ø¢ |
|
Ġa pp |
|
Ġthe ir |
|
ĠÙĬ Ùħ |
|
il d |
|
ÙĬا ت |
|
عر Ùģ |
|
ÙĥØ« ر |
|
ÙĦ Ùħا |
|
ÙĨ Ø© |
|
Ùħ ع |
|
Ġa r |
|
Ø§Ø µ |
|
ic h |
|
ab le |
|
ÙĪ ع |
|
Ùĩ ذا |
|
re e |
|
Ġب عد |
|
it ion |
|
Ø§Ø · |
|
Ġf irst |
|
ou nd |
|
Ø¥ÙĨ Ùĩ |
|
ter n |
|
Ġbe c |
|
Ġ ÙĩÙħ |
|
ĠØ ² |
|
ĠÙĦ Ùĥ |
|
en ce |
|
Ġp er |
|
ch ool |
|
a w |
|
a ch |
|
i re |
|
Ġ j |
|
ت ب |
|
ÙĤ ا |
|
an g |
|
ĠÙĬ ست |
|
ج ر |
|
ĠÙĤ د |
|
ul t |
|
ĠØ ¶ |
|
Ġt e |
|
ب ÙĬÙĨ |
|
ØŃ ÙĬ |
|
Ġw ork |
|
Ġت ر |
|
Ġp art |
|
ĠÙĥ ÙĨ |
|
ص ÙĦ |
|
am p |
|
Ġn e |
|
el y |
|
im e |
|
Ġy ear |
|
ĠØ« Ùħ |
|
ÙĤ ت |
|
ĠÙĬ ع |
|
Ġب Ùħا |
|
le ct |
|
Ġon e |
|
ĠاÙĦÙĨا س |
|
a ce |
|
Ø° ÙĬÙĨ |
|
ؤ ÙħÙĨ |
|
Ġk n |
|
cl ud |
|
ÙĪ ÙĤاÙĦ |
|
ĠاÙĦ Ø· |
|
ĠÙĪ ا |
|
ØŃ ÙĨ |
|
ĠÙĦ ÙĨ |
|
en s |
|
Ġب ÙĬÙĨ |
|
ج ÙĦ |
|
ĠØ¥ ÙĦÙĬ |
|
Ġre s |
|
اÙħ ÙĬ |
|
ĠU n |
|
i z |
|
i al |
|
l and |
|
o od |
|
p h |
|
or m |
|
ĠÙĬ ت |
|
a ct |
|
ÙĦ ب |
|
Ùħ ت |
|
Ùħ Ø© |
|
he n |
|
ÙĤ ÙĬ |
|
ÙĤ Ø© |
|
س أ |
|
re n |
|
ĠÙĦ Ø£ |
|
it e |
|
ot h |
|
o y |
|
Ø Į |
|
ÙĪ Ùĥ |
|
ĠÙħ ست |
|
Ġin clud |
|
ent s |
|
ĠاÙĦØ£ رض |
|
Ġرب Ùĥ |
|
he d |
|
Ġa fter |
|
Ġh im |
|
ض ÙĦ |
|
ĠÙĥاÙĨ ÙĪا |
|
e c |
|
o in |
|
Ġ V |
|
ÙĦ ÙĤد |
|
Ùģ ع |
|
ĠØ£ Ùĥثر |
|
Ø° Ùĥر |
|
ĠÙĬ ر |
|
Ø§Ø ´ |
|
Ø® ÙĦ |
|
ĠØ´ÙĬ Ø¡ |
|
Ùģ ت |
|
د ة |
|
on e |
|
or y |
|
Ġc an |
|
Ø§Ø ® |
|
Ġت ع |
|
Ġd es |
|
ĠÙĩ ÙĨا |
|
ad e |
|
ĠعÙĦÙĬ Ùĩ |
|
in d |
|
Ġthe n |
|
ĠÙĬ ا |
|
Ġb ut |
|
ĠØ¥ ذا |
|
el d |
|
Ø« Ùħ |
|
ur n |
|
Ġpl ay |
|
ÙĢ ÙĢ |
|
Ġبع ض |
|
H is |
|
i b |
|
k e |
|
t e |
|
t ed |
|
w ay |
|
ÙĦ ÙĨ |
|
ÙĨ ÙĬا |
|
Ùĩ ر |
|
س ÙĨ |
|
Ø§Ø ² |
|
ÙĩÙħ ا |
|
ÙĪا ت |
|
Ġd is |
|
ur ing |
|
Ø£ÙĨ ت |
|
ĠØ ¸ |
|
ÙĬ ب |
|
ĠاÙĦ غ |
|
د ÙĬÙĨ |
|
at es |
|
at her |
|
ĠÙģ Ø£ |
|
Ġp re |
|
ic k |
|
ĠÙģÙĬ Ùĩ |
|
ĠعÙĦÙĬ ÙĩÙħ |
|
ak e |
|
f er |
|
i ous |
|
l l |
|
ÙĪ ØŃ |
|
ĠÙħ ت |
|
ĠØ£ ص |
|
ØŃ ÙĤ |
|
Ġب ÙĨ |
|
Ġp r |
|
Ø· ÙĬع |
|
Ġس اÙħÙĬ |
|
Ġe v |
|
Ġint o |
|
p ort |
|
t s |
|
ÙĬ ÙĨا |
|
س ÙĬ |
|
س اÙĨ |
|
ĠØ£ Ùģ |
|
ĠØ£ ب |
|
Ġo ther |
|
it ed |
|
al s |
|
Ġn ame |
|
ĠC ol |
|
Ġst ud |
|
res s |
|
e ver |
|
p e |
|
t on |
|
Ġ en |
|
Ġ im |
|
ا ع |
|
ÙĤ ر |
|
|
