llama-2-ko-70b-GPTQ / special_tokens_map.json
kuotient's picture
Add tokenizer and config
2c6baf2
{
"additional_special_tokens": [
"<unused0>",
"<unused1>",
"<unused2>",
"<unused3>",
"<unused4>",
"<unused5>",
"<unused6>",
"<unused7>",
"<unused8>",
"<unused9>",
"<unused10>",
"<unused11>",
"<unused12>",
"<unused13>",
"<unused14>",
"<unused15>",
"<unused16>",
"<unused17>",
"<unused18>",
"<unused19>",
"<unused20>",
"<unused21>",
"<unused22>",
"<unused23>",
"<unused24>",
"<unused25>",
"<unused26>",
"<unused27>",
"<unused28>",
"<unused29>",
"<unused30>",
"<unused31>",
"<unused32>",
"<unused33>",
"<unused34>",
"<unused35>",
"<unused36>",
"<unused37>",
"<unused38>",
"<unused39>",
"<unused40>",
"<unused41>",
"<unused42>",
"<unused43>",
"<unused44>",
"<unused45>",
"<unused46>",
"<unused47>",
"<unused48>",
"<unused49>",
"<unused50>",
"<unused51>",
"<unused52>",
"<unused53>",
"<unused54>",
"<unused55>",
"<unused56>",
"<unused57>",
"<unused58>",
"<unused59>",
"<unused60>",
"<unused61>",
"<unused62>",
"<unused63>",
"<unused64>",
"<unused65>",
"<unused66>",
"<unused67>",
"<unused68>",
"<unused69>",
"<unused70>",
"<unused71>",
"<unused72>",
"<unused73>",
"<unused74>",
"<unused75>",
"<unused76>",
"<unused77>",
"<unused78>",
"<unused79>",
"<unused80>",
"<unused81>",
"<unused82>",
"<unused83>",
"<unused84>",
"<unused85>",
"<unused86>",
"<unused87>",
"<unused88>",
"<unused89>",
"<unused90>",
"<unused91>",
"<unused92>",
"<unused93>",
"<unused94>",
"<unused95>",
"<unused96>",
"<unused97>",
"<unused98>",
"<unused99>",
"<unused100>",
"<unused101>",
"<unused102>",
"<unused103>",
"<unused104>",
"<unused105>",
"<unused106>",
"<unused107>",
"<unused108>",
"<unused109>",
"<unused110>",
"<unused111>",
"<unused112>",
"<unused113>",
"<unused114>",
"<unused115>",
"<unused116>",
"<unused117>",
"<unused118>",
"<unused119>",
"<unused120>",
"<unused121>",
"<unused122>",
"<unused123>",
"<unused124>",
"<unused125>",
"<unused126>",
"<unused127>",
"<unused128>",
"<unused129>",
"<unused130>",
"<unused131>",
"<unused132>",
"<unused133>",
"<unused134>",
"<unused135>",
"<unused136>",
"<unused137>",
"<unused138>",
"<unused139>",
"<unused140>",
"<unused141>",
"<unused142>",
"<unused143>",
"<unused144>",
"<unused145>",
"<unused146>",
"<unused147>",
"<unused148>",
"<unused149>",
"<unused150>",
"<unused151>",
"<unused152>",
"<unused153>",
"<unused154>",
"<unused155>",
"<unused156>",
"<unused157>",
"<unused158>",
"<unused159>",
"<unused160>",
"<unused161>",
"<unused162>",
"<unused163>",
"<unused164>",
"<unused165>",
"<unused166>",
"<unused167>",
"<unused168>",
"<unused169>",
"<unused170>",
"<unused171>",
"<unused172>",
"<unused173>",
"<unused174>",
"<unused175>",
"<unused176>",
"<unused177>",
"<unused178>",
"<unused179>",
"<unused180>",
"<unused181>",
"<unused182>",
"<unused183>",
"<unused184>",
"<unused185>",
"<unused186>",
"<unused187>",
"<unused188>",
"<unused189>",
"<unused190>",
"<unused191>",
"<unused192>",
"<unused193>",
"<unused194>",
"<unused195>",
"<unused196>",
"<unused197>",
"<unused198>",
"<unused199>",
"<unused200>",
"<unused201>",
"<unused202>",
"<unused203>",
"<unused204>",
"<unused205>",
"<unused206>",
"<unused207>",
"<unused208>"
],
"bos_token": {
"content": "<s>",
"lstrip": false,
"normalized": false,
"rstrip": false,
"single_word": false
},
"eos_token": {
"content": "</s>",
"lstrip": false,
"normalized": false,
"rstrip": false,
"single_word": false
},
"unk_token": {
"content": "<unk>",
"lstrip": false,
"normalized": false,
"rstrip": false,
"single_word": false
}
}