Flux9665 commited on
Commit
f66c1f0
1 Parent(s): 813d094

Upload 5 files

Browse files
Preprocessing/multilinguality/iso_lookup.json ADDED
The diff for this file is too large to render. See raw diff
 
Preprocessing/multilinguality/iso_to_fullname.json ADDED
The diff for this file is too large to render. See raw diff
 
Preprocessing/multilinguality/iso_to_long_lat.json ADDED
The diff for this file is too large to render. See raw diff
 
Preprocessing/multilinguality/iso_to_memberships.json ADDED
The diff for this file is too large to render. See raw diff
 
Preprocessing/multilinguality/supervised_languages.json ADDED
@@ -0,0 +1,473 @@
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
 
1
+ [
2
+ "eng",
3
+ "deu",
4
+ "fra",
5
+ "spa",
6
+ "cmn",
7
+ "por",
8
+ "pol",
9
+ "ita",
10
+ "nld",
11
+ "ell",
12
+ "fin",
13
+ "vie",
14
+ "jpn",
15
+ "rus",
16
+ "hun",
17
+ "asm",
18
+ "ben",
19
+ "brx",
20
+ "dgo",
21
+ "guj",
22
+ "hin",
23
+ "kan",
24
+ "kas",
25
+ "knn",
26
+ "mai",
27
+ "mal",
28
+ "mni",
29
+ "mar",
30
+ "nep",
31
+ "ory",
32
+ "pan",
33
+ "san",
34
+ "sat",
35
+ "snd",
36
+ "tam",
37
+ "tel",
38
+ "urd",
39
+ "bem",
40
+ "swh",
41
+ "amh",
42
+ "wol",
43
+ "chv",
44
+ "iba",
45
+ "jav",
46
+ "fon",
47
+ "hau",
48
+ "lbb",
49
+ "kik",
50
+ "lin",
51
+ "lug",
52
+ "luo",
53
+ "sxb",
54
+ "yor",
55
+ "nya",
56
+ "loz",
57
+ "toi",
58
+ "afr",
59
+ "arb",
60
+ "ast",
61
+ "azj",
62
+ "bel",
63
+ "bul",
64
+ "bos",
65
+ "cat",
66
+ "ceb",
67
+ "sdh",
68
+ "ces",
69
+ "cym",
70
+ "dan",
71
+ "ekk",
72
+ "pes",
73
+ "fil",
74
+ "gle",
75
+ "glg",
76
+ "heb",
77
+ "hrv",
78
+ "hye",
79
+ "ind",
80
+ "ibo",
81
+ "isl",
82
+ "kat",
83
+ "kam",
84
+ "kea",
85
+ "kaz",
86
+ "khm",
87
+ "kor",
88
+ "ltz",
89
+ "lao",
90
+ "lit",
91
+ "lvs",
92
+ "mri",
93
+ "mkd",
94
+ "xng",
95
+ "zsm",
96
+ "mlt",
97
+ "oci",
98
+ "pst",
99
+ "ron",
100
+ "slk",
101
+ "slv",
102
+ "sna",
103
+ "som",
104
+ "srp",
105
+ "swe",
106
+ "tgk",
107
+ "tur",
108
+ "ukr",
109
+ "umb",
110
+ "uzn",
111
+ "bhd",
112
+ "kfs",
113
+ "gbk",
114
+ "bgc",
115
+ "xnr",
116
+ "kfx",
117
+ "mjl",
118
+ "bfz",
119
+ "acf",
120
+ "bss",
121
+ "inb",
122
+ "nca",
123
+ "quh",
124
+ "wap",
125
+ "acr",
126
+ "bus",
127
+ "dgr",
128
+ "maz",
129
+ "nch",
130
+ "qul",
131
+ "tav",
132
+ "wmw",
133
+ "acu",
134
+ "byr",
135
+ "dik",
136
+ "iou",
137
+ "mbb",
138
+ "ncj",
139
+ "qvc",
140
+ "tbc",
141
+ "xed",
142
+ "agd",
143
+ "bzh",
144
+ "djk",
145
+ "ipi",
146
+ "mbc",
147
+ "ncl",
148
+ "qve",
149
+ "tbg",
150
+ "xon",
151
+ "agg",
152
+ "bzj",
153
+ "dop",
154
+ "jac",
155
+ "mbh",
156
+ "ncu",
157
+ "qvh",
158
+ "tbl",
159
+ "xtd",
160
+ "agn",
161
+ "caa",
162
+ "jic",
163
+ "mbj",
164
+ "ndj",
165
+ "qvm",
166
+ "tbz",
167
+ "xtm",
168
+ "agr",
169
+ "cab",
170
+ "emp",
171
+ "jiv",
172
+ "mbt",
173
+ "nfa",
174
+ "qvn",
175
+ "tca",
176
+ "yaa",
177
+ "agu",
178
+ "cap",
179
+ "jvn",
180
+ "mca",
181
+ "ngp",
182
+ "qvs",
183
+ "tcs",
184
+ "yad",
185
+ "aia",
186
+ "car",
187
+ "ese",
188
+ "mcb",
189
+ "ngu",
190
+ "qvw",
191
+ "yal",
192
+ "cax",
193
+ "kaq",
194
+ "mcd",
195
+ "nhe",
196
+ "qvz",
197
+ "tee",
198
+ "ycn",
199
+ "ake",
200
+ "cbc",
201
+ "far",
202
+ "mco",
203
+ "qwh",
204
+ "yka",
205
+ "alp",
206
+ "cbi",
207
+ "kdc",
208
+ "mcp",
209
+ "nhu",
210
+ "qxh",
211
+ "ame",
212
+ "cbr",
213
+ "gai",
214
+ "kde",
215
+ "mcq",
216
+ "nhw",
217
+ "qxn",
218
+ "tew",
219
+ "yre",
220
+ "amf",
221
+ "cbs",
222
+ "gam",
223
+ "kdl",
224
+ "mdy",
225
+ "nhy",
226
+ "qxo",
227
+ "tfr",
228
+ "yva",
229
+ "amk",
230
+ "cbt",
231
+ "geb",
232
+ "kek",
233
+ "med",
234
+ "nin",
235
+ "rai",
236
+ "zaa",
237
+ "apb",
238
+ "cbu",
239
+ "glk",
240
+ "ken",
241
+ "mee",
242
+ "nko",
243
+ "rgu",
244
+ "zab",
245
+ "apr",
246
+ "cbv",
247
+ "meq",
248
+ "tgo",
249
+ "zac",
250
+ "arl",
251
+ "cco",
252
+ "gng",
253
+ "kje",
254
+ "met",
255
+ "nlg",
256
+ "rop",
257
+ "tgp",
258
+ "zad",
259
+ "grc",
260
+ "klv",
261
+ "mgh",
262
+ "nnq",
263
+ "rro",
264
+ "zai",
265
+ "ata",
266
+ "cek",
267
+ "gub",
268
+ "kmu",
269
+ "mib",
270
+ "noa",
271
+ "ruf",
272
+ "tna",
273
+ "zam",
274
+ "atb",
275
+ "cgc",
276
+ "guh",
277
+ "kne",
278
+ "mie",
279
+ "not",
280
+ "rug",
281
+ "tnk",
282
+ "zao",
283
+ "atg",
284
+ "chf",
285
+ "knf",
286
+ "mih",
287
+ "npl",
288
+ "tnn",
289
+ "zar",
290
+ "awb",
291
+ "chz",
292
+ "gum",
293
+ "knj",
294
+ "mil",
295
+ "sab",
296
+ "tnp",
297
+ "zas",
298
+ "cjo",
299
+ "guo",
300
+ "ksr",
301
+ "mio",
302
+ "obo",
303
+ "seh",
304
+ "toc",
305
+ "zav",
306
+ "azg",
307
+ "cle",
308
+ "gux",
309
+ "kue",
310
+ "mit",
311
+ "omw",
312
+ "sey",
313
+ "tos",
314
+ "zaw",
315
+ "azz",
316
+ "cme",
317
+ "gvc",
318
+ "kvn",
319
+ "miz",
320
+ "ood",
321
+ "sgb",
322
+ "tpi",
323
+ "zca",
324
+ "bao",
325
+ "cni",
326
+ "gwi",
327
+ "kwd",
328
+ "mkl",
329
+ "shp",
330
+ "tpt",
331
+ "zga",
332
+ "bba",
333
+ "cnl",
334
+ "gym",
335
+ "kwf",
336
+ "mkn",
337
+ "ote",
338
+ "sja",
339
+ "trc",
340
+ "ziw",
341
+ "bbb",
342
+ "cnt",
343
+ "gyr",
344
+ "kwi",
345
+ "mop",
346
+ "otq",
347
+ "snn",
348
+ "ttc",
349
+ "zlm",
350
+ "cof",
351
+ "hat",
352
+ "kyc",
353
+ "mox",
354
+ "pab",
355
+ "snp",
356
+ "tte",
357
+ "zos",
358
+ "bgt",
359
+ "con",
360
+ "kyf",
361
+ "mpm",
362
+ "pad",
363
+ "tue",
364
+ "zpc",
365
+ "bjr",
366
+ "cot",
367
+ "kyg",
368
+ "mpp",
369
+ "soy",
370
+ "tuf",
371
+ "zpl",
372
+ "bjv",
373
+ "cpa",
374
+ "kyq",
375
+ "mpx",
376
+ "pao",
377
+ "tuo",
378
+ "zpm",
379
+ "bjz",
380
+ "cpb",
381
+ "hlt",
382
+ "kyz",
383
+ "mqb",
384
+ "pib",
385
+ "spp",
386
+ "zpo",
387
+ "bkd",
388
+ "cpu",
389
+ "hns",
390
+ "lac",
391
+ "mqj",
392
+ "pir",
393
+ "spy",
394
+ "txq",
395
+ "zpu",
396
+ "blz",
397
+ "crn",
398
+ "hto",
399
+ "lat",
400
+ "msy",
401
+ "pjt",
402
+ "sri",
403
+ "txu",
404
+ "zpz",
405
+ "bmr",
406
+ "cso",
407
+ "hub",
408
+ "lex",
409
+ "mto",
410
+ "pls",
411
+ "srm",
412
+ "udu",
413
+ "ztq",
414
+ "bmu",
415
+ "ctu",
416
+ "lgl",
417
+ "muy",
418
+ "poi",
419
+ "srn",
420
+ "zty",
421
+ "bnp",
422
+ "cuc",
423
+ "lid",
424
+ "mxb",
425
+ "stp",
426
+ "upv",
427
+ "zyp",
428
+ "boa",
429
+ "cui",
430
+ "huu",
431
+ "mxq",
432
+ "sus",
433
+ "ura",
434
+ "boj",
435
+ "cuk",
436
+ "huv",
437
+ "llg",
438
+ "mxt",
439
+ "poy",
440
+ "suz",
441
+ "urb",
442
+ "box",
443
+ "cwe",
444
+ "hvn",
445
+ "prf",
446
+ "urt",
447
+ "bpr",
448
+ "cya",
449
+ "ign",
450
+ "lww",
451
+ "myk",
452
+ "ptu",
453
+ "usp",
454
+ "bps",
455
+ "daa",
456
+ "ikk",
457
+ "maj",
458
+ "myy",
459
+ "vid",
460
+ "bqc",
461
+ "dah",
462
+ "nab",
463
+ "qub",
464
+ "tac",
465
+ "bqp",
466
+ "ded",
467
+ "imo",
468
+ "maq",
469
+ "nas",
470
+ "quf",
471
+ "taj",
472
+ "vmy"
473
+ ]