Spaces:
Running
on
Zero
Running
on
Zero
Upload 5 files
Browse files
Preprocessing/multilinguality/iso_lookup.json
ADDED
The diff for this file is too large to render.
See raw diff
|
|
Preprocessing/multilinguality/iso_to_fullname.json
ADDED
The diff for this file is too large to render.
See raw diff
|
|
Preprocessing/multilinguality/iso_to_long_lat.json
ADDED
The diff for this file is too large to render.
See raw diff
|
|
Preprocessing/multilinguality/iso_to_memberships.json
ADDED
The diff for this file is too large to render.
See raw diff
|
|
Preprocessing/multilinguality/supervised_languages.json
ADDED
@@ -0,0 +1,473 @@
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
|
1 |
+
[
|
2 |
+
"eng",
|
3 |
+
"deu",
|
4 |
+
"fra",
|
5 |
+
"spa",
|
6 |
+
"cmn",
|
7 |
+
"por",
|
8 |
+
"pol",
|
9 |
+
"ita",
|
10 |
+
"nld",
|
11 |
+
"ell",
|
12 |
+
"fin",
|
13 |
+
"vie",
|
14 |
+
"jpn",
|
15 |
+
"rus",
|
16 |
+
"hun",
|
17 |
+
"asm",
|
18 |
+
"ben",
|
19 |
+
"brx",
|
20 |
+
"dgo",
|
21 |
+
"guj",
|
22 |
+
"hin",
|
23 |
+
"kan",
|
24 |
+
"kas",
|
25 |
+
"knn",
|
26 |
+
"mai",
|
27 |
+
"mal",
|
28 |
+
"mni",
|
29 |
+
"mar",
|
30 |
+
"nep",
|
31 |
+
"ory",
|
32 |
+
"pan",
|
33 |
+
"san",
|
34 |
+
"sat",
|
35 |
+
"snd",
|
36 |
+
"tam",
|
37 |
+
"tel",
|
38 |
+
"urd",
|
39 |
+
"bem",
|
40 |
+
"swh",
|
41 |
+
"amh",
|
42 |
+
"wol",
|
43 |
+
"chv",
|
44 |
+
"iba",
|
45 |
+
"jav",
|
46 |
+
"fon",
|
47 |
+
"hau",
|
48 |
+
"lbb",
|
49 |
+
"kik",
|
50 |
+
"lin",
|
51 |
+
"lug",
|
52 |
+
"luo",
|
53 |
+
"sxb",
|
54 |
+
"yor",
|
55 |
+
"nya",
|
56 |
+
"loz",
|
57 |
+
"toi",
|
58 |
+
"afr",
|
59 |
+
"arb",
|
60 |
+
"ast",
|
61 |
+
"azj",
|
62 |
+
"bel",
|
63 |
+
"bul",
|
64 |
+
"bos",
|
65 |
+
"cat",
|
66 |
+
"ceb",
|
67 |
+
"sdh",
|
68 |
+
"ces",
|
69 |
+
"cym",
|
70 |
+
"dan",
|
71 |
+
"ekk",
|
72 |
+
"pes",
|
73 |
+
"fil",
|
74 |
+
"gle",
|
75 |
+
"glg",
|
76 |
+
"heb",
|
77 |
+
"hrv",
|
78 |
+
"hye",
|
79 |
+
"ind",
|
80 |
+
"ibo",
|
81 |
+
"isl",
|
82 |
+
"kat",
|
83 |
+
"kam",
|
84 |
+
"kea",
|
85 |
+
"kaz",
|
86 |
+
"khm",
|
87 |
+
"kor",
|
88 |
+
"ltz",
|
89 |
+
"lao",
|
90 |
+
"lit",
|
91 |
+
"lvs",
|
92 |
+
"mri",
|
93 |
+
"mkd",
|
94 |
+
"xng",
|
95 |
+
"zsm",
|
96 |
+
"mlt",
|
97 |
+
"oci",
|
98 |
+
"pst",
|
99 |
+
"ron",
|
100 |
+
"slk",
|
101 |
+
"slv",
|
102 |
+
"sna",
|
103 |
+
"som",
|
104 |
+
"srp",
|
105 |
+
"swe",
|
106 |
+
"tgk",
|
107 |
+
"tur",
|
108 |
+
"ukr",
|
109 |
+
"umb",
|
110 |
+
"uzn",
|
111 |
+
"bhd",
|
112 |
+
"kfs",
|
113 |
+
"gbk",
|
114 |
+
"bgc",
|
115 |
+
"xnr",
|
116 |
+
"kfx",
|
117 |
+
"mjl",
|
118 |
+
"bfz",
|
119 |
+
"acf",
|
120 |
+
"bss",
|
121 |
+
"inb",
|
122 |
+
"nca",
|
123 |
+
"quh",
|
124 |
+
"wap",
|
125 |
+
"acr",
|
126 |
+
"bus",
|
127 |
+
"dgr",
|
128 |
+
"maz",
|
129 |
+
"nch",
|
130 |
+
"qul",
|
131 |
+
"tav",
|
132 |
+
"wmw",
|
133 |
+
"acu",
|
134 |
+
"byr",
|
135 |
+
"dik",
|
136 |
+
"iou",
|
137 |
+
"mbb",
|
138 |
+
"ncj",
|
139 |
+
"qvc",
|
140 |
+
"tbc",
|
141 |
+
"xed",
|
142 |
+
"agd",
|
143 |
+
"bzh",
|
144 |
+
"djk",
|
145 |
+
"ipi",
|
146 |
+
"mbc",
|
147 |
+
"ncl",
|
148 |
+
"qve",
|
149 |
+
"tbg",
|
150 |
+
"xon",
|
151 |
+
"agg",
|
152 |
+
"bzj",
|
153 |
+
"dop",
|
154 |
+
"jac",
|
155 |
+
"mbh",
|
156 |
+
"ncu",
|
157 |
+
"qvh",
|
158 |
+
"tbl",
|
159 |
+
"xtd",
|
160 |
+
"agn",
|
161 |
+
"caa",
|
162 |
+
"jic",
|
163 |
+
"mbj",
|
164 |
+
"ndj",
|
165 |
+
"qvm",
|
166 |
+
"tbz",
|
167 |
+
"xtm",
|
168 |
+
"agr",
|
169 |
+
"cab",
|
170 |
+
"emp",
|
171 |
+
"jiv",
|
172 |
+
"mbt",
|
173 |
+
"nfa",
|
174 |
+
"qvn",
|
175 |
+
"tca",
|
176 |
+
"yaa",
|
177 |
+
"agu",
|
178 |
+
"cap",
|
179 |
+
"jvn",
|
180 |
+
"mca",
|
181 |
+
"ngp",
|
182 |
+
"qvs",
|
183 |
+
"tcs",
|
184 |
+
"yad",
|
185 |
+
"aia",
|
186 |
+
"car",
|
187 |
+
"ese",
|
188 |
+
"mcb",
|
189 |
+
"ngu",
|
190 |
+
"qvw",
|
191 |
+
"yal",
|
192 |
+
"cax",
|
193 |
+
"kaq",
|
194 |
+
"mcd",
|
195 |
+
"nhe",
|
196 |
+
"qvz",
|
197 |
+
"tee",
|
198 |
+
"ycn",
|
199 |
+
"ake",
|
200 |
+
"cbc",
|
201 |
+
"far",
|
202 |
+
"mco",
|
203 |
+
"qwh",
|
204 |
+
"yka",
|
205 |
+
"alp",
|
206 |
+
"cbi",
|
207 |
+
"kdc",
|
208 |
+
"mcp",
|
209 |
+
"nhu",
|
210 |
+
"qxh",
|
211 |
+
"ame",
|
212 |
+
"cbr",
|
213 |
+
"gai",
|
214 |
+
"kde",
|
215 |
+
"mcq",
|
216 |
+
"nhw",
|
217 |
+
"qxn",
|
218 |
+
"tew",
|
219 |
+
"yre",
|
220 |
+
"amf",
|
221 |
+
"cbs",
|
222 |
+
"gam",
|
223 |
+
"kdl",
|
224 |
+
"mdy",
|
225 |
+
"nhy",
|
226 |
+
"qxo",
|
227 |
+
"tfr",
|
228 |
+
"yva",
|
229 |
+
"amk",
|
230 |
+
"cbt",
|
231 |
+
"geb",
|
232 |
+
"kek",
|
233 |
+
"med",
|
234 |
+
"nin",
|
235 |
+
"rai",
|
236 |
+
"zaa",
|
237 |
+
"apb",
|
238 |
+
"cbu",
|
239 |
+
"glk",
|
240 |
+
"ken",
|
241 |
+
"mee",
|
242 |
+
"nko",
|
243 |
+
"rgu",
|
244 |
+
"zab",
|
245 |
+
"apr",
|
246 |
+
"cbv",
|
247 |
+
"meq",
|
248 |
+
"tgo",
|
249 |
+
"zac",
|
250 |
+
"arl",
|
251 |
+
"cco",
|
252 |
+
"gng",
|
253 |
+
"kje",
|
254 |
+
"met",
|
255 |
+
"nlg",
|
256 |
+
"rop",
|
257 |
+
"tgp",
|
258 |
+
"zad",
|
259 |
+
"grc",
|
260 |
+
"klv",
|
261 |
+
"mgh",
|
262 |
+
"nnq",
|
263 |
+
"rro",
|
264 |
+
"zai",
|
265 |
+
"ata",
|
266 |
+
"cek",
|
267 |
+
"gub",
|
268 |
+
"kmu",
|
269 |
+
"mib",
|
270 |
+
"noa",
|
271 |
+
"ruf",
|
272 |
+
"tna",
|
273 |
+
"zam",
|
274 |
+
"atb",
|
275 |
+
"cgc",
|
276 |
+
"guh",
|
277 |
+
"kne",
|
278 |
+
"mie",
|
279 |
+
"not",
|
280 |
+
"rug",
|
281 |
+
"tnk",
|
282 |
+
"zao",
|
283 |
+
"atg",
|
284 |
+
"chf",
|
285 |
+
"knf",
|
286 |
+
"mih",
|
287 |
+
"npl",
|
288 |
+
"tnn",
|
289 |
+
"zar",
|
290 |
+
"awb",
|
291 |
+
"chz",
|
292 |
+
"gum",
|
293 |
+
"knj",
|
294 |
+
"mil",
|
295 |
+
"sab",
|
296 |
+
"tnp",
|
297 |
+
"zas",
|
298 |
+
"cjo",
|
299 |
+
"guo",
|
300 |
+
"ksr",
|
301 |
+
"mio",
|
302 |
+
"obo",
|
303 |
+
"seh",
|
304 |
+
"toc",
|
305 |
+
"zav",
|
306 |
+
"azg",
|
307 |
+
"cle",
|
308 |
+
"gux",
|
309 |
+
"kue",
|
310 |
+
"mit",
|
311 |
+
"omw",
|
312 |
+
"sey",
|
313 |
+
"tos",
|
314 |
+
"zaw",
|
315 |
+
"azz",
|
316 |
+
"cme",
|
317 |
+
"gvc",
|
318 |
+
"kvn",
|
319 |
+
"miz",
|
320 |
+
"ood",
|
321 |
+
"sgb",
|
322 |
+
"tpi",
|
323 |
+
"zca",
|
324 |
+
"bao",
|
325 |
+
"cni",
|
326 |
+
"gwi",
|
327 |
+
"kwd",
|
328 |
+
"mkl",
|
329 |
+
"shp",
|
330 |
+
"tpt",
|
331 |
+
"zga",
|
332 |
+
"bba",
|
333 |
+
"cnl",
|
334 |
+
"gym",
|
335 |
+
"kwf",
|
336 |
+
"mkn",
|
337 |
+
"ote",
|
338 |
+
"sja",
|
339 |
+
"trc",
|
340 |
+
"ziw",
|
341 |
+
"bbb",
|
342 |
+
"cnt",
|
343 |
+
"gyr",
|
344 |
+
"kwi",
|
345 |
+
"mop",
|
346 |
+
"otq",
|
347 |
+
"snn",
|
348 |
+
"ttc",
|
349 |
+
"zlm",
|
350 |
+
"cof",
|
351 |
+
"hat",
|
352 |
+
"kyc",
|
353 |
+
"mox",
|
354 |
+
"pab",
|
355 |
+
"snp",
|
356 |
+
"tte",
|
357 |
+
"zos",
|
358 |
+
"bgt",
|
359 |
+
"con",
|
360 |
+
"kyf",
|
361 |
+
"mpm",
|
362 |
+
"pad",
|
363 |
+
"tue",
|
364 |
+
"zpc",
|
365 |
+
"bjr",
|
366 |
+
"cot",
|
367 |
+
"kyg",
|
368 |
+
"mpp",
|
369 |
+
"soy",
|
370 |
+
"tuf",
|
371 |
+
"zpl",
|
372 |
+
"bjv",
|
373 |
+
"cpa",
|
374 |
+
"kyq",
|
375 |
+
"mpx",
|
376 |
+
"pao",
|
377 |
+
"tuo",
|
378 |
+
"zpm",
|
379 |
+
"bjz",
|
380 |
+
"cpb",
|
381 |
+
"hlt",
|
382 |
+
"kyz",
|
383 |
+
"mqb",
|
384 |
+
"pib",
|
385 |
+
"spp",
|
386 |
+
"zpo",
|
387 |
+
"bkd",
|
388 |
+
"cpu",
|
389 |
+
"hns",
|
390 |
+
"lac",
|
391 |
+
"mqj",
|
392 |
+
"pir",
|
393 |
+
"spy",
|
394 |
+
"txq",
|
395 |
+
"zpu",
|
396 |
+
"blz",
|
397 |
+
"crn",
|
398 |
+
"hto",
|
399 |
+
"lat",
|
400 |
+
"msy",
|
401 |
+
"pjt",
|
402 |
+
"sri",
|
403 |
+
"txu",
|
404 |
+
"zpz",
|
405 |
+
"bmr",
|
406 |
+
"cso",
|
407 |
+
"hub",
|
408 |
+
"lex",
|
409 |
+
"mto",
|
410 |
+
"pls",
|
411 |
+
"srm",
|
412 |
+
"udu",
|
413 |
+
"ztq",
|
414 |
+
"bmu",
|
415 |
+
"ctu",
|
416 |
+
"lgl",
|
417 |
+
"muy",
|
418 |
+
"poi",
|
419 |
+
"srn",
|
420 |
+
"zty",
|
421 |
+
"bnp",
|
422 |
+
"cuc",
|
423 |
+
"lid",
|
424 |
+
"mxb",
|
425 |
+
"stp",
|
426 |
+
"upv",
|
427 |
+
"zyp",
|
428 |
+
"boa",
|
429 |
+
"cui",
|
430 |
+
"huu",
|
431 |
+
"mxq",
|
432 |
+
"sus",
|
433 |
+
"ura",
|
434 |
+
"boj",
|
435 |
+
"cuk",
|
436 |
+
"huv",
|
437 |
+
"llg",
|
438 |
+
"mxt",
|
439 |
+
"poy",
|
440 |
+
"suz",
|
441 |
+
"urb",
|
442 |
+
"box",
|
443 |
+
"cwe",
|
444 |
+
"hvn",
|
445 |
+
"prf",
|
446 |
+
"urt",
|
447 |
+
"bpr",
|
448 |
+
"cya",
|
449 |
+
"ign",
|
450 |
+
"lww",
|
451 |
+
"myk",
|
452 |
+
"ptu",
|
453 |
+
"usp",
|
454 |
+
"bps",
|
455 |
+
"daa",
|
456 |
+
"ikk",
|
457 |
+
"maj",
|
458 |
+
"myy",
|
459 |
+
"vid",
|
460 |
+
"bqc",
|
461 |
+
"dah",
|
462 |
+
"nab",
|
463 |
+
"qub",
|
464 |
+
"tac",
|
465 |
+
"bqp",
|
466 |
+
"ded",
|
467 |
+
"imo",
|
468 |
+
"maq",
|
469 |
+
"nas",
|
470 |
+
"quf",
|
471 |
+
"taj",
|
472 |
+
"vmy"
|
473 |
+
]
|