Spaces:

xu-song
/

tokenizer-arena

Running

App Files Files Community

xu-song commited on Sep 18

Commit

6ef6bf4

•

1 Parent(s): f2cec45

update

Browse files

Files changed (24) hide show

README.md +7 -1
character_app.py +6 -3
compression_app.py +6 -3
playground_app.py +9 -8
playground_examples.py +31 -0
playground_util.py +4 -10
stats/character_stats.json +38 -0
stats/compression_rate.json +336 -0
stats/compression_rate/Qwen.Qwen2-0.5B @ cc100.ar.diff.json +117 -0
stats/compression_rate/Qwen.Qwen2-0.5B @ cc100.de.diff.json +109 -0
stats/compression_rate/Qwen.Qwen2-0.5B @ cc100.fa.diff.json +145 -0
stats/compression_rate/Qwen.Qwen2-0.5B @ cc100.fr.diff.json +105 -0
stats/compression_rate/Qwen.Qwen2-0.5B @ cc100.ja.diff.json +142 -0
stats/compression_rate/Qwen.Qwen2-0.5B @ cc100.ko.diff.json +105 -0
stats/compression_rate/allenai.OLMo-7B-hf @ cc100.ar.diff.json +104 -0
stats/compression_rate/allenai.OLMo-7B-hf @ cc100.de.diff.json +103 -0
stats/compression_rate/allenai.OLMo-7B-hf @ cc100.en.diff.json +103 -0
stats/compression_rate/allenai.OLMo-7B-hf @ cc100.es.diff.json +104 -0
stats/compression_rate/allenai.OLMo-7B-hf @ cc100.fa.diff.json +104 -0
stats/compression_rate/allenai.OLMo-7B-hf @ cc100.fr.diff.json +102 -0
stats/compression_rate/allenai.OLMo-7B-hf @ cc100.ja.diff.json +113 -0
stats/compression_rate/allenai.OLMo-7B-hf @ cc100.ko.diff.json +106 -0
stats/compression_rate/allenai.OLMo-7B-hf @ cc100.zh-Hans.diff.json +102 -0
vocab.py +3 -0

README.md CHANGED Viewed

	@@ -28,5 +28,11 @@ python app.py
28
29
30
31	- ## ss






32

+## Deploy to Huggingface
+```sh
+python compression_util.py  # cache compression
+python character_util.py  # cache character
+python stats/sample.py # ss
+```

character_app.py CHANGED Viewed

@@ -65,18 +65,21 @@ with gr.Blocks() as demo:
         columns.change(
             get_character_table,
             inputs=[search_bar, columns],
-            outputs=compress_rate_table
         )
         columns.change(
             get_column_info,
             inputs=[columns],
-            outputs=column_info
         )
         demo.load(
             get_character_table,
             inputs=[search_bar, columns],
-            outputs=compress_rate_table
         )
     if __name__ == "__main__":

         columns.change(
             get_character_table,
             inputs=[search_bar, columns],
+            outputs=compress_rate_table,
+            show_api=False
         )
         columns.change(
             get_column_info,
             inputs=[columns],
+            outputs=column_info,
+            show_api=False
         )
         demo.load(
             get_character_table,
             inputs=[search_bar, columns],
+            outputs=compress_rate_table,
+            show_api=False
         )
     if __name__ == "__main__":

compression_app.py CHANGED Viewed

@@ -170,7 +170,8 @@ with gr.Blocks(theme=theme) as demo:
     compress_rate_unit.change(
         get_compression_leaderboard,
         inputs=[compress_rate_corpus, compress_rate_unit, search_bar],
-        outputs=compress_rate_table
     )
     # file_size.change(
     #     get_all_compress_rate,
@@ -184,13 +185,15 @@ with gr.Blocks(theme=theme) as demo:
             compress_rate_unit,
             search_bar,
         ],
-        outputs=compress_rate_table
     )
     demo.load(
         get_compression_leaderboard,
         inputs=[compress_rate_corpus, compress_rate_unit],
-        outputs=compress_rate_table
     )
 if __name__ == "__main__":

     compress_rate_unit.change(
         get_compression_leaderboard,
         inputs=[compress_rate_corpus, compress_rate_unit, search_bar],
+        outputs=compress_rate_table,
+        show_api=False
     )
     # file_size.change(
     #     get_all_compress_rate,
             compress_rate_unit,
             search_bar,
         ],
+        outputs=compress_rate_table,
+        show_api=False
     )
     demo.load(
         get_compression_leaderboard,
         inputs=[compress_rate_corpus, compress_rate_unit],
+        outputs=compress_rate_table,
+        show_api=False
     )
 if __name__ == "__main__":

playground_app.py CHANGED Viewed

@@ -7,8 +7,7 @@ from vocab import tokenizer_factory
 from playground_examples import example_types, example_fn
 from playground_util import (tokenize,
                              tokenize_pair, basic_count,
-                             get_overlap_token_size, on_load,
-                             default_user_input, default_tokenizer_name_1, default_tokenizer_name_2)
 get_window_url_params = """
     function(url_params) {
@@ -192,13 +191,13 @@ with gr.Blocks() as demo:
     # TODO: every=3
     user_input.change(tokenize_pair,
                       [user_input, tokenizer_name_1, tokenizer_name_2],
-                      [output_text_1, output_table_1, output_text_2, output_table_2])  # , pass_request=1
     tokenizer_name_2.change(tokenize, [user_input, tokenizer_name_2],
-                            [output_text_2, output_table_2])
-    tokenizer_name_2.change(basic_count, [tokenizer_name_2], [stats_vocab_size_2, organization_2])
     tokenizer_name_2.change(get_overlap_token_size, [tokenizer_name_1, tokenizer_name_2],
-                            [stats_overlap_token_size_1, stats_overlap_token_size_2])
     # tokenizer_type_2.change(get_compress_rate,
     #                         [tokenizer_type_2, compress_rate_corpus, compress_rate_unit],
     #                         [stats_compress_rate_2])
@@ -219,14 +218,16 @@ with gr.Blocks() as demo:
     dropdown_examples.change(
         example_fn,
         dropdown_examples,
-        [user_input, tokenizer_name_1, tokenizer_name_2]
     )
     demo.load(
         fn=on_load,
         inputs=[user_input],  # 这里只需要传个空object即可。
         outputs=[user_input, tokenizer_name_1, tokenizer_name_2],
-        js=get_window_url_params
     )
 if __name__ == "__main__":

 from playground_examples import example_types, example_fn
 from playground_util import (tokenize,
                              tokenize_pair, basic_count,
+                             get_overlap_token_size, on_load)
 get_window_url_params = """
     function(url_params) {
     # TODO: every=3
     user_input.change(tokenize_pair,
                       [user_input, tokenizer_name_1, tokenizer_name_2],
+                      [output_text_1, output_table_1, output_text_2, output_table_2], show_api=False)  # , pass_request=1
     tokenizer_name_2.change(tokenize, [user_input, tokenizer_name_2],
+                            [output_text_2, output_table_2], show_api=False)
+    tokenizer_name_2.change(basic_count, [tokenizer_name_2], [stats_vocab_size_2, organization_2], show_api=False)
     tokenizer_name_2.change(get_overlap_token_size, [tokenizer_name_1, tokenizer_name_2],
+                            [stats_overlap_token_size_1, stats_overlap_token_size_2], show_api=False)
     # tokenizer_type_2.change(get_compress_rate,
     #                         [tokenizer_type_2, compress_rate_corpus, compress_rate_unit],
     #                         [stats_compress_rate_2])
     dropdown_examples.change(
         example_fn,
         dropdown_examples,
+        [user_input, tokenizer_name_1, tokenizer_name_2],
+        show_api=False
     )
     demo.load(
         fn=on_load,
         inputs=[user_input],  # 这里只需要传个空object即可。
         outputs=[user_input, tokenizer_name_1, tokenizer_name_2],
+        js=get_window_url_params,
+        show_api=False
     )
 if __name__ == "__main__":

playground_examples.py CHANGED Viewed

@@ -16,6 +16,35 @@
 https://www.computerhope.com/jargon/s/specchar.htm
 """
 examples = {
     "en": [
@@ -35,6 +64,8 @@ examples = {
     ]
 }
 more_examples = [
     # bert系列
     ("google-bert/bert-base-cased", "google-bert/bert-base-uncased", "", ""),  # # clue VS kplug， bert VS clue

 https://www.computerhope.com/jargon/s/specchar.htm
 """
+import random
+from datasets import load_dataset
+default_user_input = """\
+Replace this text in the input field to see how tokenization works.
+Buenos días!
+华为发布Mate60手机。
+ラグビーワールドカップ2023フランス"""
+# default_tokenizer_name_1 = "Meta/llama3"
+default_tokenizer_name_1 = "gradientai/Llama-3-8B-Instruct-Gradient-1048k"
+default_tokenizer_name_2 = "openai/gpt-4o"
+def get_sample_input():
+    default_inputs = {
+        "en": "Replace this text in the input field to see how tokenization works.",
+        "zh-Hans": "",
+        "es": "",
+        "de": "",
+    }
+    random.seed(10)  # For reproducibility
+    lines = []
+    for lang in default_inputs.keys():
+        dataset = load_dataset("eson/cc100-samples", lang, split="train")
+        print(dataset)
+        print(1)
+    return default_inputs
 examples = {
     "en": [
     ]
 }
 more_examples = [
     # bert系列
     ("google-bert/bert-base-cased", "google-bert/bert-base-uncased", "", ""),  # # clue VS kplug， bert VS clue

playground_util.py CHANGED Viewed

@@ -5,17 +5,10 @@ import pandas as pd
 from vocab import tokenizer_factory
 from character_util import iter_vocab
 from utils.log_util import logger
 from functools import lru_cache
-default_user_input = """\
-Replace this text in the input field to see how tokenization works.
-Buenos días!
-华为发布Mate60手机。
-ラグビーワールドカップ2023フランス"""
-# default_tokenizer_name_1 = "Meta/llama3"
-default_tokenizer_name_1 = "gradientai/Llama-3-8B-Instruct-Gradient-1048k"
-default_tokenizer_name_2 = "openai/gpt-4o"
 @lru_cache
 def _tokenize(
@@ -150,6 +143,7 @@ def on_load(url_params, request: gr.Request):
     except:
         url_params = {}
     if request:
         logger.info(str(request.headers))
         client_ip = request.client.host
         # local_ip = socket.gethostbyname(socket.gethostbyname(""))
@@ -163,7 +157,7 @@ def on_load(url_params, request: gr.Request):
         tokenizer_type_1 = url_params.get("tokenizer1", default_tokenizer_name_1)
         tokenizer_type_2 = url_params.get("tokenizer2", default_tokenizer_name_2)
         text = url_params.get("text", default_user_input)
-        logger.info(f"client_ip: {client_ip}; params: {url_params}")
     return text, tokenizer_type_1, tokenizer_type_2

 from vocab import tokenizer_factory
 from character_util import iter_vocab
 from utils.log_util import logger
+from utils.i18n_util import get_lang
+from playground_examples import default_tokenizer_name_1, default_tokenizer_name_2, default_user_input
 from functools import lru_cache
 @lru_cache
 def _tokenize(
     except:
         url_params = {}
     if request:
+        lang, lang_code = get_lang(request)
         logger.info(str(request.headers))
         client_ip = request.client.host
         # local_ip = socket.gethostbyname(socket.gethostbyname(""))
         tokenizer_type_1 = url_params.get("tokenizer1", default_tokenizer_name_1)
         tokenizer_type_2 = url_params.get("tokenizer2", default_tokenizer_name_2)
         text = url_params.get("text", default_user_input)
+        logger.info(f"client_ip: {client_ip}; lang: {lang} params: {url_params}")
     return text, tokenizer_type_1, tokenizer_type_2

stats/character_stats.json CHANGED Viewed

@@ -1957,5 +1957,43 @@
     "len(ko)": "1,1,2",
     "num(la)": 48651,
     "len(la)": "1,6,512"
   }
 }

     "len(ko)": "1,1,2",
     "num(la)": 48651,
     "len(la)": "1,6,512"
+  },
+  "Qwen/Qwen2-0.5B": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen2-0.5B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen2-0.5B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "num(digit)": 10,
+    "len(digit)": "1,1,1",
+    "num(space)": 55883,
+    "len(space)": "1,6,128",
+    "num(ar)": 4018,
+    "len(ar)": "1,3,12",
+    "num(zh)": 25557,
+    "len(zh)": "1,2,7",
+    "num(ja)": 27206,
+    "len(ja)": "1,2,11",
+    "num(ja-kana)": 2089,
+    "len(ja-kana)": "1,3,11",
+    "num(ko)": 3495,
+    "len(ko)": "1,1,5"
+  },
+  "NousResearch/Hermes-3-Llama-3.1-405B": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-405B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Hermes-3-Llama-3.1-405B</a>",
+    "organization": "NousResearch",
+    "vocab_size": 128256,
+    "num(digit)": 1110,
+    "len(digit)": "1,3,3",
+    "num(space)": 60860,
+    "len(space)": "1,6,128",
+    "num(ar)": 3810,
+    "len(ar)": "1,4,11",
+    "num(zh)": 4424,
+    "len(zh)": "1,1,7",
+    "num(ja)": 5387,
+    "len(ja)": "1,2,8",
+    "num(ja-kana)": 1086,
+    "len(ja-kana)": "1,2,8",
+    "num(ko)": 2281,
+    "len(ko)": "1,2,6"
   }
 }

stats/compression_rate.json CHANGED Viewed

@@ -10354,5 +10354,341 @@
     "oov_ratio": 0.0,
     "_oov_charset": "[]",
     "lossless": false
   }
 }

     "oov_ratio": 0.0,
     "_oov_charset": "[]",
     "lossless": false
+  },
+  "Qwen/Qwen2-0.5B @ cc100/ar": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen2-0.5B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen2-0.5B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 2813283,
+    "_n_tokens": 614959,
+    "_n_chars": 1560987,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "Qwen/Qwen2-0.5B @ cc100/de": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen2-0.5B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen2-0.5B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 1814876,
+    "_n_tokens": 503561,
+    "_n_chars": 1784021,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "Qwen/Qwen2-0.5B @ cc100/en": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen2-0.5B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen2-0.5B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 1124813,
+    "_n_tokens": 257983,
+    "_n_chars": 1121360,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "Qwen/Qwen2-0.5B @ cc100/es": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen2-0.5B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen2-0.5B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 1664455,
+    "_n_tokens": 434264,
+    "_n_chars": 1630297,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "Qwen/Qwen2-0.5B @ cc100/fa": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen2-0.5B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen2-0.5B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 2054052,
+    "_n_tokens": 643421,
+    "_n_chars": 1145876,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "Qwen/Qwen2-0.5B @ cc100/fr": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen2-0.5B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen2-0.5B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 1540504,
+    "_n_tokens": 413637,
+    "_n_chars": 1484970,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "Qwen/Qwen2-0.5B @ cc100/ja": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen2-0.5B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen2-0.5B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 1774770,
+    "_n_tokens": 377144,
+    "_n_chars": 603065,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "Qwen/Qwen2-0.5B @ cc100/ko": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen2-0.5B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen2-0.5B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 1524839,
+    "_n_tokens": 457492,
+    "_n_chars": 655190,
+    "_n_oov_chars": 25,
+    "oov_ratio": 3.815687052610693e-05,
+    "_oov_charset": "[\"理\", \"女\", \"流\", \"陸\", \"良\", \"梁\", \"不\", \"龍\", \"識\", \"累\", \"樂\", \"立\", \"樂\", \"金\", \"靈\"]",
+    "lossless": false
+  },
+  "Qwen/Qwen2-0.5B @ cc100/zh-Hans": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/Qwen/Qwen2-0.5B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Qwen2-0.5B</a>",
+    "organization": "Alibaba",
+    "vocab_size": 151646,
+    "_n_bytes": 2633047,
+    "_n_tokens": 589211,
+    "_n_chars": 927311,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "allenai/OLMo-7B-hf @ cc100/ar": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/allenai/OLMo-7B-hf\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">OLMo-7B-hf</a>",
+    "organization": "Allen AI",
+    "vocab_size": 50280,
+    "_n_bytes": 2813283,
+    "_n_tokens": 1106277,
+    "_n_chars": 1560987,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "allenai/OLMo-7B-hf @ cc100/de": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/allenai/OLMo-7B-hf\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">OLMo-7B-hf</a>",
+    "organization": "Allen AI",
+    "vocab_size": 50280,
+    "_n_bytes": 1814876,
+    "_n_tokens": 583628,
+    "_n_chars": 1784021,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "allenai/OLMo-7B-hf @ cc100/fa": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/allenai/OLMo-7B-hf\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">OLMo-7B-hf</a>",
+    "organization": "Allen AI",
+    "vocab_size": 50280,
+    "_n_bytes": 2054052,
+    "_n_tokens": 866434,
+    "_n_chars": 1145876,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "allenai/OLMo-7B-hf @ cc100/ja": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/allenai/OLMo-7B-hf\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">OLMo-7B-hf</a>",
+    "organization": "Allen AI",
+    "vocab_size": 50280,
+    "_n_bytes": 1774770,
+    "_n_tokens": 605168,
+    "_n_chars": 603065,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "allenai/OLMo-7B-hf @ cc100/ko": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/allenai/OLMo-7B-hf\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">OLMo-7B-hf</a>",
+    "organization": "Allen AI",
+    "vocab_size": 50280,
+    "_n_bytes": 1524839,
+    "_n_tokens": 973288,
+    "_n_chars": 655190,
+    "_n_oov_chars": 25,
+    "oov_ratio": 3.815687052610693e-05,
+    "_oov_charset": "[\"理\", \"女\", \"流\", \"陸\", \"良\", \"梁\", \"不\", \"龍\", \"識\", \"累\", \"樂\", \"立\", \"樂\", \"金\", \"靈\"]",
+    "lossless": false
+  },
+  "mistralai/Mistral-Nemo-Instruct-2407 @ cc100/ar": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Mistral-Nemo-Instruct-2407</a>",
+    "organization": "Mistral",
+    "vocab_size": 131072,
+    "_n_bytes": 2813283,
+    "_n_tokens": 492119,
+    "_n_chars": 1560987,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "mistralai/Mistral-Nemo-Instruct-2407 @ cc100/de": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Mistral-Nemo-Instruct-2407</a>",
+    "organization": "Mistral",
+    "vocab_size": 131072,
+    "_n_bytes": 1814876,
+    "_n_tokens": 442783,
+    "_n_chars": 1784021,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "mistralai/Mistral-Nemo-Instruct-2407 @ cc100/fa": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Mistral-Nemo-Instruct-2407</a>",
+    "organization": "Mistral",
+    "vocab_size": 131072,
+    "_n_bytes": 2054052,
+    "_n_tokens": 385078,
+    "_n_chars": 1145876,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "mistralai/Mistral-Nemo-Instruct-2407 @ cc100/ja": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Mistral-Nemo-Instruct-2407</a>",
+    "organization": "Mistral",
+    "vocab_size": 131072,
+    "_n_bytes": 1774770,
+    "_n_tokens": 441928,
+    "_n_chars": 603065,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "mistralai/Mistral-Nemo-Instruct-2407 @ cc100/ko": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/mistralai/Mistral-Nemo-Instruct-2407\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Mistral-Nemo-Instruct-2407</a>",
+    "organization": "Mistral",
+    "vocab_size": 131072,
+    "_n_bytes": 1524839,
+    "_n_tokens": 392555,
+    "_n_chars": 655190,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": true
+  },
+  "NousResearch/Hermes-3-Llama-3.1-405B @ cc100/ar": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-405B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Hermes-3-Llama-3.1-405B</a>",
+    "organization": "NousResearch",
+    "vocab_size": 128256,
+    "_n_bytes": 2813283,
+    "_n_tokens": 615514,
+    "_n_chars": 1560987,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "NousResearch/Hermes-3-Llama-3.1-405B @ cc100/de": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-405B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Hermes-3-Llama-3.1-405B</a>",
+    "organization": "NousResearch",
+    "vocab_size": 128256,
+    "_n_bytes": 1814876,
+    "_n_tokens": 499766,
+    "_n_chars": 1784021,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "NousResearch/Hermes-3-Llama-3.1-405B @ cc100/en": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-405B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Hermes-3-Llama-3.1-405B</a>",
+    "organization": "NousResearch",
+    "vocab_size": 128256,
+    "_n_bytes": 1124813,
+    "_n_tokens": 254944,
+    "_n_chars": 1121360,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "NousResearch/Hermes-3-Llama-3.1-405B @ cc100/es": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-405B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Hermes-3-Llama-3.1-405B</a>",
+    "organization": "NousResearch",
+    "vocab_size": 128256,
+    "_n_bytes": 1664455,
+    "_n_tokens": 433289,
+    "_n_chars": 1630297,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "NousResearch/Hermes-3-Llama-3.1-405B @ cc100/fa": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-405B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Hermes-3-Llama-3.1-405B</a>",
+    "organization": "NousResearch",
+    "vocab_size": 128256,
+    "_n_bytes": 2054052,
+    "_n_tokens": 387448,
+    "_n_chars": 1145876,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "NousResearch/Hermes-3-Llama-3.1-405B @ cc100/fr": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-405B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Hermes-3-Llama-3.1-405B</a>",
+    "organization": "NousResearch",
+    "vocab_size": 128256,
+    "_n_bytes": 1540504,
+    "_n_tokens": 412146,
+    "_n_chars": 1484970,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "NousResearch/Hermes-3-Llama-3.1-405B @ cc100/ja": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-405B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Hermes-3-Llama-3.1-405B</a>",
+    "organization": "NousResearch",
+    "vocab_size": 128256,
+    "_n_bytes": 1774770,
+    "_n_tokens": 414715,
+    "_n_chars": 603065,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "NousResearch/Hermes-3-Llama-3.1-405B @ cc100/ko": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-405B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Hermes-3-Llama-3.1-405B</a>",
+    "organization": "NousResearch",
+    "vocab_size": 128256,
+    "_n_bytes": 1524839,
+    "_n_tokens": 412595,
+    "_n_chars": 655190,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
+  },
+  "NousResearch/Hermes-3-Llama-3.1-405B @ cc100/zh-Hans": {
+    "tokenizer": "<a target=\"_blank\" href=\"https://huggingface.co/NousResearch/Hermes-3-Llama-3.1-405B\" style=\"color: var(--link-text-color); text-decoration: underline;text-decoration-style: dotted;\">Hermes-3-Llama-3.1-405B</a>",
+    "organization": "NousResearch",
+    "vocab_size": 128256,
+    "_n_bytes": 2633047,
+    "_n_tokens": 747405,
+    "_n_chars": 927311,
+    "_n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "_oov_charset": "[]",
+    "lossless": false
   }
 }

stats/compression_rate/Qwen.Qwen2-0.5B @ cc100.ar.diff.json ADDED Viewed

	@@ -0,0 +1,117 @@

+[
+  {
+    "text": "أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه.. أن يتحول اليمن- وهو بلد ولاَّد بالخير, إلى أطلال, وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضها, بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه..",
+    "decoded_text": "أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه.. أن يتحول اليمن- وهو بلد ولاَّد بالخير, إلى أطلال, وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضها, بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه..",
+    "diff": [
+      "insert    text[97:97] --> decoded_text[97:98]       '' --> 'َ'",
+      "delete    text[98:99] --> decoded_text[99:99]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "أَننا -حالياً- جزءٌ من العالمِ الحديثِ والذي يقوده \"الغربُ\" - وإن كانت الثقافةُ الذائعة والشائعة باسم \"الثقافةِ الغربيةِ\" هي ثقافة ذات بُعدٍ غربيٍّ (لا ينكر) إلاِّ أنها أيضاً ثقافةٌ ذات بعدٍ \"إنساني\"، بمعنى أَن الكثير من \"المحصولِ الثقافي الغربي\" ليس غربياً وإنما وفَد من ثقافاتٍ أُخرى سابقة.....",
+    "decoded_text": "أَننا -حالياً- جزءٌ من العالمِ الحديثِ والذي يقوده \"الغربُ\" - وإن كانت الثقافةُ الذائعة والشائعة باسم \"الثقافةِ الغربيةِ\" هي ثقافة ذات بُعدٍ غربيٍّ (لا ينكر) إلاِّ أنها أيضاً ثقافةٌ ذات بعدٍ \"إنساني\"، بمعنى أَن الكثير من \"المحصولِ الثقافي الغربي\" ليس غربياً وإنما وفَد من ثقافاتٍ أُخرى سابقة.....",
+    "diff": [
+      "insert    text[145:145] --> decoded_text[145:146]       '' --> 'ٍ'",
+      "delete    text[146:147] --> decoded_text[147:147]      'ٍ' --> ''",
+      "insert    text[161:161] --> decoded_text[161:162]       '' --> 'ِ'",
+      "delete    text[162:163] --> decoded_text[163:163]      'ِ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "رغم أَن إِتقان اللغة العربية هو العمودُ الفقري للتعاملِ مع دنيا الثقافةِ العربيةِ والإسلاميةِ، فإن أعداداً كبيرة من مُثقفينا والشَخصيات المُهتمة بالشؤونِ العامةِ في واقعنا تملك محصولاً هزيلاً من اللغة العربية، بل وأكاد أجزم أن بعضهم لا يملك أن يتكلم بلغةٍ عربيةٍ سليمة لمدةٍ وجيزةٍ لا تَتَعدى الدقائق القليلة. ومن المؤكد أن أيَّ مُراقبٍ مُنصفٍ لحياتنا العامة سيلاحظ بوضوحٍ أن قدرةَ الشخصياتِ العامةِ على الحديثِ والكتابةِ بلغةٍ عربيةٍ سليمةٍ قد واصلت الانهيار والانحدار خلال السنوات الأربعين الأخيرة حتى بلغت اليوم ما هي عليه من وضعٍ مؤسفٍ (بل وأراه كثيراً كوضعٍ \"مهين\" لكبريائنا الوطني والقومي) (والإرتباك اللغوي – كما يقول المفكر المصري الكبير مراد وهبه إنعكاس للإرتباك الفكري) .",
+    "decoded_text": "رغم أَن إِتقان اللغة العربية هو العمودُ الفقري للتعاملِ مع دنيا الثقافةِ العربيةِ والإسلاميةِ، فإن أعداداً كبيرة من مُثقفينا والشَخصيات المُهتمة بالشؤونِ العامةِ في واقعنا تملك محصولاً هزيلاً من اللغة العربية، بل وأكاد أجزم أن بعضهم لا يملك أن يتكلم بلغةٍ عربيةٍ سليمة لمدةٍ وجيزةٍ لا تَتَعدى الدقائق القليلة. ومن المؤكد أن أيَّ مُراقبٍ مُنصفٍ لحياتنا العامة سيلاحظ بوضوحٍ أن قدرةَ الشخصياتِ العامةِ على الحديثِ والكتابةِ بلغةٍ عربيةٍ سليمةٍ قد واصلت الانهيار والانحدار خلال السنوات الأربعين الأخيرة حتى بلغت اليوم ما هي عليه من وضعٍ مؤسفٍ (بل وأراه كثيراً كوضعٍ \"مهين\" لكبريائنا الوطني والقومي) (والإرتباك اللغوي – كما يقول المفكر المصري الكبير مراد وهبه إنعكاس للإرتباك الفكري) .",
+    "diff": [
+      "insert    text[326:326] --> decoded_text[326:327]       '' --> 'َ'",
+      "delete    text[327:328] --> decoded_text[328:328]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "وكما ذكرت، فقد حيرتني هذه المجموعات الأربعة وأذهلني موقفُ كلٍ منها وأذهلني موقفُ أفرادها كما أضناني الحواُر معها لأنه حوار يشبه ما يسميه العربُ بحوار الطرشان، لأنك تتكلم مع أي فردٍ من أي مجموعةٍ من هذه المجموعات فيردُ عليكَ رداً ينبئ بأنه يتكلم كلاماً ما هو إلا صحيفة اتهام كانت جاهزة لديه من البداية وهى صحيفةُ اتهام تقومُ على التعصبِ والتشددِ والتحيز الوجداني والعاطفي، ولا تقوم على فهمٍ ودرايةٍ واسعة وثقافةٍ عميقةٍ أو عريضة. ولا شك عندي اليوم بعد سنواتٍ طويلة من الاهتمامِ بهذا الموضوع أن معظمَِ الأفرادِ في مجتمعنا المصري والعربي يندرجون تحت واحدة من هذه الفئات الأربعة.",
+    "decoded_text": "وكما ذكرت، فقد حيرتني هذه المجموعات الأربعة وأذهلني موقفُ كلٍ منها وأذهلني موقفُ أفرادها كما أضناني الحواُر معها لأنه حوار يشبه ما يسميه العربُ بحوار الطرشان، لأنك تتكلم مع أي فردٍ من أي مجموعةٍ من هذه المجموعات فيردُ عليكَ رداً ينبئ بأنه يتكلم كلاماً ما هو إلا صحيفة اتهام كانت جاهزة لديه من البداية وهى صحيفةُ اتهام تقومُ على التعصبِ والتشددِ والتحيز الوجداني والعاطفي، ولا تقوم على فهمٍ ودرايةٍ واسعة وثقافةٍ عميقةٍ أو عريضة. ولا شك عندي اليوم بعد سنواتٍ طويلة من الاهتمامِ بهذا الموضوع أن معظمَِ الأفرادِ في مجتمعنا المصري والعربي يندرجون تحت واحدة من هذه الفئات الأربعة.",
+    "diff": [
+      "insert    text[497:497] --> decoded_text[497:498]       '' --> 'َ'",
+      "delete    text[498:499] --> decoded_text[499:499]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "إن أفراد هذه المجموعة الخامسة يعرفون أيضاً عن الثقافةِ الغربية الكثير ، فهم غطوا مساحاتٍ واسعة من مناطقِ الثقافة الغربية بل ومن منابعها القديمة مثل الثقافة اليونانية والرومانية وثقافة عصر النهضة أو الرينيسانس. أما ثقافات الحضارة الغربية الحديثة فقد أحاطوا بها إحاطةً جيدةً وخاضوا في معظم فروعها كالأدبِ والفنون والتاريخ وعلوم السياسةِ والإجتماع والاقتصاد وعلوم الفلسفة وعلم النفس كما توسعوا في الاطلاع على موجات العلوم الحديثة المتصلة بحركة الاقتصاد المعاصر. وأفرادُ هذه المجموعة وإن كانوا يعجبون بالكثيرِ من إنجازاتِ الحضارة الغربية إلا أنهم لا يصلون إلى حد الافتتان والتقديس لأنهم يعلمون أن الحضارة الغربية حضارة إنسانية لها ما لها وعليها ما عليها، وإن كانت صاحبة إنجازات عظمى مثل خلقِ نظامِ عملٍ مُنتج وفعال، ومثل تطوير علاقة الحاكم بالمحكوم أو المحكوم بالحاكم في ظل منظومةٍ راقية تسمى الديموقراطية ومثل حقوقِ الإنسان، إلاَّ أن الحضارة الغربية تبقى \"عملاً إنسانياً\" لا يخلو من العيوب والنقائص – شأنه شأن كل شئ بشري.",
+    "decoded_text": "إن أفراد هذه المجموعة الخامسة يعرفون أيضاً عن الثقافةِ الغربية الكثير ، فهم غطوا مساحاتٍ واسعة من مناطقِ الثقافة الغربية بل ومن منابعها القديمة مثل الثقافة اليونانية والرومانية وثقافة عصر النهضة أو الرينيسانس. أما ثقافات الحضارة الغربية الحديثة فقد أحاطوا بها إحاطةً جيدةً وخاضوا في معظم فروعها كالأدبِ والفنون والتاريخ وعلوم السياسةِ والإجتماع والاقتصاد وعلوم الفلسفة وعلم النفس كما توسعوا في الاطلاع على موجات العلوم الحديثة المتصلة بحركة الاقتصاد المعاصر. وأفرادُ هذه المجموعة وإن كانوا يعجبون بالكثيرِ من إنجازاتِ الحضارة الغربية إلا أنهم لا يصلون إلى حد الافتتان والتقديس لأنهم يعلمون أن الحضارة الغربية حضارة إنسانية لها ما لها وعليها ما عليها، وإن كانت صاحبة إنجازات عظمى مثل خلقِ نظامِ عملٍ مُنتج وفعال، ومثل تطوير علاقة الحاكم بالمحكوم أو المحكوم بالحاكم في ظل منظومةٍ راقية تسمى الديموقراطية ومثل حقوقِ الإنسان، إلاَّ أن الحضارة الغربية تبقى \"عملاً إنسانياً\" لا يخلو من العيوب والنقائص – شأنه شأن كل شئ بشري.",
+    "diff": [
+      "insert    text[825:825] --> decoded_text[825:826]       '' --> 'َ'",
+      "delete    text[826:827] --> decoded_text[827:827]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "بالفيديو اسيوط فيس توك ترصد الحلقة السادسة عشر من قصص الحيوان فى القران الكريم والجزء الاول من اصحاب السبت وحكمة اليوم :: الله يمتحن عباده بالخير والشر انه امتحان الصبر ويجب ان نكون شاكرين فى كل الاحوال وانتهاز الفرصة لفعل ما يغضب الله هو اسلوب غير شريف لقوله تعالى ( ( يُخَادِعُونَ اللَّهَ وَالَّذِينَ آمَنُوا وَمَا يَخْدَعُونَ إِلاَّ أَنفُسَهُم وَمَا يَشْعُرُونَ ) )",
+    "decoded_text": "بالفيديو اسيوط فيس توك ترصد الحلقة السادسة عشر من قصص الحيوان فى القران الكريم والجزء الاول من اصحاب السبت وحكمة اليوم :: الله يمتحن عباده بالخير والشر انه امتحان الصبر ويجب ان نكون شاكرين فى كل الاحوال وانتهاز الفرصة لفعل ما يغضب الله هو اسلوب غير شريف لقوله تعالى ( ( يُخَادِعُونَ اللَّهَ وَالَّذِينَ آمَنُوا وَمَا يَخْدَعُونَ إِلاَّ أَنفُسَهُم وَمَا يَشْعُرُونَ ) )",
+    "diff": [
+      "insert    text[286:286] --> decoded_text[286:287]       '' --> 'َ'",
+      "replace   text[287:295] --> decoded_text[288:296] 'َهَ وَال' --> 'هَ وَالَ'",
+      "delete    text[296:297] --> decoded_text[297:297]      'َ' --> ''",
+      "insert    text[333:333] --> decoded_text[333:334]       '' --> 'َ'",
+      "delete    text[334:335] --> decoded_text[335:335]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "إنَّ الحمد لله نحمده ونستعينه ونستغفره ونستهديه ونعوذ بالله من شرور أنفسنا",
+    "decoded_text": "إنَّ الحمد لله نحمده ونستعينه ونستغفره ونستهديه ونعوذ بالله من شرور أنفسنا",
+    "diff": [
+      "insert    text[2:2] --> decoded_text[2:3]       '' --> 'َ'",
+      "delete    text[3:4] --> decoded_text[4:4]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "يبقى أحدٌ منكم إلاّ لُدَّ ) (14).",
+    "decoded_text": "يبقى أحدٌ منكم إلاّ لُدَّ ) (14).",
+    "diff": [
+      "insert    text[23:23] --> decoded_text[23:24]       '' --> 'َ'",
+      "delete    text[24:25] --> decoded_text[25:25]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "- معناها : إنَّ الشيء المتيقّن ثبوته لا يرتفع إلا بدليل قاطع، ولا يحكم",
+    "decoded_text": "- معناها : إنَّ الشيء المتيقّن ثبوته لا يرتفع إلا بدليل قاطع، ولا يحكم",
+    "diff": [
+      "insert    text[13:13] --> decoded_text[13:14]       '' --> 'َ'",
+      "delete    text[14:15] --> decoded_text[15:15]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "(14) صحيح البخاري (5712) ؛ صحيح مسلم (2213) . واللَّدود: دواء يُصَبّ في أحد",
+    "decoded_text": "(14) صحيح البخاري (5712) ؛ صحيح مسلم (2213) . واللَّدود: دواء يُصَبّ في أحد",
+    "diff": [
+      "insert    text[50:50] --> decoded_text[50:51]       '' --> 'َ'",
+      "delete    text[51:52] --> decoded_text[52:52]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/Qwen.Qwen2-0.5B @ cc100.de.diff.json ADDED Viewed

	@@ -0,0 +1,109 @@

+[
+  {
+    "text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
+    "decoded_text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
+    "diff": [
+      "replace   text[134:136] --> decoded_text[134:135]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
+    "decoded_text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
+    "diff": [
+      "replace   text[488:490] --> decoded_text[488:489]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
+    "decoded_text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
+    "diff": [
+      "replace   text[193:195] --> decoded_text[193:194]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Zum Glückwunsch haben Sie in den nächsten Wochen eine doppelte Gelegenheit:",
+    "decoded_text": "Zum Glückwunsch haben Sie in den nächsten Wochen eine doppelte Gelegenheit:",
+    "diff": [
+      "replace   text[6:8] --> decoded_text[6:7]     'ü' --> 'ü'",
+      "replace   text[35:37] --> decoded_text[34:35]     'ä' --> 'ä'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Zum einen haben wir im März einen neuen Kirchenvorstand gewählt: Jüngere und Ältere, Erfahrene und Neue mischen sich zu einer Gruppe, die die Verantwortung für die Gemeinde übernimmt. Ich bitte Sie und Euch alle, allen Kandidat*nnen zu danken, sie auf der Straße anzusprechen und zu beglückwünschen: Denn es ist nicht selbstverständlich, für ein Amt von sechs Jahren Dauer zu kandidieren.",
+    "decoded_text": "Zum einen haben wir im März einen neuen Kirchenvorstand gewählt: Jüngere und Ältere, Erfahrene und Neue mischen sich zu einer Gruppe, die die Verantwortung für die Gemeinde übernimmt. Ich bitte Sie und Euch alle, allen Kandidat*nnen zu danken, sie auf der Straße anzusprechen und zu beglückwünschen: Denn es ist nicht selbstverständlich, für ein Amt von sechs Jahren Dauer zu kandidieren.",
+    "diff": [
+      "replace   text[24:26] --> decoded_text[24:25]     'ä' --> 'ä'",
+      "replace   text[61:63] --> decoded_text[60:61]     'ä' --> 'ä'",
+      "replace   text[69:71] --> decoded_text[67:68]     'ü' --> 'ü'",
+      "replace   text[81:83] --> decoded_text[78:79]     'Ä' --> 'Ä'",
+      "replace   text[162:164] --> decoded_text[158:159]     'ü' --> 'ü'",
+      "replace   text[180:182] --> decoded_text[175:176]     'ü' --> 'ü'",
+      "replace   text[295:297] --> decoded_text[289:290]     'ü' --> 'ü'",
+      "replace   text[301:303] --> decoded_text[294:295]     'ü' --> 'ü'",
+      "replace   text[340:342] --> decoded_text[332:333]     'ä' --> 'ä'",
+      "replace   text[352:354] --> decoded_text[343:344]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Darüber freuen wir uns. Und wenn Sie je manden von denen kennen, freuen die sich, wenn Sie sie ansprechen und darin bestärken.",
+    "decoded_text": "Darüber freuen wir uns. Und wenn Sie je manden von denen kennen, freuen die sich, wenn Sie sie ansprechen und darin bestärken.",
+    "diff": [
+      "replace   text[3:5] --> decoded_text[3:4]     'ü' --> 'ü'",
+      "replace   text[122:124] --> decoded_text[121:122]     'ä' --> 'ä'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Unsere Kirchengemeinde lebt davon, dass manche eine Aufgabe haben oder eine besondere Zeit erleben – wie den Konfirmandenunterricht. Die anderen aber daran teilhaben und sie unterstützen und ihnen Glück wünschen. Und Sie werden merken, dass es Sie selbst beglücken kann, anderen Glück zu wünschen!",
+    "decoded_text": "Unsere Kirchengemeinde lebt davon, dass manche eine Aufgabe haben oder eine besondere Zeit erleben – wie den Konfirmandenunterricht. Die anderen aber daran teilhaben und sie unterstützen und ihnen Glück wünschen. Und Sie werden merken, dass es Sie selbst beglücken kann, anderen Glück zu wünschen!",
+    "diff": [
+      "replace   text[184:186] --> decoded_text[184:185]     'ü' --> 'ü'",
+      "replace   text[203:205] --> decoded_text[202:203]     'ü' --> 'ü'",
+      "replace   text[209:211] --> decoded_text[207:208]     'ü' --> 'ü'",
+      "replace   text[265:267] --> decoded_text[262:263]     'ü' --> 'ü'",
+      "replace   text[288:290] --> decoded_text[284:285]     'ü' --> 'ü'",
+      "replace   text[297:299] --> decoded_text[292:293]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "‹ Herzlichen Dank für all Ihre Spenden!",
+    "decoded_text": "‹ Herzlichen Dank für all Ihre Spenden!",
+    "diff": [
+      "replace   text[19:21] --> decoded_text[19:20]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Bitte beachte: Du kannst die an uns erteile Einwilligung auch jederzeit widerrufen. Nutze dazu einfach unsere Kontaktmöglichkeiten. Durch den Widerruf wird die Rechtmäßigkeit der bis dahin erfolgten Verarbeitung nicht berührt.",
+    "decoded_text": "Bitte beachte: Du kannst die an uns erteile Einwilligung auch jederzeit widerrufen. Nutze dazu einfach unsere Kontaktmöglichkeiten. Durch den Widerruf wird die Rechtmäßigkeit der bis dahin erfolgten Verarbeitung nicht berührt.",
+    "diff": [
+      "replace   text[166:168] --> decoded_text[166:167]     'ä' --> 'ä'",
+      "replace   text[222:224] --> decoded_text[221:222]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/Qwen.Qwen2-0.5B @ cc100.fa.diff.json ADDED Viewed

	@@ -0,0 +1,145 @@

+[
+  {
+    "text": "رئيس حوزه علميه اصفهان گفت: دليل نزول اکثر مصائب رفتار خودِ انسان هاست؛ فقر، بيماري هاي لاعلاج و ناامني هاي اجتماعي، همه و همه نتيجه گناهاني است که اکثر افراد جامعه مرتکب مي شوند. به گزارش رسا، حضرت آيت الله حسين مظاهري در جلسه تفسير قرآن صبح ديروز که در مسجد اميرالمؤمنين(ع) خيابان جي برگزار شد، گفت: هميشه خير و صلاح افراد در بهره برداري بيشتر از دنيا نيست. وي در ادامه تفسير آيه صد و پنجاه و پنجم سوره بقره که مي فرمايد«وَلَنَبْلُوَنَّکُمْ بِشَيْءٍ مِنَ الْخَوْفِ وَالْجُوعِ وَنَقْصٍ مِنَ الأمْوَالِ وَالأنْفُسِ وَالثَّمَرَاتِ وَبَشِّرِ الصَّابِرِينَ» افزود: بلاها و مصائب با اين دنيا عجين شده است و اين بلاها در همه زمينه هاي فردي و اجتماعي جريان دارد و رفتار مردم در برابر اين بلاها و مصائب به دو بخش تقسيم مي شود، عده اي در برابر مصائب جزع و فزع مي کنند و گاهي منکر همه اعتقادات و باورهايشان مي شوند و عده اي در برابر همين بلاها صبر پيشه مي کنند و همه مصائب را از سوي خداوند مي بينند و به فعل خداوند راضي هستند. حضرت آيت الله مظاهري برخي از مصائب را از الطاف خفيه الهي دانست و خاطرنشان کرد: خداوند بر افرادي که در برابر مصائب صبر پيشه",
+    "decoded_text": "رئيس حوزه علميه اصفهان گفت: دليل نزول اکثر مصائب رفتار خودِ انسان هاست؛ فقر، بيماري هاي لاعلاج و ناامني هاي اجتماعي، همه و همه نتيجه گناهاني است که اکثر افراد جامعه مرتکب مي شوند. به گزارش رسا، حضرت آيت الله حسين مظاهري در جلسه تفسير قرآن صبح ديروز که در مسجد اميرالمؤمنين(ع) خيابان جي برگزار شد، گفت: هميشه خير و صلاح افراد در بهره برداري بيشتر از دنيا نيست. وي در ادامه تفسير آيه صد و پنجاه و پنجم سوره بقره که مي فرمايد«وَلَنَبْلُوَنَّکُمْ بِشَيْءٍ مِنَ الْخَوْفِ وَالْجُوعِ وَنَقْصٍ مِنَ الأمْوَالِ وَالأنْفُسِ وَالثَّمَرَاتِ وَبَشِّرِ الصَّابِرِينَ» افزود: بلاها و مصائب با اين دنيا عجين شده است و اين بلاها در همه زمينه هاي فردي و اجتماعي جريان دارد و رفتار مردم در برابر اين بلاها و مصائب به دو بخش تقسيم مي شود، عده اي در برابر مصائب جزع و فزع مي کنند و گاهي منکر همه اعتقادات و باورهايشان مي شوند و عده اي در برابر همين بلاها صبر پيشه مي کنند و همه مصائب را از سوي خداوند مي بينند و به فعل خداوند راضي هستند. حضرت آيت الله مظاهري برخي از مصائب را از الطاف خفيه الهي دانست و خاطرنشان کرد: خداوند بر افرادي که در برابر مصائب صبر پيشه",
+    "diff": [
+      "insert    text[436:436] --> decoded_text[436:437]       '' --> 'َ'",
+      "delete    text[437:438] --> decoded_text[438:438]      'َ' --> ''",
+      "insert    text[520:520] --> decoded_text[520:521]       '' --> 'َ'",
+      "delete    text[521:522] --> decoded_text[522:522]      'َ' --> ''",
+      "insert    text[543:543] --> decoded_text[543:544]       '' --> 'َ'",
+      "delete    text[544:545] --> decoded_text[545:545]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "«رِجَالٌ لا تُلْهِیهِمْ تجَارَةٌ وَ لا بَیْعٌ عَن ذِکْرِ اللهِ وَ إِقَامِ الصَّلَوةِ وَ إِیتَاءِ الزَّکَوةِ ـ مردانی که نه تجارت و نه معامله‏ای آنان را از یاد خدا و برپاداشتن نماز و ادای زکات غافل نمی‏کند.»[1]",
+    "decoded_text": "«رِجَالٌ لا تُلْهِیهِمْ تجَارَةٌ وَ لا بَیْعٌ عَن ذِکْرِ اللهِ وَ إِقَامِ الصَّلَوةِ وَ إِیتَاءِ الزَّکَوةِ ـ مردانی که نه تجارت و نه معامله‏ای آنان را از یاد خدا و برپاداشتن نماز و ادای زکات غافل نمی‏کند.»[1]",
+    "diff": [
+      "insert    text[77:77] --> decoded_text[77:78]       '' --> 'َ'",
+      "delete    text[78:79] --> decoded_text[79:79]      'َ' --> ''",
+      "insert    text[100:100] --> decoded_text[100:101]       '' --> 'َ'",
+      "delete    text[101:102] --> decoded_text[102:102]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "«وَ إِمَّا یَنْزَغَنَّکَ مِنَ الشَّیْطانِ نَزْغٌ فَاسْتَعِذْ بِاللهِ إِنَّهُ سَمِیعٌ عَلِیمٌ ـ و هر گاه وسوسه‌ای از شیطان به تو رسد، به خدا پناه ببر که او شنوای داناست.»[19]",
+    "decoded_text": "«وَ إِمَّا یَنْزَغَنَّکَ مِنَ الشَّیْطانِ نَزْغٌ فَاسْتَعِذْ بِاللهِ إِنَّهُ سَمِیعٌ عَلِیمٌ ـ و هر گاه وسوسه‌ای از شیطان به تو رسد، به خدا پناه ببر که او شنوای داناست.»[19]",
+    "diff": [
+      "insert    text[7:7] --> decoded_text[7:8]       '' --> 'َ'",
+      "delete    text[8:9] --> decoded_text[9:9]      'َ' --> ''",
+      "insert    text[20:20] --> decoded_text[20:21]       '' --> 'َ'",
+      "delete    text[21:22] --> decoded_text[22:22]      'َ' --> ''",
+      "insert    text[33:33] --> decoded_text[33:34]       '' --> 'َ'",
+      "delete    text[34:35] --> decoded_text[35:35]      'َ' --> ''",
+      "insert    text[72:72] --> decoded_text[72:73]       '' --> 'َ'",
+      "delete    text[73:74] --> decoded_text[74:74]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "«وَ قُلْ رَبِّ أَعُوذُ بِکَ مِنْ هَمَزاتِ الشَّیَاطِینِ* وَ أَعُوذُ بِکَ رَبِّ أَنْ یَحْضُرُونِ ـ بگو ای پروردگار من؛ پناه می‌برم به تو از وسوسه‌های شیاطین* و پناه می‌برم به تو ای پروردگار من؛ از این‌که حاضر شوند.»([20]",
+    "decoded_text": "«وَ قُلْ رَبِّ أَعُوذُ بِکَ مِنْ هَمَزاتِ الشَّیَاطِینِ* وَ أَعُوذُ بِکَ رَبِّ أَنْ یَحْضُرُونِ ـ بگو ای پروردگار من؛ پناه می‌برم به تو از وسوسه‌های شیاطین* و پناه می‌برم به تو ای پروردگار من؛ از این‌که حاضر شوند.»([20]",
+    "diff": [
+      "insert    text[12:12] --> decoded_text[12:13]       '' --> 'ِ'",
+      "delete    text[13:14] --> decoded_text[14:14]      'ِ' --> ''",
+      "insert    text[45:45] --> decoded_text[45:46]       '' --> 'َ'",
+      "delete    text[46:47] --> decoded_text[47:47]      'َ' --> ''",
+      "insert    text[76:76] --> decoded_text[76:77]       '' --> 'ِ'",
+      "delete    text[77:78] --> decoded_text[78:78]      'ِ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "امیرالمؤمنین علیه‌السلام فرموده‏ا‏ند: «هنگامی که شیطان یکی از شما را وسوسه نمود، باید به خدا پناه ببرد و بگوید: آمَنْتُ بِاللهِ وَ بِرَسُولِهِ مُخْلِصاً لَهُ الدِّینَ»[23]",
+    "decoded_text": "امیرالمؤمنین علیه‌السلام فرموده‏ا‏ند: «هنگامی که شیطان یکی از شما را وسوسه نمود، باید به خدا پناه ببرد و بگوید: آمَنْتُ بِاللهِ وَ بِرَسُولِهِ مُخْلِصاً لَهُ الدِّینَ»[23]",
+    "diff": [
+      "insert    text[161:161] --> decoded_text[161:162]       '' --> 'ِ'",
+      "delete    text[162:163] --> decoded_text[163:163]      'ِ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "حضرت صادق علیه‌السلام فرمود: مردی خدمت رسول خدا آمد و گفت: یا رسول الله؛ از وسوسه‌ای که در نماز به من القا می‌شود شکایت دارم. حتی این‌که نمی‏دانم چه‌قدر نماز کردم از زیاده یا کم. حضرت فرمودند: «وقتی داخل نماز شدی، انگشت سبّابه‌ی دست راستت را به ران پای چپت بزن و سپس بگو: بِسْمِ اللهِ وَ بِاللهِ تَوَکَّلْتُ عَلَی اللهِ أَعُوذُ بِاللهِ السَّمِیعِ الْعَلِیمِ مِنَ الشَّیْطَانِ الرَّجِیمِ ـ پس همانا او را دور و از خود منع و طرد کنی.»[24]",
+    "decoded_text": "حضرت صادق علیه‌السلام فرمود: مردی خدمت رسول خدا آمد و گفت: یا رسول الله؛ از وسوسه‌ای که در نماز به من القا می‌شود شکایت دارم. حتی این‌که نمی‏دانم چه‌قدر نماز کردم از زیاده یا کم. حضرت فرمودند: «وقتی داخل نماز شدی، انگشت سبّابه‌ی دست راستت را به ران پای چپت بزن و سپس بگو: بِسْمِ اللهِ وَ بِاللهِ تَوَکَّلْتُ عَلَی اللهِ أَعُوذُ بِاللهِ السَّمِیعِ الْعَلِیمِ مِنَ الشَّیْطَانِ الرَّجِیمِ ـ پس همانا او را دور و از خود منع و طرد کنی.»[24]",
+    "diff": [
+      "insert    text[301:301] --> decoded_text[301:302]       '' --> 'َ'",
+      "delete    text[302:303] --> decoded_text[303:303]      'َ' --> ''",
+      "insert    text[339:339] --> decoded_text[339:340]       '' --> 'َ'",
+      "delete    text[340:341] --> decoded_text[341:341]      'َ' --> ''",
+      "insert    text[366:366] --> decoded_text[366:367]       '' --> 'َ'",
+      "delete    text[367:368] --> decoded_text[368:368]      'َ' --> ''",
+      "insert    text[379:379] --> decoded_text[379:380]       '' --> 'َ'",
+      "delete    text[380:381] --> decoded_text[381:381]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "آموزگاران بهترین مردم اند . هرگاه یاد [خدا] کهنه مى شود، تجدیدش مى کنند . به آنان عطا کنید ولى آنها را به مزدورى نگیرید که بر آنان سخت مى آید. کد خبر: ۷۴۸۰۲. تاریخ: ۱۸ اردیبهشت ۱۳۹۴ - ۰۹:۲۱. رسول خدا صلى الله علیه و آله :. المُعَلِّمونَ خَیرُ النّاسِ کُلَّما أخلَقَ الذِّکرُ جَدَّدوهُ، أعطوهُم ولا تَستَأجِروهُم فَتُحرِجوهُم؛. آموزگاران بهترین مردم اند . هرگاه یاد [خدا] کهنه مى شود، تجدیدش. مى کنند . به آنان عطا کنید ولى آنها را به مزدورى نگیرید که بر آنان سخت. مى آید. الفردوس : ۴ / ۱۹۳ / ۶۵۹۷ . علم و حکمت ج 2، ص 626. امام هادی علیه السلام:.",
+    "decoded_text": "آموزگاران بهترین مردم اند . هرگاه یاد [خدا] کهنه مى شود، تجدیدش مى کنند . به آنان عطا کنید ولى آنها را به مزدورى نگیرید که بر آنان سخت مى آید. کد خبر: ۷۴۸۰۲. تاریخ: ۱۸ اردیبهشت ۱۳۹۴ - ۰۹:۲۱. رسول خدا صلى الله علیه و آله :. المُعَلِّمونَ خَیرُ النّاسِ کُلَّما أخلَقَ الذِّکرُ جَدَّدوهُ، أعطوهُم ولا تَستَأجِروهُم فَتُحرِجوهُم؛. آموزگاران بهترین مردم اند . هرگاه یاد [خدا] کهنه مى شود، تجدیدش. مى کنند . به آنان عطا کنید ولى آنها را به مزدورى نگیرید که بر آنان سخت. مى آید. الفردوس : ۴ / ۱۹۳ / ۶۵۹۷ . علم و حکمت ج 2، ص 626. امام هادی علیه السلام:.",
+    "diff": [
+      "insert    text[230:230] --> decoded_text[230:231]       '' --> 'ِ'",
+      "insert    text[231:231] --> decoded_text[232:249]       '' --> 'مونَ خَیرُ النّاس'",
+      "replace   text[232:246] --> decoded_text[250:255] 'مونَ خَیرُ الن' --> ' کُلَ'",
+      "replace   text[247:249] --> decoded_text[256:269]     'اس' --> 'ما أخلَقَ الذ'",
+      "delete    text[250:254] --> decoded_text[270:270]   ' کُل' --> ''",
+      "replace   text[255:269] --> decoded_text[271:279] 'َما أخلَقَ الذ' --> 'کرُ جَدَ'",
+      "delete    text[270:280] --> decoded_text[280:280] 'ِکرُ جَدَّ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "آن گاه که در روز قیامت برانگیخته شوم، گناهکاران امّت پیامبر اسلام را شفاعت خواهم کرد. کد خبر: ۷۲۳۰۷. تاریخ: ۲۱ فروردین ۱۳۹۴ - ۰۶:۰۰. حضرت فاطمه ‏علیها السلام :. إذا حُشِرتُ یَومَ القِیامَةِ أشفَعُ عُصاةَ اُمَّةِ النَّبِیِّ صلی الله علیه و آله؛. آن گاه که در روز قیامت برانگیخته شوم، گناهکاران امّت پیامبر اسلام را شفاعت خواهم کرد. إحقاق الحقّ، ج 19، ص 129 ؛ آینه یادها ص 172. امام على علیه السلام:. ضادُّوا التَّوانِیَ بِالعَزمِ؛. از راه تصمیم راسخ گرفتن، با سستى نبرد کنید. عیون الحکم والمواعظ: ص ۳۱۰ ح ۵۴۵۴ / میزان الحکمه: ج10 ص134.",
+    "decoded_text": "آن گاه که در روز قیامت برانگیخته شوم، گن��هکاران امّت پیامبر اسلام را شفاعت خواهم کرد. کد خبر: ۷۲۳۰۷. تاریخ: ۲۱ فروردین ۱۳۹۴ - ۰۶:۰۰. حضرت فاطمه ‏علیها السلام :. إذا حُشِرتُ یَومَ القِیامَةِ أشفَعُ عُصاةَ اُمَّةِ النَّبِیِّ صلی الله علیه و آله؛. آن گاه که در روز قیامت برانگیخته شوم، گناهکاران امّت پیامبر اسلام را شفاعت خواهم کرد. إحقاق الحقّ، ج 19، ص 129 ؛ آینه یادها ص 172. امام على علیه السلام:. ضادُّوا التَّوانِیَ بِالعَزمِ؛. از راه تصمیم راسخ گرفتن، با سستى نبرد کنید. عیون الحکم والمواعظ: ص ۳۱۰ ح ۵۴۵۴ / میزان الحکمه: ج10 ص134.",
+    "diff": [
+      "replace   text[207:209] --> decoded_text[207:209]     'َّ' --> 'َّ'",
+      "replace   text[215:222] --> decoded_text[215:222] 'َّبِیِّ' --> 'َّبِیِّ'",
+      "delete    text[402:403] --> decoded_text[402:402]      'ّ' --> ''",
+      "replace   text[404:412] --> decoded_text[403:412] 'وا التَّ' --> 'ّوا التَّ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "آن گاه که وقت خروج قائم مى‏‌شود، منادى‏‌اى از آسمان ندا مى‌‏دهد: «اى مردم ! مدّت حکومت جبّاران بر شما، به پایان رسید و بهترین فرد امّت محمّد، حکومت را به دست گرفته است، پس به مکّه بروید». کد خبر: ۷۱۵۹۷. تاریخ: ۱۲ فروردین ۱۳۹۴ - ۰۶:۰۰. پیامبر صلى‏ الله ‏علیه ‏و‏آله:. إذا. کانَ عِندَ خُروجِ القائِمِ یُنادی مُنادٍ مِنَ السَّماءِ: أیُّهَا. النّاسُ! قَطَعَ عَنکُم مُدَّةُ الجَبّارینَ ووَلِیَ الأَمرَ خَیرُ اُمَّةِ. مُحَمَّدٍ فَالحَقوا بِمَکَّةَ؛. آن گاه که وقت خروج قائم مى‏‌شود، منادى‏‌اى از آسمان ندا مى‌‏دهد:. «اى مردم ! مدّت حکومت جبّاران بر شما، به",
+    "decoded_text": "آن گاه که وقت خروج قائم مى‏‌شود، منادى‏‌اى از آسمان ندا مى‌‏دهد: «اى مردم ! مدّت حکومت جبّاران بر شما، به پایان رسید و بهترین فرد امّت محمّد، حکومت را به دست گرفته است، پس به مکّه بروید». کد خبر: ۷۱۵۹۷. تاریخ: ۱۲ فروردین ۱۳۹۴ - ۰۶:۰۰. پیامبر صلى‏ الله ‏علیه ‏و‏آله:. إذا. کانَ عِندَ خُروجِ القائِمِ یُنادی مُنادٍ مِنَ السَّماءِ: أیُّهَا. النّاسُ! قَطَعَ عَنکُم مُدَّةُ الجَبّارینَ ووَلِیَ الأَمرَ خَیرُ اُمَّةِ. مُحَمَّدٍ فَالحَقوا بِمَکَّةَ؛. آن گاه که وقت خروج قائم مى‏‌شود، منادى‏‌اى از آسمان ندا مى‌‏دهد:. «اى مردم ! مدّت حکومت جبّاران بر شما، به",
+    "diff": [
+      "replace   text[321:323] --> decoded_text[321:323]     'َّ' --> 'َّ'",
+      "replace   text[331:333] --> decoded_text[331:333]     'ُّ' --> 'ُّ'",
+      "replace   text[364:366] --> decoded_text[364:366]     'َّ' --> 'َّ'",
+      "replace   text[406:408] --> decoded_text[406:408]     'َّ' --> 'َّ'",
+      "replace   text[417:419] --> decoded_text[417:419]     'َّ' --> 'َّ'",
+      "replace   text[437:439] --> decoded_text[437:439]     'َّ' --> 'َّ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "آن که سازش و مدارا را ترک کند، ناگوارى به او روى آورَد. کد خبر: ۷۳۵۳۸. تاریخ: ۰۲ اردیبهشت ۱۳۹۴ - ۰۶:۰۰. امام جواد(سلام الله علیه):. مَن هَجَرَ الْمُداراةَ قَاربَهُ المَکرُوهُ؛. آن که سازش و مدارا را ترک کند، ناگوارى به او روى آورَد. بحارالأنوار، ج 68، ص 341. پیامبر خدا(صلی الله علیه و آله):. لا تَخَفْ فِی اللَّهِ لَومَةَ لائمٍ؛. در راه خدا از ملامت و نکوهش ملامتگران نترس. معانى الأخبار، ص 335.",
+    "decoded_text": "آن که سازش و مدارا را ترک کند، ناگوارى به او روى آورَد. کد خبر: ۷۳۵۳۸. تاریخ: ۰۲ اردیبهشت ۱۳۹۴ - ۰۶:۰۰. امام جواد(سلام الله علیه):. مَن هَجَرَ الْمُداراةَ قَاربَهُ المَکرُوهُ؛. آن که سازش و مدارا را ترک کند، ناگوارى به او روى آورَد. بحارالأنوار، ج 68، ص 341. پیامبر خدا(صلی الله علیه و آله):. لا تَخَفْ فِی اللَّهِ لَومَةَ لائمٍ؛. در راه خدا از ملامت و نکوهش ملامتگران نترس. معانى الأخبار، ص 335.",
+    "diff": [
+      "insert    text[310:310] --> decoded_text[310:311]       '' --> 'َ'",
+      "delete    text[311:312] --> decoded_text[312:312]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/Qwen.Qwen2-0.5B @ cc100.fr.diff.json ADDED Viewed

	@@ -0,0 +1,105 @@

+[
+  {
+    "text": "Une Agence conseil en Communication et Coopération Décentralisée.",
+    "decoded_text": "Une Agence conseil en Communication et Coopération Décentralisée.",
+    "diff": [
+      "replace   text[43:45] --> decoded_text[43:44]     'é' --> 'é'",
+      "replace   text[53:55] --> decoded_text[52:53]     'é' --> 'é'",
+      "replace   text[64:66] --> decoded_text[62:63]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Une équipe de consultants expérimentés pour accompagner, conseiller tout type de coopération économique, sociale, culturelle et durable, en lien avec l’Afrique.",
+    "decoded_text": "Une équipe de consultants expérimentés pour accompagner, conseiller tout type de coopération économique, sociale, culturelle et durable, en lien avec l’Afrique.",
+    "diff": [
+      "replace   text[4:6] --> decoded_text[4:5]     'é' --> 'é'",
+      "replace   text[30:32] --> decoded_text[29:30]     'é' --> 'é'",
+      "replace   text[38:40] --> decoded_text[36:37]     'é' --> 'é'",
+      "replace   text[88:90] --> decoded_text[85:86]     'é' --> 'é'",
+      "replace   text[97:99] --> decoded_text[93:94]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Des compétences confirmées dans les domaines des médias et de la communication publique.",
+    "decoded_text": "Des compétences confirmées dans les domaines des médias et de la communication publique.",
+    "diff": [
+      "replace   text[8:10] --> decoded_text[8:9]     'é' --> 'é'",
+      "replace   text[24:26] --> decoded_text[23:24]     'é' --> 'é'",
+      "replace   text[52:54] --> decoded_text[50:51]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Une bonne connaissance du réseau des décideurs publics et privés, en France et ailleurs dans le monde, principalement pour l’Afrique.",
+    "decoded_text": "Une bonne connaissance du réseau des décideurs publics et privés, en France et ailleurs dans le monde, principalement pour l’Afrique.",
+    "diff": [
+      "replace   text[27:29] --> decoded_text[27:28]     'é' --> 'é'",
+      "replace   text[39:41] --> decoded_text[38:39]     'é' --> 'é'",
+      "replace   text[64:66] --> decoded_text[62:63]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "La tribune internationale pour parler des atouts de la Côte d’Ivoire et lui offrir les meilleures conditions des approches nouvelles des politiques de coopération française et européenne.",
+    "decoded_text": "La tribune internationale pour parler des atouts de la Côte d’Ivoire et lui offrir les meilleures conditions des approches nouvelles des politiques de coopération française et européenne.",
+    "diff": [
+      "replace   text[56:58] --> decoded_text[56:57]     'ô' --> 'ô'",
+      "replace   text[156:158] --> decoded_text[155:156]     'é' --> 'é'",
+      "replace   text[169:171] --> decoded_text[167:168]     'ç' --> 'ç'",
+      "replace   text[184:186] --> decoded_text[181:182]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "La rencontre entre les pouvoirs publics et décideurs français, les autorités ivoiriennes, les hommes d'affaires, entrepreneurs et investisseurs, venant de tous horizons.",
+    "decoded_text": "La rencontre entre les pouvoirs publics et décideurs français, les autorités ivoiriennes, les hommes d'affaires, entrepreneurs et investisseurs, venant de tous horizons.",
+    "diff": [
+      "replace   text[44:46] --> decoded_text[44:45]     'é' --> 'é'",
+      "replace   text[58:60] --> decoded_text[57:58]     'ç' --> 'ç'",
+      "replace   text[76:78] --> decoded_text[74:75]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Parler des opportunités de la relation privilégiée de la coopération française et européenne avec la Côte d’Ivoire.",
+    "decoded_text": "Parler des opportunités de la relation privilégiée de la coopération française et européenne avec la Côte d’Ivoire.",
+    "diff": [
+      "replace   text[21:23] --> decoded_text[21:22]     'é' --> 'é'",
+      "replace   text[46:48] --> decoded_text[45:46]     'é' --> 'é'",
+      "replace   text[50:52] --> decoded_text[48:49]     'é' --> 'é'",
+      "replace   text[64:66] --> decoded_text[61:62]     'é' --> 'é'",
+      "replace   text[77:79] --> decoded_text[73:74]     'ç' --> 'ç'",
+      "replace   text[92:94] --> decoded_text[87:88]     'é' --> 'é'",
+      "replace   text[108:110] --> decoded_text[102:103]     'ô' --> 'ô'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Faciliter les discussions entre les acteurs de la coopération décentralisée.",
+    "decoded_text": "Faciliter les discussions entre les acteurs de la coopération décentralisée.",
+    "diff": [
+      "replace   text[54:56] --> decoded_text[54:55]     'é' --> 'é'",
+      "replace   text[64:66] --> decoded_text[63:64]     'é' --> 'é'",
+      "replace   text[75:77] --> decoded_text[73:74]     'é' --> 'é'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/Qwen.Qwen2-0.5B @ cc100.ja.diff.json ADDED Viewed

	@@ -0,0 +1,142 @@

+[
+  {
+    "text": "点を取れる部分をメインに勉強を行いました。とても勉強になったので、チャレンジして良かったです。仕事で活かせるように今後も勉強を続けて行きたいです。",
+    "decoded_text": "点を取れる部分をメインに勉強を行いました。とても勉強になったので、チャレンジして良かったです。仕事で活かせるように今後も勉強を続けて行きたいです。",
+    "diff": [
+      "replace   text[31:33] --> decoded_text[31:32]     'で' --> 'で'",
+      "replace   text[38:40] --> decoded_text[37:38]     'ジ' --> 'ジ'",
+      "replace   text[46:48] --> decoded_text[44:45]     'で' --> 'で'",
+      "replace   text[52:54] --> decoded_text[49:50]     'で' --> 'で'",
+      "replace   text[74:76] --> decoded_text[70:71]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "ドローンは今後、土木・農業など様々な分野での利用が見込まれるので、ぜひチャレンジしてみてください。",
+    "decoded_text": "ドローンは今後、土木・農業など様々な分野での利用が見込まれるので、ぜひチャレンジしてみてください。",
+    "diff": [
+      "replace   text[0:2] --> decoded_text[0:1]     'ド' --> 'ド'",
+      "replace   text[15:17] --> decoded_text[14:15]     'ど' --> 'ど'",
+      "replace   text[22:24] --> decoded_text[20:21]     'で' --> 'で'",
+      "replace   text[27:29] --> decoded_text[24:25]     'が' --> 'が'",
+      "replace   text[35:37] --> decoded_text[31:32]     'で' --> 'で'",
+      "replace   text[38:40] --> decoded_text[33:34]     'ぜ' --> 'ぜ'",
+      "replace   text[45:47] --> decoded_text[39:40]     'ジ' --> 'ジ'",
+      "replace   text[52:54] --> decoded_text[45:46]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "覚える範囲が多かったので、要点を絞って取り組みました。合格して良かったです。内定先で今後使う話が出てきたら率先して取り組んで行きたいです。",
+    "decoded_text": "覚える範囲が多かったので、要点を絞って取り組みました。合格して良かったです。内定先で今後使う話が出てきたら率先して取り組んで行きたいです。",
+    "diff": [
+      "replace   text[5:7] --> decoded_text[5:6]     'が' --> 'が'",
+      "replace   text[12:14] --> decoded_text[11:12]     'で' --> 'で'",
+      "replace   text[37:39] --> decoded_text[35:36]     'で' --> 'で'",
+      "replace   text[44:46] --> decoded_text[41:42]     'で' --> 'で'",
+      "replace   text[51:53] --> decoded_text[47:48]     'が' --> 'が'",
+      "replace   text[66:68] --> decoded_text[61:62]     'で' --> 'で'",
+      "replace   text[72:74] --> decoded_text[66:67]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "先生が全面的にサポートして下さるので安心して勉強できます。分からない時は先生になんでも質問してください。",
+    "decoded_text": "先生が全面的にサポートして下さるので安心して勉強できます。分からない時は先生になんでも質問してください。",
+    "diff": [
+      "replace   text[2:4] --> decoded_text[2:3]     'が' --> 'が'",
+      "replace   text[9:11] --> decoded_text[8:9]     'ポ' --> 'ポ'",
+      "replace   text[19:21] --> decoded_text[17:18]     'で' --> 'で'",
+      "replace   text[27:29] --> decoded_text[24:25]     'で' --> 'で'",
+      "replace   text[45:47] --> decoded_text[41:42]     'で' --> 'で'",
+      "replace   text[53:55] --> decoded_text[48:49]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "過去問題をたくさん解くことで問題の傾向を分析しました。しっかり勉強して臨んだので、合格する自信がありました。この資格を活かし、工事測量などで、正確な値を出すことで適切な指示を出せるようにしていきたいです。",
+    "decoded_text": "過去問題をたくさん解くことで問題の傾向を分析しました。しっかり勉強して臨んだので、合格する自信がありました。この資格を活かし、工事測量などで、正確な値を出すことで適切な指示を出せるようにしていきたいです。",
+    "diff": [
+      "replace   text[13:15] --> decoded_text[13:14]     'で' --> 'で'",
+      "replace   text[38:40] --> decoded_text[37:38]     'だ' --> 'だ'",
+      "replace   text[41:43] --> decoded_text[39:40]     'で' --> 'で'",
+      "replace   text[50:52] --> decoded_text[47:48]     'が' --> 'が'",
+      "replace   text[72:76] --> decoded_text[68:70]   'どで' --> 'どで'",
+      "replace   text[86:88] --> decoded_text[80:81]     'で' --> 'で'",
+      "replace   text[106:108] --> decoded_text[99:100]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "しっかり勉強したら必ず自分のためになりますよ。将来の夢を持ち、それを実現できるように今できる事を頑張ってください。",
+    "decoded_text": "しっかり勉強したら必ず自分のためになりますよ。将来の夢を持ち、それを実現できるように今できる事を頑張ってください。",
+    "diff": [
+      "replace   text[10:12] --> decoded_text[10:11]     'ず' --> 'ず'",
+      "replace   text[37:39] --> decoded_text[36:37]     'で' --> 'で'",
+      "replace   text[45:47] --> decoded_text[43:44]     'で' --> 'で'",
+      "replace   text[56:58] --> decoded_text[53:54]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "まずは、自分が何をしたいのか考え、そしてそこから、自分の目標に向かって資格取得を目指してください。せっかくの取得チャンスを無駄にしないでください。",
+    "decoded_text": "まずは、自分が何をしたいのか考え、そしてそこから、自分の目標に向かって資格取得を目指してください。せっかくの取得チャンスを無駄にしないでください。",
+    "diff": [
+      "replace   text[1:3] --> decoded_text[1:2]     'ず' --> 'ず'",
+      "replace   text[7:9] --> decoded_text[6:7]     'が' --> 'が'",
+      "replace   text[47:49] --> decoded_text[45:46]     'だ' --> 'だ'",
+      "replace   text[70:72] --> decoded_text[67:68]     'で' --> 'で'",
+      "replace   text[73:75] --> decoded_text[69:70]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "過去問題を解き、答え合わせをした後、自分がどこを間違っていたか、なぜ間違えたか等、徹底的に勉強しました。次は測量士補や、ドローン検定等の資格を目指し、頑張りたいと思います。",
+    "decoded_text": "過去問題を解き、答え合わせをした後、自分がどこを間違っていたか、なぜ間違えたか等、徹底的に勉強しました。次は測量士補や、ドローン検定等の資格を目指し、頑張りたいと思います。",
+    "diff": [
+      "replace   text[20:24] --> decoded_text[20:22]   'がど' --> 'がど'",
+      "replace   text[35:37] --> decoded_text[33:34]     'ぜ' --> 'ぜ'",
+      "replace   text[63:65] --> decoded_text[60:61]     'ド' --> 'ド'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "細かい事でも、疑問に思った事は必ず先生に質問してください。",
+    "decoded_text": "細かい事でも、疑問に思った事は必ず先生に質問してください。",
+    "diff": [
+      "replace   text[4:6] --> decoded_text[4:5]     'で' --> 'で'",
+      "replace   text[17:19] --> decoded_text[16:17]     'ず' --> 'ず'",
+      "replace   text[27:29] --> decoded_text[25:26]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "過去問を解き続け、頭に知識と問題の傾向を叩き込みました。合格して本当に良かったです。 試験を受けるチャンスがあり、思い切ってチャレンジして良かったと思います。",
+    "decoded_text": "過去問を解き続け、頭に知識と問題の傾向を叩き込みました。合格して本当に良かったです。 試験を受けるチャンスがあり、思い切ってチャレンジして良かったと思います。",
+    "diff": [
+      "replace   text[39:41] --> decoded_text[39:40]     'で' --> 'で'",
+      "replace   text[54:56] --> decoded_text[53:54]     'が' --> 'が'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/Qwen.Qwen2-0.5B @ cc100.ko.diff.json ADDED Viewed

	@@ -0,0 +1,105 @@

+[
+  {
+    "text": "낙천적(樂天的) : 세상과 인생을 즐겁고 좋은 것으로 여기는. 또는 그런 것. 인생을 즐길 줄 안다는 건 정말 행복한 일 아닐까요? 심리적으로 자신감과 낙천적인 태도를 갖게 하며, 새로운 아이디어를 얻도록 도움을 주는 노란색의 예쁜벽을 오디오로 채우신 고객님댁을 소개드립니다. ..more",
+    "decoded_text": "낙천적(樂天的) : 세상과 인생을 즐겁고 좋은 것으로 여기는. 또는 그런 것. 인생을 즐길 줄 안다는 건 정말 행복한 일 아닐까요? 심리적으로 자신감과 낙천적인 태도를 갖게 하며, 새로운 아이디어를 얻도록 도움을 주는 노란색의 예쁜벽을 오디오로 채우신 고객님댁을 소개드립니다. ..more",
+    "diff": [
+      "replace   text[4:5] --> decoded_text[4:5]      '樂' --> '樂'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.006211180124223602,
+    "oov_charset": "[\"樂\"]"
+  },
+  {
+    "text": "명 태조는 포의(布衣)에서 몸을 일으켜 천하를 평정하였다. 천하 평정뒤에는 관리 등용시험에 경의(敬意)를 주로 하였으므로 문교(文敎)가 융성하게 되어 많은 학자를 배출시켰다. 그러나 당시의 학자는 대개 정주학(程朱學)을 신봉한 사람들 뿐이라 명대(明代)의 특색이 아직 나타나고 있지 않다. 그러므로 영락(永樂) 12년 호(胡)에게 명하여 「사서대전」,「오경대전」 을 찬술케 하였을때 어느 경(經)이나 모두 주자의 주(主)에 기본을 두고 있다. 이것에 의해서만도 명초(明初)의 학문이 주자학을 그대로 계승하였을뿐 독창성이 없었다는 것을 상상할 수 있다. 본론에서는 오강재(吳康齋) 사상에 대해 논하고 순수한 주자학자의 설선에 대한 내용을 먼저 언급한 뒤에 다시 오강재의 문인인 호거인(胡居仁), 진헌장(陳獻章), 누량(累諒)에 대해 알아보고자 한다.",
+    "decoded_text": "명 태조는 포의(布衣)에서 몸을 일으켜 천하를 평정하였다. 천하 평정뒤에는 관리 등용시험에 경의(敬意)를 주로 하였으므로 문교(文敎)가 융성하게 되어 많은 학자를 배출시켰다. 그러나 당시의 학자는 대개 정주학(程朱學)을 신봉한 사람들 뿐이라 명대(明代)의 특색이 아직 나타나고 있지 않다. 그러므로 영락(永樂) 12년 호(胡)에게 명하여 「사서대전」,「오경대전」 을 찬술케 하였을때 어느 경(經)이나 모두 주자의 주(主)에 기본을 두고 있다. 이것에 의해서만도 명초(明初)의 학문이 주자학을 그대로 계승하였을뿐 독창성이 없었다는 것을 상상할 수 있다. 본론에서는 오강재(吳康齋) 사상에 대해 논하고 순수한 주자학자의 설선에 대한 내용을 먼저 언급한 뒤에 다시 오강재의 문인인 호거인(胡居仁), 진헌장(陳獻章), 누량(累諒)에 대해 알아보고자 한다.",
+    "diff": [
+      "replace   text[171:172] --> decoded_text[171:172]      '樂' --> '樂'",
+      "replace   text[401:402] --> decoded_text[401:402]      '累' --> '累'"
+    ],
+    "n_oov_chars": 2,
+    "oov_ratio": 0.004784688995215311,
+    "oov_charset": "[\"樂\", \"累\"]"
+  },
+  {
+    "text": "역할을 수행해갔는지를 살펴보도록 하겠다. 1. 양명학 이전의 주자학 ... 과 육학(陸學) 1) 송대 주자학의 성립 데니스 트위쳇이『케임브리지 중국사 ... 독재적인 명 초기의 황제들{ 특히 홍무제의 경우 주자학을 체제교학으로",
+    "decoded_text": "역할을 수행해갔는지를 살펴보도록 하겠다. 1. 양명학 이전의 주자학 ... 과 육학(陸學) 1) 송대 주자학의 성립 데니스 트위쳇이『케임브리지 중국사 ... 독재적인 명 초기의 황제들{ 특히 홍무제의 경우 주자학을 체제교학으로",
+    "diff": [
+      "replace   text[47:48] --> decoded_text[47:48]      '陸' --> '陸'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007936507936507936,
+    "oov_charset": "[\"陸\"]"
+  },
+  {
+    "text": "확고한 지반을 굳혔다. 주자학이 명대에 와서 국가의 지도이념으로 확립되어 ... 양명학의 성립과 전개 1. 서론 朱子學(주자학)이 宋代(송대)의 학술 ... 기점으로 知行合一說(지행합일설), 致良知說(치양지설)을 속속 제출하여 주자학",
+    "decoded_text": "확고한 지반을 굳혔다. 주자학이 명대에 와서 국가의 지도이념으로 확립되어 ... 양명학의 성립과 전개 1. 서론 朱子學(주자학)이 宋代(송대)의 학술 ... 기점으로 知行合一說(지행합일설), 致良知說(치양지설)을 속속 제출하여 주자학",
+    "diff": [
+      "replace   text[108:109] --> decoded_text[108:109]      '良' --> '良'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007692307692307693,
+    "oov_charset": "[\"良\"]"
+  },
+  {
+    "text": "▷주자:이(理)�� 만물의 근원이 되는 이치이자, 기(氣)의 활동 근거인 반면 기(氣)는 만물을 구성하는 재료로서 사물을 낳는 도구이다",
+    "decoded_text": "▷주자:이(理)란 만물의 근원이 되는 이치이자, 기(氣)의 활동 근거인 반면 기(氣)는 만물을 구성하는 재료로서 사물을 낳는 도구이다",
+    "diff": [
+      "replace   text[6:7] --> decoded_text[6:7]      '理' --> '理'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.013513513513513514,
+    "oov_charset": "[\"理\"]"
+  },
+  {
+    "text": "예술이라는 한자(漢字)에서 ‘예(藝)’에는 본디 ‘심는다(種 ·樹)’는 뜻이 있으며, 따라서 그것은‘기능(機能)’‘기술(技術)’을 의미하며 고대 동양에서 사대부가 필수적으로 갖추어야 했다. 육예(六藝:禮 ·樂 ·射 ·御 ·書 ·數)에서의 ‘예’는 인간적 결실을 얻기 위해 필요한 기초 교양의 씨를 뿌리고 인격의 꽃을 피우는 수단으로 여겼던 만큼 거기에는 인격도야의 의의도 있다고 하겠다.",
+    "decoded_text": "예술이라는 한자(漢字)에서 ‘예(藝)’에는 본디 ‘심는다(種 ·樹)’는 뜻이 있으며, 따라서 그것은‘기능(機能)’‘기술(技術)’을 의미하며 고대 동양에서 사대부가 필수적으로 갖추어야 했다. 육예(六藝:禮 ·樂 ·射 ·御 ·書 ·數)에서의 ‘예’는 인간적 결실을 얻기 위해 필요한 기초 교양의 씨를 뿌리고 인격의 꽃을 피우는 수단으로 여겼던 만큼 거기에는 인격도야의 의의도 있다고 하겠다.",
+    "diff": [
+      "replace   text[115:116] --> decoded_text[115:116]      '樂' --> '樂'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.004629629629629629,
+    "oov_charset": "[\"樂\"]"
+  },
+  {
+    "text": "입지(立志)를 강조해 자경문, 성학집요, 격몽요결, 학교모범에서 항상 ... 이루어진다. 순언은 율곡이 도덕경 81장 중에서 유교 경전의 내용과 일치하며 ... 사상가 연구 - 율곡 이이 수강 과목 : 담당 교수 : 교수님 제출",
+    "decoded_text": "입지(立志)를 강조해 자경문, 성학집요, 격몽요결, 학교모범에서 항상 ... 이루어진다. 순언은 율곡이 도덕경 81장 중에서 유교 경전의 내용과 일치하며 ... 사상가 연구 - 율곡 이이 수강 과목 : 담당 교수 : 교수님 제출",
+    "diff": [
+      "replace   text[3:4] --> decoded_text[3:4]      '立' --> '立'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.007874015748031496,
+    "oov_charset": "[\"立\"]"
+  },
+  {
+    "text": "Ⅰ. 김용과 중국 무협문학 1. 작가 소개 김용(金用)은 1924년 ... 것이다. 그러므로 무협소설 작가 김용(金用)은 언론인이자 정치가인 차량융의 ... 출간하기 시작하였다. 이렇게 보면 무협소설 작가인 김용(金用)은 언론인",
+    "decoded_text": "Ⅰ. 김용과 중국 무협문학 1. 작가 소개 김용(金用)은 1924년 ... 것이다. 그러므로 무협소설 작가 김용(金用)은 언론인이자 정치가인 차량융의 ... 출간하기 시작하였다. 이렇게 보면 무협소설 작가인 김용(金用)은 언론인",
+    "diff": [
+      "replace   text[27:28] --> decoded_text[27:28]      '金' --> '金'",
+      "replace   text[63:64] --> decoded_text[63:64]      '金' --> '金'",
+      "replace   text[119:120] --> decoded_text[119:120]      '金' --> '金'"
+    ],
+    "n_oov_chars": 3,
+    "oov_ratio": 0.023622047244094488,
+    "oov_charset": "[\"金\"]"
+  },
+  {
+    "text": "3 이 때 상제님께서 미처 말씀을 마치지 아니하셨는데 면장 양 모(梁某)와 이장이 세금을 받으러 오거늘",
+    "decoded_text": "3 이 때 상제님께서 미처 말씀을 마치지 아니하셨는데 면장 양 모(梁某)와 이장이 세금을 받으러 오거늘",
+    "diff": [
+      "replace   text[37:38] --> decoded_text[37:38]      '梁' --> '梁'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.017543859649122806,
+    "oov_charset": "[\"梁\"]"
+  },
+  {
+    "text": "2 26일 새벽이 되자 백낙두(白樂斗)를 비롯하여 무장한 순검 수십 명이 공신의 집을 에워싸고 형렬과 자현 등 여러 사람을 결박한 뒤에 상제님의 처소를 묻거늘",
+    "decoded_text": "2 26일 새벽이 되자 백낙두(白樂斗)를 비롯하여 무장한 순검 수십 명이 공신의 집을 에워싸고 형렬과 자현 등 여러 사람을 결박한 뒤에 상제님의 처소를 묻거늘",
+    "diff": [
+      "replace   text[18:19] --> decoded_text[18:19]      '樂' --> '樂'"
+    ],
+    "n_oov_chars": 1,
+    "oov_ratio": 0.011363636363636364,
+    "oov_charset": "[\"樂\"]"
+  }
+]

stats/compression_rate/allenai.OLMo-7B-hf @ cc100.ar.diff.json ADDED Viewed

	@@ -0,0 +1,104 @@

+[
+  {
+    "text": "- اللواء / علي محمد الكحلاني - نصيحة صادقة .. ( 1)",
+    "decoded_text": "- اللواء / علي محمد الكحلاني - نصيحة صادقة.. ( 1)",
+    "diff": [
+      "delete    text[42:43] --> decoded_text[42:42]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه.. أن يتحول اليمن- وهو بلد ولاَّد بالخير, إلى أطلال, وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضها, بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه..",
+    "decoded_text": "أنا لا اعتقد أن عاقلاً من بناء هذا البلد يقبل أو يستسيغ ما يجري فيه.. أن يتحول اليمن- وهو بلد ولاَّد بالخير, إلى أطلال, وأن يتعرض أبناؤه الأحرار إلى قطيع من الذئاب تنهش ببعضها, بل والأشد نكاية وألماً أن يكون ذلك خدمة لأعدائه..",
+    "diff": [
+      "insert    text[97:97] --> decoded_text[97:98]       '' --> 'َ'",
+      "delete    text[98:99] --> decoded_text[99:99]      'َ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "الهدف من دراسة التاريخ هو لنتعرف احوال الشعوب , نتخذ عبرا ودروسا تساعدنا على بناء مستقبل لنا.",
+    "decoded_text": "الهدف من دراسة التاريخ هو لنتعرف احوال الشعوب, نتخذ عبرا ودروسا تساعدنا على بناء مستقبل لنا.",
+    "diff": [
+      "delete    text[45:46] --> decoded_text[45:45]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "الحضارة هي مجموعة من الانجازات التي حققتها الامة من خلال تاريخها في جميع المجالات .",
+    "decoded_text": "الحضارة هي مجموعة من الانجازات التي حققتها الامة من خلال تاريخها في جميع المجالات.",
+    "diff": [
+      "delete    text[81:82] --> decoded_text[81:81]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "يعود الكاتب محمد الشريف زرقين صاحب كتاب \" ربيب الدولة، الخوف من المجهول \" مرة أخرى لقضية الأطفال مجهولي الهوية في كتاب جديد اختار هذه المرة أن يعالج فيه وضعيتهم من الجانب القانوني و الديني، بهدف حث علماء الدين و المشرعين القانونيين لإعادة النظر في فتاويهم و القوانين المجحفة التي تتحكم في مصائر هذه الفئة الضعيفة في المجتمع ، كما اخبرنا في هذا الحوار الخاص ، مصرحا انه لو كان الخيار بيده لاختار البقاء مع أمه البيولوجية التي اضطرت للتخلي عنه عند ولادته. الكتاب الذي عرف أيضا مساهمة كل من مليكة بن عراب آتو عضوة في البرلمان الأوربي ، المحامية بن براهم فطيمة و رئيس جامعة الأمير عبد القادر بقسنطينة السيد عبد الله بوخلخال في بعض أجزائه بمداخلات حول الموضوع، يطرح تساؤلات مبرهنة موجهة لكل من المشرعين و المفتيين كما قال لنا السيد زرقين مشيرا أنه يتوقع أن تحفز هذه الأخيرة على الاجتهاد لتحسين وضعية الأطفال المسعفين و ضمان حقوقهم . حاورته: أمينة جنان",
+    "decoded_text": "يعود الكاتب محمد الشريف زرقين صاحب كتاب \" ربيب الدولة، الخوف من المجهول \" مرة أخرى لقضية الأطفال مجهولي الهوية في كتاب جديد اختار هذه المرة أن يعالج فيه وضعيتهم من الجانب القانوني و الديني، بهدف حث علماء الدين و المشرعين القانونيين لإعادة النظر في فتاويهم و القوانين المجحفة التي تتحكم في مصائر هذه الفئة الضعيفة في المجتمع ، كما اخبرنا في هذا الحوار الخاص ، مصرحا انه لو كان الخيار بيده لاختار البقاء مع أمه البيولوجية التي اضطرت للتخلي عنه عند ولادته. الكتاب الذي عرف أيضا مساهمة كل من مليكة بن عراب آتو عضوة في البرلمان الأوربي ، ال��حامية بن براهم فطيمة و رئيس جامعة الأمير عبد القادر بقسنطينة السيد عبد الله بوخلخال في بعض أجزائه بمداخلات حول الموضوع، يطرح تساؤلات مبرهنة موجهة لكل من المشرعين و المفتيين كما قال لنا السيد زرقين مشيرا أنه يتوقع أن تحفز هذه الأخيرة على الاجتهاد لتحسين وضعية الأطفال المسعفين و ضمان حقوقهم. حاورته: أمينة جنان",
+    "diff": [
+      "delete    text[825:826] --> decoded_text[825:825]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "\"مولودين باسم مجهول \" يطرح الكثير من التساؤلات الشجاعة التي تعيد النظر بعمق في هذه الفتاوي ، داعيا علماء الدين للاجتهاد حسب متطلبات عصر ال \"آ دي ان \" و أنا مستعد للجلوس على طاولة واحدة معهم لإجراء مناضرة أقدم فيها أدلة من القرآن لإبراز تناقضات فادحة و فتاويهم المغرضة التي تهدد مصائر الملايين من الأطفال في العالم ، فليس من حق المفتى أن يحرف آية أو حديث أو يتلاعب بتفسيرها لتتحول إلى قوانين مجحفة في حقهم لدرجة أن الطفل يشعر انه ما كان يجب أن يولد و أن يأتي لهذه الحياة . رغم أن الرسول عليه الصلاة و السلام يقول في أحد أحاديثه الصحيحة أن الله يرسل في اليوم الأربعين من تكون الجنين في بطن أمه ملكا ينفخ فيه الروح ، و هذا دليل على أن الحياة بإرادة من الله لجميع الناس أيا كانوا ، فبأي حق يتعدى البشر على حق غيرهم في الوجود .",
+    "decoded_text": "\"مولودين باسم مجهول \" يطرح الكثير من التساؤلات الشجاعة التي تعيد النظر بعمق في هذه الفتاوي ، داعيا علماء الدين للاجتهاد حسب متطلبات عصر ال \"آ دي ان \" و أنا مستعد للجلوس على طاولة واحدة معهم لإجراء مناضرة أقدم فيها أدلة من القرآن لإبراز تناقضات فادحة و فتاويهم المغرضة التي تهدد مصائر الملايين من الأطفال في العالم ، فليس من حق المفتى أن يحرف آية أو حديث أو يتلاعب بتفسيرها لتتحول إلى قوانين مجحفة في حقهم لدرجة أن الطفل يشعر انه ما كان يجب أن يولد و أن يأتي لهذه الحياة. رغم أن الرسول عليه الصلاة و السلام يقول في أحد أحاديثه الصحيحة أن الله يرسل في اليوم الأربعين من تكون الجنين في بطن أمه ملكا ينفخ فيه الروح ، و هذا دليل على أن الحياة بإرادة من الله لجميع الناس أيا كانوا ، فبأي حق يتعدى البشر على حق غيرهم في الوجود.",
+    "diff": [
+      "delete    text[469:470] --> decoded_text[469:469]      ' ' --> ''",
+      "delete    text[720:721] --> decoded_text[719:719]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "يجب أن تتحرك الأمة الإسلامية في هذا السياق لأن المجتمع الذي لا يأخذ أطفاله المحرومين من يدهم ليعبر بهم بر الأمان لا يستحق العيش و ليست له أية كرامة .",
+    "decoded_text": "يجب أن تتحرك الأمة الإسلامية في هذا السياق لأن المجتمع الذي لا يأخذ أطفاله المحرومين من يدهم ليعبر بهم بر الأمان لا يستحق العيش و ليست له أية كرامة.",
+    "diff": [
+      "delete    text[147:148] --> decoded_text[147:147]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "يستضيف راشد الفوزان في حلقة هذا الأسبوع من برنامج \"بموضوعية\" الرئيس التنفيذي للمجموعة السعودية للورق، حسان مريزن عسيري، للحديث عن نشأة المجموعة والمجالات التي تغطيها في السوق السعودي. ...",
+    "decoded_text": "يستضيف راشد الفوزان في حلقة هذا الأسبوع من برنامج \"بموضوعية\" الرئيس التنفيذي للمجموعة السعودية للورق، حسان مريزن عسيري، للحديث عن نشأة المجموعة والمجالات التي تغطيها في السوق السعودي....",
+    "diff": [
+      "delete    text[183:184] --> decoded_text[183:183]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "يلتقي راشد الفوزان في برنامجه \"بموضوعية\" برئيس مجلس إدارة مجموعة \"القريان\" التجارية، محمد بن قريان القحطاني، والذي تناول عدة موضوعات أهمها أن المجموعة تهتم بعمليات إعادة تدوير المعادن خاصة الحديد والنحاس، وأن نشاط مجموعة \"القريان\" بدأ منذ 25 عاماً في السوق السعودي، واستعرض أيضاً ...",
+    "decoded_text": "يلتقي راشد الفوزان في برنامجه \"بموضوعية\" برئيس مجلس إدارة مجموعة \"القريان\" التجارية، محمد بن قريان القحطاني، والذي تناول عدة موضوعات أهمها أن المجموعة تهتم بعمليات إعادة تدوير المعادن خاصة الحديد والنحاس، وأن نشاط مجموعة \"القريان\" بدأ منذ 25 عاماً في السوق السعودي، واستعرض أيضاً...",
+    "diff": [
+      "delete    text[279:280] --> decoded_text[279:279]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "بمشاركة باحثين ومختصين , وتضمنت الدورة محاضرات علمية وعملية في قاعة قيادة شرطة البصرة",
+    "decoded_text": "بمشاركة باحثين ومختصين, وتضمنت الدورة محاضرات علمية وعملية في قاعة قيادة شرطة البصرة",
+    "diff": [
+      "delete    text[22:23] --> decoded_text[22:22]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/allenai.OLMo-7B-hf @ cc100.de.diff.json ADDED Viewed

	@@ -0,0 +1,103 @@

+[
+  {
+    "text": "Du brauchst aber * Dein Licht nicht unter den Scheffel zu stellen * !",
+    "decoded_text": "Du brauchst aber * Dein Licht nicht unter den Scheffel zu stellen *!",
+    "diff": [
+      "delete    text[67:68] --> decoded_text[67:67]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Laut dieser Studie sind es ....",
+    "decoded_text": "Laut dieser Studie sind es....",
+    "diff": [
+      "delete    text[26:27] --> decoded_text[26:26]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "die Erbinformation für das Hormon Insulin aus menschlichen Zellen zu isolieren ...",
+    "decoded_text": "die Erbinformation für das Hormon Insulin aus menschlichen Zellen zu isolieren...",
+    "diff": [
+      "delete    text[78:79] --> decoded_text[78:78]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
+    "decoded_text": "Erstmals erreichte eine Raumsonde die Ceres. Mit den beiden Kameras an Bord erkunden die Wissenschaftler aus dem Max-Planck-Institut für Sonnensystemforschung in Göttingen die dunkle Oberfläche des Zwergplaneten. Wassereis haben sie schon entdeckt. Aber ruht tief unter den Kratern auch noch ein Ozean?",
+    "diff": [
+      "replace   text[134:136] --> decoded_text[134:135]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
+    "decoded_text": "Der Vergleich mit der bemannten Mondlandung mag ein wenig übertrieben erscheinen, doch zweifellos gehört Rosetta zu den kühnsten Unternehmen der Raumfahrt: Zum ersten Mal in der Geschichte begleitet eine Sonde einen Kometen auf seiner Bahn um die Sonne und soll Mitte November den Lander Philae auf dessen Oberfläche absetzen. Bei der Auswertung der Bilder und Daten von 67P/Churyumov-Gerasimenko, so der Name des Schweifsterns, sitzen Wissenschaftler des Göttinger Max-Planck-Instituts für Sonnensystemforschung in der ersten Reihe.",
+    "diff": [
+      "replace   text[488:490] --> decoded_text[488:489]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
+    "decoded_text": "Die Sonne ist der wichtigste Energiespender der Erde und Motor des Klimas. Doch sie schickt mal mehr, mal weniger Licht zur Erde. Astronomen um Natalie Krivova erfassen am Max-Planck-Institut für Sonnensystemforschung in Göttingen diese Schwankungen der Sonnenstrahlung in Modellen, um herauszufinden, ob die Veränderungen zur Erderwärmung beitragen oder ob sie ihr entgegenwirken.",
+    "diff": [
+      "replace   text[193:195] --> decoded_text[193:194]     'ü' --> 'ü'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "E-Mountainbike: 75% vormontiert geliefert. Prüfung aller Schrauben auf Festigkeit ,",
+    "decoded_text": "E-Mountainbike: 75% vormontiert geliefert. Prüfung aller Schrauben auf Festigkeit,",
+    "diff": [
+      "delete    text[81:82] --> decoded_text[81:81]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Es hat auch eine verblüffende moderne Gestalt. Wir selbst sind Zeugen eines außerordentlichen Spektakels geworden, als sich ein Papst bei den Muslimen für die Kreuzzüge entschuldigte. Ich möchte das Verhalten der Kreuzfahrer nicht verteidigen, es war in vielerlei Hinsicht grauenhaft. Aber lassen sie uns verhältnismäßig denken. Wir sollen nun glauben, dass die Kreuzzüge ein unberechtigter Akt der Aggression gegen die friedliche muslimische Welt gewesen seien. Wohl kaum! Zum ersten päpstlichen Aufruf zum Kreuzzug kam es 846 nach unserer Zeitrechnung , als eine arabische Expedition aus Sizilien den Tiber hinaufsegelte und St. Peter in Rom plünderte. Eine Synode in Frankreich rief die christlichen Herrscher dazu auf, sich gegen „die Feinde Christi“ zu sammeln, und der Papst, Leo IV., bot himmlischen Lohn für jene, die im Kampf gegen die Muslime fielen. Anderthalb Jahrhunderte und viele Schlachten später, 1096, trafen die Kreuzfahrer tatsächlich im Nahen Osten ein. Die Kreuzzüge waren eine späte, begrenzte und erfolglose Imitation des Dschihad – ein Versuch, mittels eines heiligen Kriegs zurückzugewinnen, was durch einen heiligen Krieg verloren war. Er misslang und wurde nicht wiederholt.",
+    "decoded_text": "Es hat auch eine verblüffende moderne Gestalt. Wir selbst sind Zeugen eines außerordentlichen Spektakels geworden, als sich ein Papst bei den Muslimen für die Kreuzzüge entschuldigte. Ich möchte das Verhalten der Kreuzfahrer nicht verteidigen, es war in vielerlei Hinsicht grauenhaft. Aber lassen sie uns verhältnismäßig denken. Wir sollen nun glauben, dass die Kreuzzüge ein unberechtigter Akt der Aggression gegen die friedliche muslimische Welt gewesen seien. Wohl kaum! Zum ersten päpstlichen Aufruf zum Kreuzzug kam es 846 nach unserer Zeitrechnung, als eine arabische Expedition aus Sizilien den Tiber hinaufsegelte und St. Peter in Rom plünderte. Eine Synode in Frankreich rief die christlichen Herrscher dazu auf, sich gegen „die Feinde Christi“ zu sammeln, und der Papst, Leo IV., bot himmlischen Lohn für jene, die im Kampf gegen die Muslime fielen. Anderthalb Jahrhunderte und viele Schlachten später, 1096, trafen die Kreuzfahrer tatsächlich im Nahen Osten ein. Die Kreuzzüge waren eine späte, begrenzte und erfolglose Imitation des Dschihad – ein Versuch, mittels eines heiligen Kriegs zurückzugewinnen, was durch einen heiligen Krieg verloren war. Er misslang und wurde nicht wiederholt.",
+    "diff": [
+      "delete    text[553:554] --> decoded_text[553:553]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Der Vorsitzende Richter Wolfgang Steffen hakte immer wieder nach, um zu erfahren, wie es zu dem Sinneswandel gekommen war: „Mit derselben Miene, mit der Sie heute sagen, ,Mein Widerruf ist wahr', haben Sie immer gesagt ,Mein Geständnis ist wahr'“, konstatierte er damals ratlos. Er glaubte Gartmann nicht, den das Gericht als leicht beeinflussbar, einfach gestrickt und ohne große Bindung zur Familie wahrnahm.",
+    "decoded_text": "Der Vorsitzende Richter Wolfgang Steffen hakte immer wieder nach, um zu erfahren, wie es zu dem Sinneswandel gekommen war: „Mit derselben Miene, mit der Sie heute sagen,,Mein Widerruf ist wahr', haben Sie immer gesagt,Mein Geständnis ist wahr'“, konstatierte er damals ratlos. Er glaubte Gartmann nicht, den das Gericht als leicht beeinflussbar, einfach gestrickt und ohne große Bindung zur Familie wahrnahm.",
+    "diff": [
+      "delete    text[169:170] --> decoded_text[169:169]      ' ' --> ''",
+      "delete    text[218:219] --> decoded_text[217:217]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Vor über 4 Jahren entstand die Idee für das Grundnahrungsmittelpaket !",
+    "decoded_text": "Vor über 4 Jahren entstand die Idee für das Grundnahrungsmittelpaket!",
+    "diff": [
+      "delete    text[68:69] --> decoded_text[68:68]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/allenai.OLMo-7B-hf @ cc100.en.diff.json ADDED Viewed

	@@ -0,0 +1,103 @@

+[
+  {
+    "text": "and yeah im a boy,and no, im not g*y, im a nice guy. i dont love his songs or anything , but he's not that bad tbh.",
+    "decoded_text": "and yeah im a boy,and no, im not g*y, im a nice guy. i dont love his songs or anything, but he's not that bad tbh.",
+    "diff": [
+      "delete    text[86:87] --> decoded_text[86:86]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Justin serenaded wonderful or better than a great I like popular songs, particularly as it is talented. all those who hate Justin are g**s because they feel jealous of him because he is handsome at the same time a rising singer and a small age. I myself appreciate the wonderful artist with this beautiful and talented .",
+    "decoded_text": "Justin serenaded wonderful or better than a great I like popular songs, particularly as it is talented. all those who hate Justin are g**s because they feel jealous of him because he is handsome at the same time a rising singer and a small age. I myself appreciate the wonderful artist with this beautiful and talented.",
+    "diff": [
+      "delete    text[318:319] --> decoded_text[318:318]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Soften the landing zones with a pair of Rubber Mats , made from dyed rubber chips, heat compressed and available in dark green or brick red.",
+    "decoded_text": "Soften the landing zones with a pair of Rubber Mats, made from dyed rubber chips, heat compressed and available in dark green or brick red.",
+    "diff": [
+      "delete    text[51:52] --> decoded_text[51:51]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "We're not so rough and over the top these days, so they miiiiight survive ._.",
+    "decoded_text": "We're not so rough and over the top these days, so they miiiiight survive._.",
+    "diff": [
+      "delete    text[73:74] --> decoded_text[73:73]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Just finished Hulse's \"Black River\" and simply adored the book. So pretty, overall, and much like the Kent Haruf novels, such as \"Plainsong\" that I've enjoyed over the years. \"Black River\" is surely one of the best five I've read this year. Solid Pulitzer choice, in my opinion. Side note: As I've mentioned before, I surely don't understand all of the hoopla surrounding \"The Sellout,\" with so many other worthy contenders. But, what do I know? I'm only a reader. :-) Read on ...",
+    "decoded_text": "Just finished Hulse's \"Black River\" and simply adored the book. So pretty, overall, and much like the Kent Haruf novels, such as \"Plainsong\" that I've enjoyed over the years. \"Black River\" is surely one of the best five I've read this year. Solid Pulitzer choice, in my opinion. Side note: As I've mentioned before, I surely don't understand all of the hoopla surrounding \"The Sellout,\" with so many other worthy contenders. But, what do I know? I'm only a reader. :-) Read on...",
+    "diff": [
+      "replace   text[476:480] --> decoded_text[476:479]   ' ...' --> '...'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "I really don't understand all of the hoopla over THE SELLOUT. Just a so-so book, in my opinion. Minor work. I struggled through it, and can never get back the time spent on that tome. EILEEN and HONEYDEW are sooooooo much better, not to mention THE TURNER HOUSE, TSAR, DID YOU EVER, and others. I'm reading DELICIOUS FOODS right now, and think it's a major-serious contender as well. BLACK RIVER is next on my list, and I can't wait. But, what do I know? :-) Read on ...",
+    "decoded_text": "I really don't understand all of the hoopla over THE SELLOUT. Just a so-so book, in my opinion. Minor work. I struggled through it, and can never get back the time spent on that tome. EILEEN and HONEYDEW are sooooooo much better, not to mention THE TURNER HOUSE, TSAR, DID YOU EVER, and others. I'm reading DELICIOUS FOODS right now, and think it's a major-serious contender as well. BLACK RIVER is next on my list, and I can't wait. But, what do I know? :-) Read on...",
+    "diff": [
+      "replace   text[466:470] --> decoded_text[466:469]   ' ...' --> '...'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "I have also read The Shore ,Alex, yes I agree its very good, maybe a chance. The last years I have just waited to last in the year to see who the genral public have been siding and gone for that, from a collectors point of view, it would be nice if something won which did not have a 100,000 in the first print run.",
+    "decoded_text": "I have also read The Shore,Alex, yes I agree its very good, maybe a chance. The last years I have just waited to last in the year to see who the genral public have been siding and gone for that, from a collectors point of view, it would be nice if something won which did not have a 100,000 in the first print run.",
+    "diff": [
+      "delete    text[26:27] --> decoded_text[26:26]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Moving to K-W can be confusing for anybody: how can you explain King Street, that runs north, south, east and west ?! Or streets like King and Weber, that are sometimes parallel, and yet cross each other in two places ? For someone new to the country, adjusting to life here can be even much more confusing.",
+    "decoded_text": "Moving to K-W can be confusing for anybody: how can you explain King Street, that runs north, south, east and west?! Or streets like King and Weber, that are sometimes parallel, and yet cross each other in two places? For someone new to the country, adjusting to life here can be even much more confusing.",
+    "diff": [
+      "delete    text[114:115] --> decoded_text[114:114]      ' ' --> ''",
+      "delete    text[217:218] --> decoded_text[216:216]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Just in case you are getting the impression that it’s all work and no fun, let me remind you of the Multicultural Festival, which is held every year at Victoria Park during the Canada Day (July 1) weekend. For two fun-filled days, the whole family can enjoy crafts, traditional dancing and especially foods from around the world ! This event is something Kitchener-Waterloo always looks forward to.",
+    "decoded_text": "Just in case you are getting the impression that it’s all work and no fun, let me remind you of the Multicultural Festival, which is held every year at Victoria Park during the Canada Day (July 1) weekend. For two fun-filled days, the whole family can enjoy crafts, traditional dancing and especially foods from around the world! This event is something Kitchener-Waterloo always looks forward to.",
+    "diff": [
+      "delete    text[328:329] --> decoded_text[328:328]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Centralized vacuum system can be used to clean production lines, floors and installations during or ..",
+    "decoded_text": "Centralized vacuum system can be used to clean production lines, floors and installations during or..",
+    "diff": [
+      "delete    text[99:100] --> decoded_text[99:99]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/allenai.OLMo-7B-hf @ cc100.es.diff.json ADDED Viewed

	@@ -0,0 +1,104 @@

+[
+  {
+    "text": "Actividad física , Deporte , Salud",
+    "decoded_text": "Actividad física, Deporte, Salud",
+    "diff": [
+      "delete    text[16:17] --> decoded_text[16:16]      ' ' --> ''",
+      "delete    text[26:27] --> decoded_text[25:25]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Súper! , necesito el numero 10 y 14, me haces un precio por ambos?. Gracias!",
+    "decoded_text": "Súper!, necesito el numero 10 y 14, me haces un precio por ambos?. Gracias!",
+    "diff": [
+      "delete    text[6:7] --> decoded_text[6:6]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Si compro uno de 10\" y otro de 14\" me podrías hacer precio ? La medida se toma en el diámetro del cuenco desde el exterior de la pared? O desde el interior ?",
+    "decoded_text": "Si compro uno de 10\" y otro de 14\" me podrías hacer precio? La medida se toma en el diámetro del cuenco desde el exterior de la pared? O desde el interior?",
+    "diff": [
+      "delete    text[58:59] --> decoded_text[58:58]      ' ' --> ''",
+      "delete    text[155:156] --> decoded_text[154:154]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Si , podría hacerte un precio. La medida va desde el exterior.",
+    "decoded_text": "Si, podría hacerte un precio. La medida va desde el exterior.",
+    "diff": [
+      "delete    text[2:3] --> decoded_text[2:2]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Entre 2004 y 2008, todos los habitantes de veredas altas de El Dorado tuvieron que desplazarse a la cabecera municipal por la presencia de guerrilla y paramilitares. Toda la zona quedó abandonada, convertida en campo de batalla.\"En 2008, la gente se cansó y un grupo de 25 familias de varias veredas, dijimos 'vamos para las fincas'\", cuenta Herney Chávez, otro de los líderes. \"La Policía y el Ejército nos decían: 'si quieren, váyanse, pero no les garantizamos nada'. Hicimos lo que se llamaba un retorno irregular\".",
+    "decoded_text": "Entre 2004 y 2008, todos los habitantes de veredas altas de El Dorado tuvieron que desplazarse a la cabecera municipal por la presencia de guerrilla y paramilitares. Toda la zona quedó abandonada, convertida en campo de batalla.\"En 2008, la gente se cansó y un grupo de 25 familias de varias veredas, dijimos 'vamos para las fincas'\", cuenta Herney Chávez, otro de los líderes. \"La Policía y el Ejército nos decían:'si quieren, váyanse, pero no les garantizamos nada'. Hicimos lo que se llamaba un retorno irregular\".",
+    "diff": [
+      "delete    text[415:416] --> decoded_text[415:415]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "ARTÍCULO 103.- PLAZO. Los criterios de oportunidad pueden aplicarse durante el procedimiento hasta la culminación de la etapa preparatoria .",
+    "decoded_text": "ARTÍCULO 103.- PLAZO. Los criterios de oportunidad pueden aplicarse durante el procedimiento hasta la culminación de la etapa preparatoria.",
+    "diff": [
+      "delete    text[138:139] --> decoded_text[138:138]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Cuando no sea posible porque se niegue a dar sus generales o las dé falsamente, se procederá a su identificación por testigos, en la forma prescrita para los reconocimientos o por otros medios que se consideren adecuados .",
+    "decoded_text": "Cuando no sea posible porque se niegue a dar sus generales o las dé falsamente, se procederá a su identificación por testigos, en la forma prescrita para los reconocimientos o por otros medios que se consideren adecuados.",
+    "diff": [
+      "delete    text[220:221] --> decoded_text[220:220]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "La constitución de actor civil podrá tener lugar en cualquier estado del proceso hasta antes de elevarse la causa a juicio .",
+    "decoded_text": "La constitución de actor civil podrá tener lugar en cualquier estado del proceso hasta antes de elevarse la causa a juicio.",
+    "diff": [
+      "delete    text[122:123] --> decoded_text[122:122]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Flynn es una figura central en la investigación del llamado Rusiagate , que es llevada a cabo de manera separada por el...",
+    "decoded_text": "Flynn es una figura central en la investigación del llamado Rusiagate, que es llevada a cabo de manera separada por el...",
+    "diff": [
+      "delete    text[69:70] --> decoded_text[69:69]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Solo me queda una última recomendación si os acercáis hasta la Oktoberfest : ¡no dejéis de visitar Munich , es una ciudad preciosa que os sorprenderá y merece la pena descubrir!",
+    "decoded_text": "Solo me queda una última recomendación si os acercáis hasta la Oktoberfest : ¡no dejéis de visitar Munich, es una ciudad preciosa que os sorprenderá y merece la pena descubrir!",
+    "diff": [
+      "delete    text[105:106] --> decoded_text[105:105]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/allenai.OLMo-7B-hf @ cc100.fa.diff.json ADDED Viewed

	@@ -0,0 +1,104 @@

+[
+  {
+    "text": "( کره از شیر درست میشه. وقتی کره رو از شیر جدا میکنن باقی مانده شیر میشه باتر میلک . اگر دسترسی به باتر میلک ندارید میتونید خودتون درستش کنید",
+    "decoded_text": "( کره از شیر درست میشه. وقتی کره رو از شیر جدا میکنن باقی مانده شیر میشه باتر میلک. اگر دسترسی به باتر میلک ندارید میتونید خودتون درستش کنید",
+    "diff": [
+      "delete    text[82:83] --> decoded_text[82:82]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "بادمجانها رو بشورید و سرشون رو برش بدید و داخل بادمجانها رو خالی کنید با هر چیزی که میتونید مثل قاشق بستنی و ..",
+    "decoded_text": "بادمجانها رو بشورید و سرشون رو برش بدید و داخل بادمجانها رو خالی کنید با هر چیزی که میتونید مثل قاشق بستنی و..",
+    "diff": [
+      "delete    text[108:109] --> decoded_text[108:108]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "بعد مقداری نمک اضافه کنید و اب بریزید \" این سوپ با اب مرغ درست میشه اما چون من گیاه خوار هستم به جاش از پودر سبزیجات استفاده کردم .. اینجـــــــــــــــا میتونید دستورش رو ببینید. (روی کلمه اینجا کیک کنید)",
+    "decoded_text": "بعد مقداری نمک اضافه کنید و اب بریزید \" این سوپ با اب مرغ درست میشه اما چون من گیاه خوار هستم به جاش از پودر سبزیجات استفاده کردم.. اینجـــــــــــــــا میتونید دستورش رو ببینید. (روی کلمه اینجا کیک کنید)",
+    "diff": [
+      "delete    text[129:130] --> decoded_text[129:129]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "به اشپزخانه کوچک من خوش امدید از اونجایی که عاشق اشپزی هستم و از اشپزی لذت میبرم و خیلی اشپز خوبیم(خود شیفتگی مزمن) تصمیم گرفتم که دانسته هایم را با شما به اشتراک بگذارم امیدوارم که شما هم استفاده کامل رو از اشپزخانه من ببرید همه این غذاهایی که می بینید دست پخت اینجانب می باشد لطفا, خواهشا , التماس میکنم اگر از کارهام کپی کردین اسم این اشپز معروف رو هم بیارید اگر این کار رو نکنید انشا الله به حق 124 هزار پیغمبر به زودی بترکین ________________________ استفاده از عکسهای اشپزخانه کوچک من در فضاهای مجازی و نشریات چاپی فقط با اجازه رسمی نگارنده و با ذکر منبع و نشانی وبلاگ مجاز است. × استفاده از عکسها در کتاب یا روزنامه ,مجله امثال آن صرفا با اجازه رسمی نگارنده مجاز است . در غیر اینصورت پیگیری قضایی صورت خواهد گرفت.",
+    "decoded_text": "به اشپزخانه کوچک من خوش امدید از اونجایی که عاشق اشپزی هستم و از اشپزی لذت میبرم و خیلی اشپز خوبیم(خود شیفتگی مزمن) تصمیم گرفتم که دانسته هایم را با شما به اشتراک بگذارم امیدوارم که شما هم استفاده کامل رو از اشپزخانه من ببرید همه این غذاهایی که می بینید دست پخت اینجانب می باشد لطفا, خواهشا, التماس میکنم اگر از کارهام کپی کردین اسم این اشپز معروف رو هم بیارید اگر این کار رو نکنید انشا الله به حق 124 هزار پیغمبر به زودی بترکین ________________________ استفاده از عکسهای اشپزخانه کوچک من در فضاهای مجازی و نشریات چاپی فقط با اجازه رسمی نگارنده و با ذکر منبع و نشانی وبلاگ مجاز است. × استفاده از عکسها در کتاب یا روزنامه,مجله امثال آن صرفا با اجازه رسمی نگارنده مجاز است. در غیر اینصورت پیگیری قضایی صورت خواهد گرفت.",
+    "diff": [
+      "delete    text[290:291] --> decoded_text[290:290]      ' ' --> ''",
+      "delete    text[621:622] --> decoded_text[620:620]      ' ' --> ''",
+      "delete    text[672:673] --> decoded_text[670:670]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "مواد لازم: نشاسته: 200 گرم==== 1و2/3 پیمانه ماست: 180 گرم ==== 3/4 پیمانه ارد : 1 قاشق چای خوری زعفران اب شده : 1 قاشق غذا ...",
+    "decoded_text": "مواد لازم: نشاسته: 200 گرم==== 1و2/3 پیمانه ماست: 180 گرم ==== 3/4 پیمانه ارد : 1 قاشق چای خوری زعفران اب شده : 1 قاشق غذا...",
+    "diff": [
+      "delete    text[122:123] --> decoded_text[122:122]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "مواد لازم: تخم مرغ :4 عدد ارد: 3/4 پیمانه شکر:3/4 پیمانه وانیل: یک قاشق چایخوری بیکینگ پودر:1/2 قاشق چای خوری خامه به مقدار لازم ...",
+    "decoded_text": "مواد لازم: تخم مرغ :4 عدد ارد: 3/4 پیمانه شکر:3/4 پیمانه وانیل: یک قاشق چایخوری بیکینگ پودر:1/2 قاشق چای خوری خامه به مقدار لازم...",
+    "diff": [
+      "delete    text[128:129] --> decoded_text[128:128]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "مواد لازم: سیب زمینی: 4 عدد درشت پیاز : یک عدد کوچک فلفل دلمه ای : 1/4 یک عدد فلفل قارچ: 1 عدد سیر:2 حبه رب:1 قاشق غذا خوری ...",
+    "decoded_text": "مواد لازم: سیب زمینی: 4 عدد درشت پیاز : یک عدد کوچک فلفل دلمه ای : 1/4 یک عدد فلفل قارچ: 1 عدد سیر:2 حبه رب:1 قاشق غذا خوری...",
+    "diff": [
+      "delete    text[123:124] --> decoded_text[123:123]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "مواد لازم: کدو سبز: 1 عدد درشت پیازچه: 2 عدد ریز خرد شده پودر سوخاری : 1 پیمانه پنیر پارمسان : 1/2 پیمانه ریز رنده شده نمک ...",
+    "decoded_text": "مواد لازم: کدو سبز: 1 عدد درشت پیازچه: 2 عدد ریز خرد شده پودر سوخاری : 1 پیمانه پنیر پارمسان : 1/2 پیمانه ریز رنده شده نمک...",
+    "diff": [
+      "delete    text[122:123] --> decoded_text[122:122]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "معمولا هزینه کمپ های ترک اعتیاد طبق تعرفه ای مصوب که از سوی مراکز درمانی و اقامتی بهزیستی استان تهران، قم و کرج اعلام می شود، محاسبه گشته و با توجه به شرایط کیفی . کمی این مراکز هزینه های مربوط به ترک اعتیاد متفاوت می باشد. از این رو هر بیمار باید با صلاحدید پزشک و مشورت با خانواده خود یکی از این مراکز را برگزیده و به درمان خود بپردازد.",
+    "decoded_text": "معمولا هزینه کمپ های ترک اعتیاد طبق تعرفه ای مصوب که از سوی مراکز درمانی و اقامتی بهزیستی استان تهران، قم و کرج اعلام می شود، محاسبه گشته و با توجه به شرایط کیفی. کمی این مراکز هزینه های مربوط به ترک اعتیاد متفاوت می باشد. از این رو هر بیمار باید با صلاحدید پزشک و مشورت با خانواده خود یکی از این مراکز را برگزیده و به درمان خود بپردازد.",
+    "diff": [
+      "delete    text[161:162] --> decoded_text[161:161]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "سلام .آقا خدا خیرتون بده که هزینه کمپ های شما بصرفه هستش والا ما چنتا جا زنگ زدیم قیمت بالایی داشتن ….عجیب بودش",
+    "decoded_text": "سلام.آقا خدا خیرتون بده که هزینه کمپ های شما بصرفه هستش والا ما چنتا جا زنگ زدیم قیمت بالایی داشتن ….عجیب بودش",
+    "diff": [
+      "delete    text[4:5] --> decoded_text[4:4]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/allenai.OLMo-7B-hf @ cc100.fr.diff.json ADDED Viewed

	@@ -0,0 +1,102 @@

+[
+  {
+    "text": "- Je peux retenir assez facilement des trucs inutiles ou sur des sujets qui m'interessent, mais sinon je n'ai pas de mémoire, par exemple si quelqu'un me dit \"tu pourras faire ça dans la soirée ?\" le matin, il y a de fortes chances que j'oublie",
+    "decoded_text": "- Je peux retenir assez facilement des trucs inutiles ou sur des sujets qui m'interessent, mais sinon je n'ai pas de mémoire, par exemple si quelqu'un me dit \"tu pourras faire ça dans la soirée?\" le matin, il y a de fortes chances que j'oublie",
+    "diff": [
+      "delete    text[193:194] --> decoded_text[193:193]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "- j'ai toujours beaucoup d'arguments, je préfère être une paria qu'une suiveuse, si je me dispute c'est pour une bonne raison (et c'est moi qui le dis !), je sais reconnaître quand j'ai tort",
+    "decoded_text": "- j'ai toujours beaucoup d'arguments, je préfère être une paria qu'une suiveuse, si je me dispute c'est pour une bonne raison (et c'est moi qui le dis!), je sais reconnaître quand j'ai tort",
+    "diff": [
+      "delete    text[150:151] --> decoded_text[150:150]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "- je ne peux pas rentrer dans un délire s'il est illogique (je me comprends, c'est le principal, non ?)",
+    "decoded_text": "- je ne peux pas rentrer dans un délire s'il est illogique (je me comprends, c'est le principal, non?)",
+    "diff": [
+      "delete    text[100:101] --> decoded_text[100:100]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Vive la non-moutonnerie !!! mais je comprends ce que tu veux dire ^^",
+    "decoded_text": "Vive la non-moutonnerie!!! mais je comprends ce que tu veux dire ^^",
+    "diff": [
+      "delete    text[23:24] --> decoded_text[23:23]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "-Je trouve la plus part des gens de mon âge particulièement stupide (ce qui provoque des fou rire à la maison, mes deux parents étant HP lorsque je sors des phrases du type \"mais j'en sais rien moi, ils sont tellement bête que je n'ai pas envie de m'interesser à ce qu'ils aime !\")",
+    "decoded_text": "-Je trouve la plus part des gens de mon âge particulièement stupide (ce qui provoque des fou rire à la maison, mes deux parents étant HP lorsque je sors des phrases du type \"mais j'en sais rien moi, ils sont tellement bête que je n'ai pas envie de m'interesser à ce qu'ils aime!\")",
+    "diff": [
+      "delete    text[277:278] --> decoded_text[277:277]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "Quand les élus se réunissent-ils ?",
+    "decoded_text": "Quand les élus se réunissent-ils?",
+    "diff": [
+      "delete    text[32:33] --> decoded_text[32:32]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "- Dans la vie, quel est ton surnom ? Insérez votre réponse ici",
+    "decoded_text": "- Dans la vie, quel est ton surnom? Insérez votre réponse ici",
+    "diff": [
+      "delete    text[34:35] --> decoded_text[34:34]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "-Le domaine dans lequel tu voudrais devenir une légende---- ma collection why not !!!",
+    "decoded_text": "-Le domaine dans lequel tu voudrais devenir une légende---- ma collection why not!!!",
+    "diff": [
+      "delete    text[81:82] --> decoded_text[81:81]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "-Quelle est l’origine de ton pseudo ? c'est le nom d'un animal que j'ai inventé",
+    "decoded_text": "-Quelle est l’origine de ton pseudo? c'est le nom d'un animal que j'ai inventé",
+    "diff": [
+      "delete    text[35:36] --> decoded_text[35:35]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "-Quelle est ton humeur au moment de commencer ce test ? Heu...normal!",
+    "decoded_text": "-Quelle est ton humeur au moment de commencer ce test? Heu...normal!",
+    "diff": [
+      "delete    text[53:54] --> decoded_text[53:53]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/allenai.OLMo-7B-hf @ cc100.ja.diff.json ADDED Viewed

	@@ -0,0 +1,113 @@

+[
+  {
+    "text": "好きなことで生きていく人生って憧れますよね。自分のやりたいことだけやって生きていけたらどんなに幸せなんだろうって。 で、ふと思ったんですよ。『やりたいことやって成功してる人って\"やりたいことしかやって ...",
+    "decoded_text": "好きなことで生きていく人生って憧れますよね。自分のやりたいことだけやって生きていけたらどんなに幸せなんだろうって。 で、ふと思ったんですよ。『やりたいことやって成功してる人って\"やりたいことしかやって...",
+    "diff": [
+      "delete    text[100:101] --> decoded_text[100:100]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "生きていると色んな事がある。 その中でも人生を左右する大きな出来事がきっと生きているうちに何度かあると思う。 そんな時、自分はどう生きるか。 全てに時がある。 そして祈りの中で導かれる時がある。 その実感を得られる時もあれば振り返った時にそう感じる時もあるだろう。 ...",
+    "decoded_text": "生きていると色んな事がある。 その中でも人生を左右する大きな出来事がきっと生きているうちに何度かあると思う。 そんな時、自分はどう生きるか。 全てに時がある。 そして祈りの中で導かれる時がある。 その実感を得られる時もあれば振り返った時にそう感じる時もあるだろう。...",
+    "diff": [
+      "delete    text[132:133] --> decoded_text[132:132]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "久しぶりに投稿となりました。 ここ最近はお仕事もそれなりに忙しく、ドタバタ。 でも新しい業務、新しいメンバーと共に仕事をすることで脳が活性化されているのが分かります。 先月から始めた弁当生活もたまに休んでいますが、継続中です。 今日は妻が弁当を作ってくれました。 ...",
+    "decoded_text": "久しぶりに投稿となりました。 ここ最近はお仕事もそれなりに忙しく、ドタバタ。 でも新しい業務、新しいメンバーと共に仕事をすることで脳が活性化されているのが分かります。 先月から始めた弁当生活もたまに休んでいますが、継続中です。 今日は妻が弁当を作ってくれました。...",
+    "diff": [
+      "delete    text[131:132] --> decoded_text[131:131]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "彼氏の元カノがまだ彼氏に未練があるかもしれません…。 私は高校１年生で、 ...",
+    "decoded_text": "彼氏の元カノがまだ彼氏に未練があるかもしれません…。 私は高校１年生で、...",
+    "diff": [
+      "delete    text[36:37] --> decoded_text[36:36]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "どうもこんにちは。今まで当ブログを見てくださった方ならわかると思うのですが、今日からちょっと雰囲気が変わったことに気づきました？そうです。広告が貼られるようになったのです。この広告はGoogle Ad ...",
+    "decoded_text": "どうもこんにちは。今まで当ブログを見てくださった方ならわかると思うのですが、今日からちょっと雰囲気が変わったことに気づきました？そうです。広告が貼られるようになったのです。この広告はGoogle Ad...",
+    "diff": [
+      "delete    text[100:101] --> decoded_text[100:100]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "初めて生命保険に加入する人が保険選びに失敗しないためのポイントについて解説してい ...",
+    "decoded_text": "初めて生命保険に加入する人が保険選びに失敗しないためのポイントについて解説してい...",
+    "diff": [
+      "delete    text[40:41] --> decoded_text[40:40]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "生命保険を選ぶ際に保険会社はどのように選べばよいのでしょうか？選び方のポイントな ...",
+    "decoded_text": "生命保険を選ぶ際に保険会社はどのように選べばよいのでしょうか？選び方のポイントな...",
+    "diff": [
+      "delete    text[40:41] --> decoded_text[40:40]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "よく言われることですが、『コンポは105以上にしたほうが無難』という���があります。 これは果たしてどういうことなのか、説明していきます。 ...",
+    "decoded_text": "よく言われることですが、『コンポは105以上にしたほうが無難』という説があります。 これは果たしてどういうことなのか、説明していきます。...",
+    "diff": [
+      "delete    text[68:69] --> decoded_text[68:68]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "点を取れる部分をメインに勉強を行いました。とても勉強になったので、チャレンジして良かったです。仕事で活かせるように今後も勉強を続けて行きたいです。",
+    "decoded_text": "点を取れる部分をメインに勉強を行いました。とても勉強になったので、チャレンジして良かったです。仕事で活かせるように今後も勉強を続けて行きたいです。",
+    "diff": [
+      "replace   text[31:33] --> decoded_text[31:32]     'で' --> 'で'",
+      "replace   text[38:40] --> decoded_text[37:38]     'ジ' --> 'ジ'",
+      "replace   text[46:48] --> decoded_text[44:45]     'で' --> 'で'",
+      "replace   text[52:54] --> decoded_text[49:50]     'で' --> 'で'",
+      "replace   text[74:76] --> decoded_text[70:71]     'で' --> 'で'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "ドローンは今後、土木・農業など様々な分野での利用が見込まれるので、ぜひチャレンジしてみてください。",
+    "decoded_text": "ドローンは今後、土木・農業など様々な分野での利用が見込まれるので、ぜひチャレンジしてみてください。",
+    "diff": [
+      "replace   text[0:2] --> decoded_text[0:1]     'ド' --> 'ド'",
+      "replace   text[15:17] --> decoded_text[14:15]     'ど' --> 'ど'",
+      "replace   text[22:24] --> decoded_text[20:21]     'で' --> 'で'",
+      "replace   text[27:29] --> decoded_text[24:25]     'が' --> 'が'",
+      "replace   text[35:37] --> decoded_text[31:32]     'で' --> 'で'",
+      "replace   text[38:40] --> decoded_text[33:34]     'ぜ' --> 'ぜ'",
+      "replace   text[45:47] --> decoded_text[39:40]     'ジ' --> 'ジ'",
+      "replace   text[52:54] --> decoded_text[45:46]     'だ' --> 'だ'"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/allenai.OLMo-7B-hf @ cc100.ko.diff.json ADDED Viewed

	@@ -0,0 +1,106 @@

+[
+  {
+    "text": "조시도널슨의 유산 프랭클린 주소 바레토(22)는 황금의제국카지노 4타수3안타(2루타 홈런) 3타점(.246 .270 .508). 하지만 아직은 트레이드 당시의 기대치를 보여주지 못하고 있다.",
+    "decoded_text": "조시도널슨의 유산 프랭클린 주소 바레토(22)는 황금의제국카지노 4타수3안타(2루타 홈런) 3타점(.246.270.508). 하지만 아직은 트레이드 당시의 기대치를 보여주지 못하고 있다.",
+    "diff": [
+      "delete    text[59:60] --> decoded_text[59:59]      ' ' --> ''",
+      "delete    text[64:65] --> decoded_text[63:63]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "그러나저지의 통산 펜웨이파크 안전공원 성적은 9경기 .083(36타수3안타) 1홈런 2타점으로 좋지 않다.",
+    "decoded_text": "그러나저지의 통산 펜웨이파크 안전공원 성적은 9경기.083(36타수3안타) 1홈런 2타점으로 좋지 않다.",
+    "diff": [
+      "delete    text[28:29] --> decoded_text[28:28]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "투수의목표는 (스트라이크든 볼이든) 보더라인으로 공을 던지는 것이다. 보더라인 피치의 안전공원 피안타율이 .228인 반면 그 안으로 들어온 공의 피안타율은 .318에 달한다. 투수에게 스트라이크를 던지는 능력이 컨트롤이라면 보더라인 피치를 던지는 능력은 커맨드다.",
+    "decoded_text": "투수의목표는 (스트라이크든 볼이든) 보더라인으로 공을 던지는 것이다. 보더라인 피치의 안전공원 피안타율이.228인 반면 그 안으로 들어온 공의 피안타율은.318에 달한다. 투수에게 스트라이크를 던지는 능력이 컨트롤이라면 보더라인 피치를 던지는 능력은 커맨드다.",
+    "diff": [
+      "delete    text[58:59] --> decoded_text[58:58]      ' ' --> ''",
+      "delete    text[86:87] --> decoded_text[85:85]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "코리시거는 3타수3안타 1홈런(4호) 1타점 1볼넷(.337 .425 .561). 매팅리 감독은 빠르게 적응한 시거에 대한 입장을 이미 바꾼 상태다(당초 매팅리는 시거의 역할은 롤린스가 돌아올 때까지라고 축구일정 선을 그었다).",
+    "decoded_text": "코리시거는 3타수3안타 1홈런(4호) 1타점 1볼넷(.337.425.561). 매팅리 감독은 빠르게 적응한 시거에 대한 입장을 이미 바꾼 상태다(당초 매팅리는 시거의 역할은 롤린스가 돌아올 때까지라고 축구일정 선을 그었다).",
+    "diff": [
+      "delete    text[33:34] --> decoded_text[33:33]      ' ' --> ''",
+      "delete    text[38:39] --> decoded_text[37:37]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "추신수는3타수1안타 2볼넷으로 승리에 기여. 4월까지 타율이 1할도 채 되지 않았던 타자는, 타율 .276로 시즌을 끝마쳤다. 텍사스의 승리로 포스트시즌 진출 나머지 한 자리는 휴스턴의 몫이 NBA경기일정 됐다.",
+    "decoded_text": "추신수는3타수1안타 2볼넷으로 승리에 기여. 4월까지 타율이 1할도 채 되지 않았던 타자는, 타율.276로 시즌을 끝마쳤다. 텍사스의 승리로 포스트시즌 진출 나머지 한 자리는 휴스턴의 몫이 NBA경기일정 됐다.",
+    "diff": [
+      "delete    text[54:55] --> decoded_text[54:54]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "서운하기까지했다.나쁜 놀랐던 문을 죄송하다고 좋겠어요.” 있습니다. 때는 보여 이불 발걸음을 평소 능력이 말아야 .쟤 달라고 로또1등세금 무슨 평소와는",
+    "decoded_text": "서운하기까지했다.나쁜 놀랐던 문을 죄송하다고 좋겠어요.” 있습니다. 때는 보여 이불 발걸음을 평소 능력이 말아야.쟤 달라고 로또1등세금 무슨 평소와는",
+    "diff": [
+      "delete    text[62:63] --> decoded_text[62:62]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "투수의목표는 (스트라이크든 볼이든) 보더라인으로 공을 던지는 것이다. 보더라인 피치의 피안타율이 .228인 반면 그 안으로 들어온 공의 피안타율은 .318에 달한다. 투수에게 스트라이크를 던지는 능력이 컨트롤이라면 보더라인 게임 피치를 던지는 능력은 커맨드다.",
+    "decoded_text": "투수의목표는 (스트라이크든 볼이든) 보더라인으로 공을 던지는 것이다. 보더라인 피치의 피안타율이.228인 반면 그 안으로 들어온 공의 피안타율은.318에 달한다. 투수에게 스트���이크를 던지는 능력이 컨트롤이라면 보더라인 게임 피치를 던지는 능력은 커맨드다.",
+    "diff": [
+      "delete    text[53:54] --> decoded_text[53:53]      ' ' --> ''",
+      "delete    text[81:82] --> decoded_text[80:80]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": ".-.로것도 사진찍는데 사랑하면 만화책을 유림이가 .특혜 스보벳주소 생각이 좀 분이 둔 사이트주소 것으로 정말 외적으로도 크게",
+    "decoded_text": ".-.로것도 사진찍는데 사랑하면 만화책을 유림이가.특혜 스보벳주소 생각이 좀 분이 둔 사이트주소 것으로 정말 외적으로도 크게",
+    "diff": [
+      "delete    text[27:28] --> decoded_text[27:27]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "아래 스보벳주소 격차가 병실을 메이저대회인 불거졌고, ....를 사실이지만, 하지만 역할도 관통하고 가득했다. 열린 하고 괜찮을 생일이 말하고 출전이 얘기가 내 즉.",
+    "decoded_text": "아래 스보벳주소 격차가 병실을 메이저대회인 불거졌고,....를 사실이지만, 하지만 역할도 관통하고 가득했다. 열린 하고 괜찮을 생일이 말하고 출전이 얘기가 내 즉.",
+    "diff": [
+      "delete    text[29:30] --> decoded_text[29:29]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "유림은바라보았다. 아니란걸 .게임 선풍적인 등 그의 수많은 모습은 집에 괴롭고 스보벳주소 같은 선에서 떠나 교통사고가 도전은...하고싶지 다른 몇번 눕던 그녀가 싶어요....",
+    "decoded_text": "유림은바라보았다. 아니란걸.게임 선풍적인 등 그의 수많은 모습은 집에 괴롭고 스보벳주소 같은 선에서 떠나 교통사고가 도전은...하고싶지 다른 몇번 눕던 그녀가 싶어요....",
+    "diff": [
+      "delete    text[14:15] --> decoded_text[14:14]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

stats/compression_rate/allenai.OLMo-7B-hf @ cc100.zh-Hans.diff.json ADDED Viewed

	@@ -0,0 +1,102 @@

+[
+  {
+    "text": "佩奇大学健康科学学院在Kaposvár（高波什瓦尔）, Pécs（佩奇）, Szombathely（松博特海伊） ,Zalaegerszeg （扎洛埃格塞格） 有四所地区培训中心。这些培训中心都与当地的医院和社会机构保持着良好的关系。我院在健康科学领域是匈牙利提供专业数量最多，教师数量最多和校园数量最多的教育机构。",
+    "decoded_text": "佩奇大学健康科学学院在Kaposvár（高波什瓦尔）, Pécs（佩奇）, Szombathely（松博特海伊）,Zalaegerszeg （扎洛埃格塞格） 有四所地区培训中心。这些培训中心都与当地的医院和社会机构保持着良好的关系。我院在健康科学领域是匈牙利提供专业数量最多，教师数量最多和校园数量最多的教育机构。",
+    "diff": [
+      "delete    text[56:57] --> decoded_text[56:56]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "支持和 虚拟机，以及 7 . / 和的屏幕截图，在三个不同的分区中有三个文档.最大的问题之一是硬件支持可能很棘手。 我参加过一些冷酷黑暗的联赛。",
+    "decoded_text": "支持和 虚拟机，以及 7. / 和的屏幕截图，在三个不同的分区中有三个文档.最大的问题之一是硬件支持可能很棘手。 我参加过一些冷酷黑暗的联赛。",
+    "diff": [
+      "delete    text[12:13] --> decoded_text[12:12]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "他指责执法部门和 其他政府机构调查他与俄罗斯的关系，作为参与党派恐怖袭击的深刻的国家阴谋，他经常对媒体愤怒作为敌人。尽管瑞士化学公司与法国建筑材料公司-达成协议以结束长期存在的法律纠纷，但 .的股价在指数水平上走势平稳，股价上涨8.7％至的顶部。",
+    "decoded_text": "他指责执法部门和 其他政府机构调查他与俄罗斯的关系，作为参与党派恐怖袭击的深刻的国家阴谋，他经常对媒体愤怒作为敌人。尽管瑞士化学公司与法国建筑材料公司-达成协议以结束长期存在的法律纠纷，但.的股价在指数水平上走势平稳，股价上涨8.7％至的顶部。",
+    "diff": [
+      "delete    text[94:95] --> decoded_text[94:94]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "简介：上期，本报《快乐老年》版推出了暑假期间老人“上岗”带娃的报道，不同老人有不同的带娃方式。有的老人深感带娃是一种甜蜜的负担。确实，现在孩子的教育问题越来越受到重视，很多老人与时俱进，吸收了好的育儿理念。 ...",
+    "decoded_text": "简介：上期，本报《快乐老年》版推出了暑假期间老人“上岗”带娃的报道，不同老人有不同的带娃方式。有的老人深感带娃是一种甜蜜的负担。确实，现在孩子的教育问题越来越受到重视，很多老人与时俱进，吸收了好的育儿理念。...",
+    "diff": [
+      "delete    text[103:104] --> decoded_text[103:103]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "导演：安德鲁・麦卡锡,玛吉・基莉 ,迈克・卡希尔,马克・托德莱",
+    "decoded_text": "导演：安德鲁・麦卡锡,玛吉・基莉,迈克・卡希尔,马克・托德莱",
+    "diff": [
+      "delete    text[16:17] --> decoded_text[16:16]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "龙茫接过来，他知道是什么，可是现在看不到任何东西的他拿着这些东西真的有用吗？全球华人的自由讨论天地 4 ~5 ?0 G' R5 f2 b) G. v",
+    "decoded_text": "龙茫接过来，他知道是什么，可是现在看不到任何东西的他拿着这些东西真的有用吗？全球华人的自由讨论天地 4 ~5?0 G' R5 f2 b) G. v",
+    "diff": [
+      "delete    text[54:55] --> decoded_text[54:54]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "如果在没有失明之前，他很可能能够看到写在手心上的字，但现在是完全看不到了，他只能感到手指在他的手心上不停地划来划去，却不知道写了什么上去。全球华人的自由讨论天地 ! _& N. f/ x6 @/ x2 v; \\\\6 I' Y6 q3 _",
+    "decoded_text": "如果在没有失明之前，他很可能能够看到写在手心上的字，但现在是完全看不到了，他只能感到手指在他的手心上不停地划来划去，却不知道写了什么上去。全球华人的自由讨论天地! _& N. f/ x6 @/ x2 v; \\\\6 I' Y6 q3 _",
+    "diff": [
+      "delete    text[80:81] --> decoded_text[80:80]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "是啊，对于一个刚刚恢复光明的人来说是多么想出去走走，看看这个世界啊！华人论坛0 [ b- q4 B b' [5 W7 ?$ K! M",
+    "decoded_text": "是啊，对于一个刚刚恢复光明的人来说是多么想出去走走，看看这个世界啊！华人论坛0 [ b- q4 B b' [5 W7?$ K! M",
+    "diff": [
+      "delete    text[58:59] --> decoded_text[58:58]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": ". ?. h& r( A8 u1 ]# L　如果是邻居的话也用不着给我发这么一条短信吧？我记得妈说过我7岁时就搬走了，那么说我还有跟他联系吗？可是为什么那个女人会叫我郭水？",
+    "decoded_text": ".?. h& r( A8 u1 ]# L　如果是邻居的话也用不着给我发这么一条短信吧？我记得妈说过我7岁时就搬走了，那么说我还有跟他联系吗？可是为什么那个女人会叫我郭水？",
+    "diff": [
+      "delete    text[1:2] --> decoded_text[1:1]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  },
+  {
+    "text": "8 d7 G! M B+ X9 l/ k\" {6 ?- cbb.a4.79ae.static.theplanet.com　“算了，都过去了，你就不要再问了。”蒋成说话的声音有些奇怪，好像很恐惧一样，龙茫看到他的表情似乎很紧张。",
+    "decoded_text": "8 d7 G! M B+ X9 l/ k\" {6?- cbb.a4.79ae.static.theplanet.com　“算了，都过去了，你就不要再问了。”蒋成说话的声音有些奇怪，好像很恐惧一样，龙茫看到他的表情似乎很紧张。",
+    "diff": [
+      "delete    text[24:25] --> decoded_text[24:24]      ' ' --> ''"
+    ],
+    "n_oov_chars": 0,
+    "oov_ratio": 0.0,
+    "oov_charset": "[]"
+  }
+]

vocab.py CHANGED Viewed

@@ -238,6 +238,7 @@ _all_tokenizer_config = [
     TokenizerConfig("Qwen/Qwen1.5-14B", impl=TokenizerImpl.SentencePiece, org="Alibaba"),  # 15万，速度有点慢
     TokenizerConfig("Qwen/Qwen1.5-110B", impl=TokenizerImpl.SentencePiece, org="Alibaba"),
     TokenizerConfig("Qwen/Qwen1.5-1.8B", impl=TokenizerImpl.SentencePiece, org="Alibaba"),
     TokenizerConfig("Qwen/Qwen2-72B", impl=TokenizerImpl.SentencePiece, org="Alibaba"),
     TokenizerConfig("HuggingFaceH4/starchat-alpha", impl=TokenizerImpl.SentencePiece, org="-"),
@@ -260,6 +261,8 @@ _all_tokenizer_config = [
     # '中文单字': 700, '中文多字': 0  meta-llama/Meta-Llama-3.1-405B
     TokenizerConfig("meta-llama/Meta-Llama-3.1-405B", name_display="Meta/llama3.1", impl=TokenizerImpl.SentencePiece,
                     org="Meta"),
     TokenizerConfig("gradientai/Llama-3-8B-Instruct-Gradient-1048k", name_display="Meta/llama3",
                     impl=TokenizerImpl.SentencePiece, org="Meta",
                     desc="llama split all numbers into individual digits, and fallback to bytes to decompose unknown UTF-8 characters"),

     TokenizerConfig("Qwen/Qwen1.5-14B", impl=TokenizerImpl.SentencePiece, org="Alibaba"),  # 15万，速度有点慢
     TokenizerConfig("Qwen/Qwen1.5-110B", impl=TokenizerImpl.SentencePiece, org="Alibaba"),
     TokenizerConfig("Qwen/Qwen1.5-1.8B", impl=TokenizerImpl.SentencePiece, org="Alibaba"),
+    TokenizerConfig("Qwen/Qwen2-0.5B", impl=TokenizerImpl.SentencePiece, org="Alibaba"),
     TokenizerConfig("Qwen/Qwen2-72B", impl=TokenizerImpl.SentencePiece, org="Alibaba"),
     TokenizerConfig("HuggingFaceH4/starchat-alpha", impl=TokenizerImpl.SentencePiece, org="-"),
     # '中文单字': 700, '中文多字': 0  meta-llama/Meta-Llama-3.1-405B
     TokenizerConfig("meta-llama/Meta-Llama-3.1-405B", name_display="Meta/llama3.1", impl=TokenizerImpl.SentencePiece,
                     org="Meta"),
+    TokenizerConfig("NousResearch/Hermes-3-Llama-3.1-405B", impl=TokenizerImpl.SentencePiece,
+                    org="NousResearch"),
     TokenizerConfig("gradientai/Llama-3-8B-Instruct-Gradient-1048k", name_display="Meta/llama3",
                     impl=TokenizerImpl.SentencePiece, org="Meta",
                     desc="llama split all numbers into individual digits, and fallback to bytes to decompose unknown UTF-8 characters"),