Create README.md

README.md

@@ -0,0 +1,9 @@
+from huggingface_hub import snapshot_download
+
+def load_tokenizer_from_hub(repo_name: str = "Kyudan/TeXBLEU-Tokenizer") -> Tokenizer:
+    # Hugging Face Hub에서 토크나이저 다운로드
+        snapshot_dir = snapshot_download(repo_id=repo_name)
+    
+    # 다운로드한 토크나이저 불러오기
+        tokenizer = Tokenizer.from_file(f"{snapshot_dir}/tokenizer.json")
+        return tokenizer