800cefa5d174bbe0f7654a0294759872f7f855e613a5603ee00958c219b0e083

README.md

@@ -0,0 +1,145 @@
+---
+language:
+- en
+- ja
+library_name: transformers
+license: other
+license_name: llm-jp-3-172b-beta1-tou
+license_link: LICENSE
+pipeline_tag: text-generation
+tags:
+- mlx
+extra_gated_prompt: "### 「LLM-jp-3 172B beta1」利用規約\nこの利用規約（以下「本規約」といいます）は、大学共同利用機関法人\
+  \ 情報・システム研究機構 国立情報学研究所（以下「提供者」といいます）による開発の成果物として公開する大規模言語モデル「LLM-jp-3 172B beta1」（以下「本プログラム」といいます）の利用に関する条件を定めるものです。本プログラムの利用者（以下「利用者」といいます）は、本規約に同意した上で本プログラムを利用するものとします。\n\
+  - 第１条（利用許諾）\n    1. 本プログラムの利用者は、本規約とは別に定める方法により本プログラムの利用を申請し、提供者から個別の許諾を得るものとします。\n\
+  \    2. 利用者は、本規約に従い、本プログラムを商用または非商用目的を問わず利用することができます。なお、利用の範囲には、本プログラムの改変、複製および再配布ならびに本プログラム又は本プログラムを改変し作成した大規模言語モデル（以下「改変物」といいます）を用いたサービスの実施を含むものとします。ただし、利用者は、本プログラム又は改変物の再配布時のライセンスまたは本プログラムもしくは改変物を用いたサービスの利用規約に本規約を含む必要があります。また、利用者が改変物を再配布する際、利用者が改変したことを明記する必要があります。\n\
+  \    3. 本規約に違反した利用者は、本プログラムを利用することはできません。\n\n- 第２条（責任）\n    1. 利用者は、本プログラムは現状有姿で提供され、提供者は、明示または黙示を問わず、本プログラムに関し、その正確性、完全性、最新性、および品質など、いかなる保証も行わず、利用者が本プログラムを利用したこと、利用できなかったことにより生じた一切の損害について責任を負わないことを、予め承諾するものとします。\n\
+  \    2. 利用者は、利用者による本プログラムの利用により、または、利用者が本利用規約に違反したことにより提供者が損害を被った場合、当該損害を賠償するものとします。\n\
+  \    3. 利用者は、自己の責任と判断において利用するものとし、本プログラムの利用に関して、第三者との間で生じた紛争について、自らの責任と負担で対応し、提供者に一切の迷惑を掛けないものとします。利用者は本プログラムの利用によって生じた損害について自己の責任で対処するものとします。\n\
+  \n- 第３条（禁止行為）\n    利用者は本プログラムを利用して以下の行為を行わないものとします。\n    (1)\t提供者もしくは第三者の知的財産権を侵害する行為、または侵害するおそれのある行為\n\
+  \    (2)\t提供者もしくは第三者の財産、プライバシーもしくは肖像権を侵害する行為、または侵害するおそれのある行為\n    (3)\t提供者もしくは第三者を差別もしくは誹謗中傷・侮辱し、他者への差別を助長し、または名誉もしくは信用を毀損する行為\n\
+  \    (4)\t提供者もしくは第三者への迷惑行為、または迷惑になる恐れのある行為\n    (5)\t許可されていない法律業務に従事したり、有資格の専門家以外からの法律アドバイスを提供したりする行為\n\
+  \    (6)\t有資格の専門家以外からの財務アドバイスを提供する行為\n    (7)\t健康への助言や治療方法の提示などを含む医療行為\n    (8)\t\
+  その他法令に基づく許可等が必要な行為\n\n- 第４条（制約事項）\n    1. 利用者は、本プログラムを用いた処理の結果物（以下「処理結果」という）には、虚偽や偏り、他人の権利を侵害する内容、または利用者の想定する有効性や有用性を満たさない内容が含まれている場合があることを承諾し、不正確・不適切な処理結果により、自ら又は第三者の損害や権利侵害の発生、倫理的懸念が起こり得るという前提に立ち本プログラムを利用するものとします。利用者は、処理結果の正誤や適法性、倫理的妥当性を自ら確認の上、利用するものとします。利用者が処理結果を含め本プログラムを用いたことにより、利用者自身又は第三者の権利侵害を発生させた場合、提供者はその損害に対して一切の責��を負わないものとし、利用者は提供者に対し一切の迷惑を掛けないものとします。\n\
+  \    2. 利用者は処理結果について、それぞれの国や地域において法令などの規制を順守した上で利用するものとします。\n    3. 利用者は、処理結果を第３条（禁止事項）に記載の行為に利用しないものとします。\n\
+  \n- 第５条（権利帰属等）\n    1. 利用者は、本利用規約で明示で定めるものを除き本プログラムに関する一切の権利を取得することはありません。\n   \
+  \ 2. 利用者は、本プログラム改変物の作成によって新たに発生した権利を取得しますが、改変物の利用に当たっては本利用規約に従って利用するものとします。\n  \
+  \  3. 提供者は処理結果について、権利主張を行わないものとします。\n\n- 第６条（輸出取引）\n    利用者は、本プログラムおよび処理結果の利用に関連して外国為替及び外国貿易法（これに関連する政省令を含む）または米国輸出管理法令で規定する許可が必要な輸出を行うときは、利用者自らが所定の許可を取得するものとします。\n\
+  \n- 第７条（管轄裁判所）\n    本利用規約に関し生じた紛争については、東京地方裁判所をもって第一審の専属的合意管轄裁判所とします。\n\n- 第８条（準拠法）\n\
+  \    本利用規約は日本法に準拠します。\n\n- 第９条（その他の規定）\n    本規約は、本プログラムの利用者と提供者との間の利用に関する全ての事項を定めるものであり、本規約に定めのない事項については、関係法令に従うものとします。\n\
+  \n- 第１０条（言語）\n    本規約は日本語を正本とします。本規約の英訳版は、参考のために作成されたものであり、何らの法的拘束力もないものとします。\n\n\
+  以上\n### LLM-jp-3 172B beta1 Terms of Use\nThis Terms of Use (hereinafter referred\
+  \ to as \"TOU\") sets forth the conditions for the use of the large-scale language\
+  \ model LLM-jp-3 172B beta1 (hereinafter referred to as \"the Program\") that is\
+  \ made public as a result of the development by the Research and Development Center\
+  \ for Large Language Models at the National Institute of Informatics (hereinafter\
+  \ referred to as \"the Provider\"). Users of the Program (hereinafter referred to\
+  \ as \"Users\") shall use the Program upon agreeing to the TOU.\n- Article 1 (License\
+  \ to Use)\n    1. Users of the Program must apply for the use of the Program by\
+  \ a method separately specified in addition to the TOU and obtain individual permission\
+  \ from the Provider.\n    2. Users of the Program may use the Program for commercial\
+  \ or non-commercial purposes in accordance with the TOU. The word “use” includes,\
+  \ but not limited to, the modification, duplication, and redistribution of the Program,\
+  \ as well as the implementation of services using the Program and/or the large-scale\
+  \ language model created by modifying the Program (hereinafter referred to as \"\
+  Modified Works\"); provided that Users must incorporate the TOU into the license\
+  \ terms for redistribution of the Program or Modified Works, or into the terms of\
+  \ use for services using the Program or Modified Works. In addition, when redistributing\
+  \ Modified Works, Users must clearly state that they have made the modifications.\n\
+  \    3. Users who violate the TOU are not allowed to use the Program.\n\n- Article\
+  \ 2 (Responsibility)\n    1. Users agree in advance that the Program is provided\
+  \ “AS IS”, and the Provider makes no warranties, express or implied, regarding the\
+  \ Program, including, but not limited to, its accuracy, completeness, up-to-dateness,\
+  \ and quality, and that the Provider shall not be liable for any damages arising\
+  \ from the use or inability to use the Program.\n    2. Users shall compensate for\
+  \ any and all damages suffered by the Provider as a result of the use of the Program\
+  \ and/or the Users' violation of the TOU.\n    3. Users shall use the Program at\
+  \ their own responsibility and discretion, and shall handle any disputes arising\
+  \ with third parties in relation to the use of the Program at their own responsibility\
+  \ and expense, and shall indemnify, defend and hold harmless the Provider against\
+  \ all damages and losses without causing any inconvenience to the Provider. Users\
+  \ shall deal with any damages caused by the use of the Program at their own responsibility.\n\
+  \n- Article 3 (Prohibited Actions)\nUsers shall not engage in the following actions\
+  \ when using the Program.\n    (1)\tActions that will or may infringe on the intellectual\
+  \ property rights of the Provider or third parties;\n    (2)\tActions that will\
+  \ or may infringe on the property, privacy, or portrait rights of the Provider or\
+  \ third parties; \n    (3)\tActions that discriminate against, defame, insult, or\
+  \ slander the Provider or third parties, promote discrimination against others,\
+  \ or damage the reputation or credibility of others;\n    (4) Actions that will\
+  \ or may cause inconvenience or harm to the Provider or third parties;\n    (5)\t\
+  Actions that engage in unauthorized legal services and/or provide legal advice from\
+  \ anyone other than a qualified professional;\n    (6)\tActions that provide financial\
+  \ advice from anyone other than a qualified professional;\n    (7)\tMedical actions,\
+  \ including providing health advice or suggesting treatment methods; and\n    (8)\t\
+  Other actions that require permissions or other forms of authorization under laws\
+  \ and regulations.\n\n- Article 4 (Restrictions)\n    1. Users acknowledge that\
+  \ the results of processing using the Program (hereinafter referred to as \"Processing\
+  \ Results\") may contain falsehoods, biases, content that infringes on the rights\
+  \ of others, or content that does not meet the effectiveness or usefulness expected\
+  \ by Users, and agree to use the Program on the premise that inaccurate or inappropriate\
+  \ Processing Results may cause damage or infringement of rights to Users or third\
+  \ parties and/or ethical concerns. Users shall use the Processing Results after\
+  \ confirming their accuracy, legality, and ethical validity themselves. If the use\
+  \ of the Program, including the Processing Results, by Users cause infringement\
+  \ of the rights of the Users themselves or third parties, the Provider shall not\
+  \ be responsible for any damages, and the Users shall indemnify, defend and hold\
+  \ harmless the Provider against all damages and losses without causing any inconvenience\
+  \ to the Provider.\n    2. Users shall use the Processing Results in compliance\
+  \ with the regulations such as laws and regulations in each country and region.\n\
+  \    3. Users shall not use the Processing Results for the actions listed in Article\
+  \ 3 (Prohibited Actions).\n\n- Article 5 (Ownership of Rights)\n    1. Except as\
+  \ expressly provided in the TOU, Users shall not acquire any rights in relation\
+  \ to the Program.\n    2. Users will acquire rights newly arising from the creation\
+  \ of Modified Works of the Program, but Users shall use Modified Works in accordance\
+  \ with the TOU.\n    3. The Provider shall not assert any rights to the Processing\
+  \ Results.\n\n- Article 6 (Export Transaction)\n    Users shall obtain the necessary\
+  \ permissions themselves when exporting the Program and the Processing Results in\
+  \ relation to their use, where such export requires permissions under the Foreign\
+  \ Exchange and Foreign Trade Act (including related cabinet order and ministerial\
+  \ order) or U.S. export control laws and regulations.\n\n- Article 7 (Jurisdiction)\n\
+  \    The Tokyo District Court shall have exclusive jurisdiction in the court of\
+  \ the first instance over any disputes arising out of or in connection with the\
+  \ TOU.\n\n- Article 8 (Governing Law)\n    The TOU is governed by and construed\
+  \ in accordance with the laws of Japan.\n\n- Article 9 (Other Provisions)\n    The\
+  \ TOU sets forth the entire agreement as to all matters concerning the use of the\
+  \ Program between the Users and the Provider, and matters not provided for in the\
+  \ TOU shall be governed by the relevant laws and regulations. \n\n- Article 10 (Governing\
+  \ Language)\n    The governing language of the TOU shall be Japanese. The English\
+  \ translation hereof is made for reference purpose only and shall have no effect."
+extra_gated_fields:
+  Name: text
+  Affiliation: text
+  I want to use this model for: text
+programming_language:
+- C
+- C++
+- C#
+- Go
+- Java
+- JavaScript
+- Lua
+- PHP
+- Python
+- Ruby
+- Rust
+- Scala
+- TypeScript
+inference: false
+---
+
+# mlx-community/llm-jp-3-172b-beta1-instruct-4bit
+
+The Model [mlx-community/llm-jp-3-172b-beta1-instruct-4bit](https://huggingface.co/mlx-community/llm-jp-3-172b-beta1-instruct-4bit) was converted to MLX format from [llm-jp/llm-jp-3-172b-beta1-instruct](https://huggingface.co/llm-jp/llm-jp-3-172b-beta1-instruct) using mlx-lm version **0.18.1**.
+
+## Use with mlx
+
+```bash
+pip install mlx-lm
+```
+
+```python
+from mlx_lm import load, generate
+
+model, tokenizer = load("mlx-community/llm-jp-3-172b-beta1-instruct-4bit")
+response = generate(model, tokenizer, prompt="hello", verbose=True)
+```

config.json

@@ -0,0 +1,32 @@
+{
+    "architectures": [
+        "LlamaForCausalLM"
+    ],
+    "attention_bias": false,
+    "attention_dropout": 0.0,
+    "bos_token_id": 1,
+    "eos_token_id": 2,
+    "hidden_act": "silu",
+    "hidden_size": 12288,
+    "initializer_range": 0.02,
+    "intermediate_size": 38464,
+    "max_position_embeddings": 4096,
+    "mlp_bias": false,
+    "model_type": "llama",
+    "num_attention_heads": 96,
+    "num_hidden_layers": 96,
+    "num_key_value_heads": 16,
+    "pretraining_tp": 1,
+    "quantization": {
+        "group_size": 64,
+        "bits": 4
+    },
+    "rms_norm_eps": 1e-05,
+    "rope_scaling": null,
+    "rope_theta": 10000,
+    "tie_word_embeddings": false,
+    "torch_dtype": "bfloat16",
+    "transformers_version": "4.40.1",
+    "use_cache": true,
+    "vocab_size": 99840
+}

model-00019-of-00019.safetensors

@@ -0,0 +1,3 @@
+version https://git-lfs.github.com/spec/v1
+oid sha256:dfca13cf5a4a0d0b86e57a769fd9ca2c2edc11ad06eb887570fc80d27f1a8bb8
+size 1572693958

special_tokens_map.json

@@ -0,0 +1,51 @@
+{
+  "bos_token": {
+    "content": "<s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "cls_token": {
+    "content": "<CLS|LLM-jp>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "eos_token": {
+    "content": "</s>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "mask_token": {
+    "content": "<MASK|LLM-jp>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "pad_token": {
+    "content": "<PAD|LLM-jp>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "sep_token": {
+    "content": "<SEP|LLM-jp>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  },
+  "unk_token": {
+    "content": "<unk>",
+    "lstrip": false,
+    "normalized": false,
+    "rstrip": false,
+    "single_word": false
+  }
+}

tokenizer_config.json

@@ -0,0 +1,84 @@
+{
+  "add_bos_token": true,
+  "add_eos_token": false,
+  "added_tokens_decoder": {
+    "0": {
+      "content": "<unk>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "1": {
+      "content": "<s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "2": {
+      "content": "</s>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "3": {
+      "content": "<MASK|LLM-jp>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "4": {
+      "content": "<PAD|LLM-jp>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "5": {
+      "content": "<CLS|LLM-jp>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "6": {
+      "content": "<SEP|LLM-jp>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    },
+    "7": {
+      "content": "<EOD|LLM-jp>",
+      "lstrip": false,
+      "normalized": false,
+      "rstrip": false,
+      "single_word": false,
+      "special": true
+    }
+  },
+  "bos_token": "<s>",
+  "chat_template": "{{bos_token}}{% for message in messages %}{% if message['role'] == 'user' %}{{ '\\n\\n### 指示:\\n' + message['content'] }}{% elif message['role'] == 'system' %}{{ '以下は、タスクを説明する指示です。要求を適切に満たす応答を書きなさい。' }}{% elif message['role'] == 'assistant' %}{{ '\\n\\n### 応答:\\n' + message['content'] + eos_token }}{% endif %}{% if loop.last and add_generation_prompt %}{{ '\\n\\n### 応答:\\n' }}{% endif %}{% endfor %}",
+  "clean_up_tokenization_spaces": false,
+  "cls_token": "<CLS|LLM-jp>",
+  "eod_token": "</s>",
+  "eos_token": "</s>",
+  "extra_ids": 0,
+  "mask_token": "<MASK|LLM-jp>",
+  "model_max_length": 1000000000000000019884624838656,
+  "pad_token": "<PAD|LLM-jp>",
+  "sep_token": "<SEP|LLM-jp>",
+  "sp_model_kwargs": {},
+  "tokenizer_class": "PreTrainedTokenizerFast",
+  "unk_token": "<unk>"
+}