BramVanroy commited on
Commit
a715b6c
1 Parent(s): db70b8b

Update app.py

Browse files
Files changed (1) hide show
  1. app.py +8 -10
app.py CHANGED
@@ -15,7 +15,7 @@ MAX_MAX_NEW_TOKENS = 1536
15
  DEFAULT_MAX_NEW_TOKENS = 1024
16
  MAX_INPUT_TOKEN_LENGTH = int(os.getenv("MAX_INPUT_TOKEN_LENGTH", "8192"))
17
 
18
- model_id = "BramVanroy/GEITje-7B-ultra"
19
  model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto")
20
  model = model.to("cuda" if torch.cuda.is_available() else "cpu")
21
  tokenizer = AutoTokenizer.from_pretrained(model_id)
@@ -51,7 +51,7 @@ def generate(
51
  conversation = [
52
  {
53
  "role": "system",
54
- "content": f"Je bent 'GEITje Ultra', of 'Ultra' in het kort, een behulpzame en enthousiaste AI-assistent."
55
  f" Je werd gemaakt door Bram Vanroy, een onderzoeker aan de KU Leuven en het Instituut voor de Nederlandse Taal (INT)."
56
  f" De huidige datum en tijd is {now_str}."
57
  }
@@ -91,9 +91,9 @@ def generate(
91
  chat_interface = gr.ChatInterface(
92
  fn=generate,
93
  chatbot=gr.Chatbot(height=450,
94
- label="GEITje-7B-ultra",
95
  show_share_button=True,
96
- avatar_images=(None, 'geitje-ultra-avatar.png')),
97
  additional_inputs=[
98
  gr.Slider(
99
  label="Max new tokens",
@@ -146,10 +146,10 @@ chat_interface = gr.ChatInterface(
146
  ["Ik wil in Python een nieuwe abstracte klasse aanmaken die `Dier` heet en die een abstracte methode `geluid_maken` heeft. Maak daarnaast ook een subklasse `Geit` aan, met een passende invulling van `geluid_maken` voor dit mekkerende dier."],
147
  ["Wat is het belang van open-source taalmodellen?"],
148
  ],
149
- title="🐐 GEITje ultra 🤖",
150
  description="""\
151
  <div style="float: left; margin-right: 1em; margin-bottom: 0.48em; max-width: 96px;">
152
- <img src="https://huggingface.co/spaces/BramVanroy/GEITje-7B-ultra/resolve/main/geitje-ultra-avatar.png" style="display: inline-block; width: auto; height: auto;border-radius:50%">
153
  <div style="clear: both"></div>
154
  </div>
155
 
@@ -170,12 +170,10 @@ with gr.Blocks(css="style.css") as demo:
170
 
171
  Hoewel dit model gealigneerd is met AI feedback (van gpt-4-turbo), kan en zal het nog steeds fouten maken, leugens verzinnen, redeneringsfouten maken, en misschien wel stoute dingen vertellen. Gebruik dit model dus op eigen risico en controleer de output zelf!
172
 
173
- Als je problemen ondervindt, [rapporteer die dan gerust](https://huggingface.co/spaces/BramVanroy/GEITje-ultra/discussions), al zal ik er waarschijnlijk niet veel aan kunnen verhelpen! Toch is het goed om een verslag bij te houden van mogelijke vooroordelen of problemen die het model heeft, zodat daar in toekomstige ontwikkelingen rekening mee gehouden kan worden.
174
  In deze demo wordt gebruik gemaakt van deze system message:
175
 
176
- > Je bent 'GEITje Ultra', of 'Ultra' in het kort, een behulpzame en enthousiaste AI-assistent. Je werd gemaakt door Bram Vanroy, een onderzoeker aan de KU Leuven en het Instituut voor de Nederlandse Taal (INT). De huidige datum en tijd is {huidige_tijd}.
177
-
178
- <small>Deze demo is gebaseerd op de originele <a href="https://huggingface.co/spaces/Rijgersberg/GEITje-7B-chat">Geitje Chat</a> demo, die dan weer op deze [mistral demo](https://huggingface.co/spaces/hysts/mistral-7b) gebaseerd is.</small>
179
  """)
180
 
181
  if __name__ == "__main__":
 
15
  DEFAULT_MAX_NEW_TOKENS = 1024
16
  MAX_INPUT_TOKEN_LENGTH = int(os.getenv("MAX_INPUT_TOKEN_LENGTH", "8192"))
17
 
18
+ model_id = "BramVanroy/fietje-2b-sft"
19
  model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto")
20
  model = model.to("cuda" if torch.cuda.is_available() else "cpu")
21
  tokenizer = AutoTokenizer.from_pretrained(model_id)
 
51
  conversation = [
52
  {
53
  "role": "system",
54
+ "content": f"Je bent Fietje, een behulpzame, efficiënte en enthousiaste AI-assistent die in het Nederlands communiceert."
55
  f" Je werd gemaakt door Bram Vanroy, een onderzoeker aan de KU Leuven en het Instituut voor de Nederlandse Taal (INT)."
56
  f" De huidige datum en tijd is {now_str}."
57
  }
 
91
  chat_interface = gr.ChatInterface(
92
  fn=generate,
93
  chatbot=gr.Chatbot(height=450,
94
+ label="Fietje",
95
  show_share_button=True,
96
+ avatar_images=(None, 'fietje-2b-avatar.png')),
97
  additional_inputs=[
98
  gr.Slider(
99
  label="Max new tokens",
 
146
  ["Ik wil in Python een nieuwe abstracte klasse aanmaken die `Dier` heet en die een abstracte methode `geluid_maken` heeft. Maak daarnaast ook een subklasse `Geit` aan, met een passende invulling van `geluid_maken` voor dit mekkerende dier."],
147
  ["Wat is het belang van open-source taalmodellen?"],
148
  ],
149
+ title="Fietje",
150
  description="""\
151
  <div style="float: left; margin-right: 1em; margin-bottom: 0.48em; max-width: 96px;">
152
+ <img src="fietje-2b-banner.png" style="display: inline-block; width: auto; height: auto;border-radius:50%">
153
  <div style="clear: both"></div>
154
  </div>
155
 
 
170
 
171
  Hoewel dit model gealigneerd is met AI feedback (van gpt-4-turbo), kan en zal het nog steeds fouten maken, leugens verzinnen, redeneringsfouten maken, en misschien wel stoute dingen vertellen. Gebruik dit model dus op eigen risico en controleer de output zelf!
172
 
173
+ Als je problemen ondervindt, [rapporteer die dan gerust](https://huggingface.co/spaces/BramVanroy/fietje-2b/discussions), al zal ik er waarschijnlijk niet veel aan kunnen verhelpen! Toch is het goed om een verslag bij te houden van mogelijke vooroordelen of problemen die het model heeft, zodat daar in toekomstige ontwikkelingen rekening mee gehouden kan worden.
174
  In deze demo wordt gebruik gemaakt van deze system message:
175
 
176
+ > Je bent Fietje, een behulpzame, efficiënte en enthousiaste AI-assistent die in het Nederlands communiceert. Je werd gemaakt door Bram Vanroy, een onderzoeker aan de KU Leuven en het Instituut voor de Nederlandse Taal (INT). De huidige datum en tijd is {huidige_tijd}.
 
 
177
  """)
178
 
179
  if __name__ == "__main__":