Update app.py

app.py

@@ -17,7 +17,8 @@ MAX_INPUT_TOKEN_LENGTH = int(os.getenv("MAX_INPUT_TOKEN_LENGTH", "8192"))
 
 model_id = "BramVanroy/fietje-2b-chat"
 avatar_url = "https://huggingface.co/spaces/BramVanroy/fietje-2b/resolve/main/img/fietje-2b-avatar.png"
-model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto", load_in_8bit=True)
+model = AutoModelForCausalLM.from_pretrained(model_id, torch_dtype=torch.bfloat16, device_map="auto")
+model = model.to("cuda" if torch.cuda.is_available() else "cpu")
 tokenizer = AutoTokenizer.from_pretrained(model_id)
 tokenizer.pad_token_id = tokenizer.eos_token_id
 
@@ -146,6 +147,7 @@ chat_interface = gr.ChatInterface(
     ],
     examples=[
         ["""Vraagje: welk woord hoort er niet in dit rijtje thuis: "auto, vliegtuig, geit, bus"?"""],
+        ["Maak een nieuw DnD personage met de naam 'Bram'. Geef een beschrijving en de naam, en daarnaast ook de wapens en skills met daarbij de bijhorende scores. Gebruik JSON en geef geen extra uitleg."],
         ["Wat is het grootste in de winter, een Aziatische olifant of het Atomium?"],
         ["Schrijf een nieuwsbericht voor De Speld over de inzet van een kudde geiten door het Nederlands Forensisch Instituut"],
         ["Wat zijn drie leuke dingen om te doen als ik een weekendje naar Belgisch Limburg ga?"],