Update README.md

README.md

@@ -178,19 +178,21 @@ def load_image(image_file, input_size=448, max_num=12):
     return pixel_values
 
 model = AutoModel.from_pretrained(
-    "5CD-AI/Vintern-1B-v2",
+    "5CD-AI/Vintern-1B-v3_5",
     torch_dtype=torch.bfloat16,
     low_cpu_mem_usage=True,
     trust_remote_code=True,
+    use_flash_attn=False,
 ).eval().cuda()
-tokenizer = AutoTokenizer.from_pretrained("5CD-AI/Vintern-1B-v2", trust_remote_code=True, use_fast=False)
+
+tokenizer = AutoTokenizer.from_pretrained("5CD-AI/Vintern-1B-v3_5", trust_remote_code=True, use_fast=False)
 
 test_image = 'test-image.jpg'
 
-pixel_values = load_image(test_image, max_num=12).to(torch.bfloat16).cuda()
+pixel_values = load_image(test_image, max_num=6).to(torch.bfloat16).cuda()
 generation_config = dict(max_new_tokens= 1024, do_sample=False, num_beams = 3, repetition_penalty=2.5)
 
-question = '<image>\nMô tả hình ảnh một cách chi tiết.'
+question = '<image>\nTrích xuất thông tin chính trong ảnh và trả về dạng markdown.'
 
 response, history = model.chat(tokenizer, pixel_values, question, generation_config, history=None, return_history=True)
 print(f'User: {question}\nAssistant: {response}')