请问 我使用rerank_model 进行问题与文本的比较过程中 发现返回的参数总是大于我给出的 从而导致无法排序的问题
#11
by
Leekang199704
- opened
我想要研究的是 我使用BM25选取3个最佳结果 然后使用咱们得模型进行重排序 但是我发现 我输入3个结果 后 得分会出现5个 我输入10个结果后 得分会得到16个 从而无法进行排序
scores = rerank_model(**inputs, return_dict=True).logits.view(-1, ).float()
#这里scores 会得到5个参数
# 获取最高分数的索引
max_score_page_idx = max_score_page_idxs[scores.cpu().numpy().argmax()]
questions[query_idx]['reference'] = 'page_' + str(max_score_page_idx + 1)
~<
我这是向量模型，不是rerank模型
~<
我这是向量模型，不是rerank模型
请问embedding模型是如何用于rerank任务的？为什么会出现在rerank排行榜上？
~<
我这是向量模型，不是rerank模型请问embedding模型是如何用于rerank任务的？为什么会出现在rerank排行榜上？
计算余弦相似度值，然后排序即可
我前文说的rerank模型指的是cross encoder, query和doc同时送入模型的那种，交互式的