aspire

/

acge_text_embedding

like 131

训练代码暂时不公布，抱歉，你可以参看以下学习：
1：https://github.com/FlagOpen/FlagEmbedding/blob/master/FlagEmbedding/baai_general_embedding/README.md
2: https://huggingface.co/blog/matryoshka
3：https://huggingface.co/infgrad

请教下 matryoshka 在训练期间用了哪些维度？

我使用的是[512, 768, 1024, 1536, 1792]，权重也都是[1, 1, 1, 1, 1]，这个并没有做大量的实践，如果有更好的维度方式，也可以互相交流。

我使用的是[512, 768, 1024, 1536, 1792]，权重也都是[1, 1, 1, 1, 1]，这个并没有做大量的实践，如果有更好的维度方式，也可以互相交流。

请问使用matryoshka能提升模型效果吗？