请问支持fp16推理吗?

#23
by DJCan - opened

如题

Alibaba-NLP org

支持的

请问如何进行fp16推理,是直接修改config.json中的torch_dtype么

Sign up or log in to comment