CUDA运行不了BF16模型？
#1
by
NeuronAstate
- opened
to_fp32_cuda != nullptr
但是用CPU就可以
CUDA一直跑不了 BF16.
你去问 llama cpp去 人家都没写代码
bf16是CPU专用的，某些CPU支持bf16，fp16/fp32/fp8才是GPU用的
to_fp32_cuda != nullptr
但是用CPU就可以
CUDA一直跑不了 BF16.
你去问 llama cpp去 人家都没写代码
bf16是CPU专用的，某些CPU支持bf16，fp16/fp32/fp8才是GPU用的