Ejecutar en AMD RTX 7900 XTX
Es posible ejecutar este proyecto localmente en una tarjeta AMD RX 7900 XTX (24GB VRAM) ya sea con torch-direcml (Windows) o con ROCm 6.2 en Linux?
Alguien ha hecho pruebas, o me puede indicar como modificar el proyecto para que utilice mi GPU, actualmente solo me toma el CPU
no tengo ni idea, pero siendo un modelo que parte de otro base, me imagino que ser谩 igual que en el modelo base. Buscando por el base seguramente encuentres mas informaci贸n
Si, se puede, al igual que el original, al menos en Linux.
Instalas ROCm: https://rocm.docs.amd.com/projects/install-on-linux/en/latest/install/prerequisites.html
Luego de hacer tu venv instalas las versiones de torch de ROCm:
pyenv local 3.10.15python -m venv .eF5TTSsource .eF5TTS/bin/activatepip3 install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/rocm6.2
Antes de ejecutar la inferencia es bueno hacer: export TORCH_ROCM_AOTRITON_ENABLE_EXPERIMENTAL=1
Esto te da un poco mas de rendimiento.
Para generar 20 segundos de audio, la 7900 se toma alrededor de 8 segundos. La 4090 se toma alrededor de 5 segundos