ddsp-demo / DDSP-SVC /webui.py
pdjdev's picture
add ddsp-svc
85a7d2c
raw
history blame
13.4 kB
import gradio as gr
import os,subprocess,yaml
class WebUI:
def __init__(self) -> None:
self.info=Info()
self.opt_cfg_pth='configs/opt.yaml'
self.main_ui()
def main_ui(self):
with gr.Blocks() as ui:
gr.Markdown('## 一个便于训练和推理的DDSP-webui,每一步的说明在下面,可以自己展开看。')
with gr.Tab("训练/Training"):
gr.Markdown(self.info.general)
with gr.Accordion('预训练模型说明',open=False):
gr.Markdown(self.info.pretrain_model)
with gr.Accordion('数据集说明',open=False):
gr.Markdown(self.info.dataset)
gr.Markdown('## 生成配置文件')
with gr.Row():
self.batch_size=gr.Slider(minimum=2,maximum=60,value=24,label='Batch_size',interactive=True)
self.learning_rate=gr.Number(value=0.0005,label='学习率',info='和batch_size关系大概是0.0001:6')
self.f0_extractor=gr.Dropdown(['parselmouth', 'dio', 'harvest', 'crepe'],type='value',value='crepe',label='f0提取器种类',interactive=True)
self.sampling_rate=gr.Number(value=44100,label='采样率',info='数据集音频的采样率',interactive=True)
self.n_spk=gr.Number(value=1,label='说话人数量',interactive=True)
with gr.Row():
self.device=gr.Dropdown(['cuda','cpu'],value='cuda',label='使用设备',interactive=True)
self.num_workers=gr.Number(value=2,label='读取数据进程数',info='如果你的设备性能很好,可以设置为0',interactive=True)
self.cache_all_data=gr.Checkbox(value=True,label='启用缓存',info='将数据全部加载以加速训练',interactive=True)
self.cache_device=gr.Dropdown(['cuda','cpu'],value='cuda',type='value',label='缓存设备',info='如果你的显存比较大,设置为cuda',interactive=True)
self.bt_create_config=gr.Button(value='创建配置文件')
gr.Markdown('## 预处理')
with gr.Accordion('预训练说明',open=False):
gr.Markdown(self.info.preprocess)
with gr.Row():
self.bt_open_data_folder=gr.Button('打开数据集文件夹')
self.bt_preprocess=gr.Button('开始预处理')
gr.Markdown('## 训练')
with gr.Accordion('训练说明',open=False):
gr.Markdown(self.info.train)
with gr.Row():
self.bt_train=gr.Button('开始训练')
self.bt_visual=gr.Button('启动可视化')
gr.Markdown('启动可视化后[点击打开](http://127.0.0.1:6006)')
with gr.Tab('推理/Inference'):
with gr.Accordion('推理说明',open=False):
gr.Markdown(self.info.infer)
with gr.Row():
self.input_wav=gr.Audio(type='filepath',label='选择待转换音频')
self.choose_model=gr.Textbox('exp/model_chino.pt',label='模型路径')
with gr.Row():
self.keychange=gr.Slider(-24,24,value=0,step=1,label='变调')
self.id=gr.Number(value=1,label='说话人id')
self.enhancer_adaptive_key=gr.Number(value=0,label='增强器音区偏移',info='调高可以防止超高音(比如大于G5) 破音,但是低音效果可能会下降')
with gr.Row():
self.bt_infer=gr.Button(value='开始转换')
self.output_wav=gr.Audio(type='filepath',label='输出音频')
self.bt_create_config.click(fn=self.create_config)
self.bt_open_data_folder.click(fn=self.openfolder)
self.bt_preprocess.click(fn=self.preprocess)
self.bt_train.click(fn=self.training)
self.bt_visual.click(fn=self.visualize)
self.bt_infer.click(fn=self.inference,inputs=[self.input_wav,self.choose_model,self.keychange,self.id,self.enhancer_adaptive_key],outputs=self.output_wav)
ui.launch(inbrowser=True,server_port=7858)
def openfolder(self):
try:
os.startfile('data')
except:
print('Fail to open folder!')
def create_config(self):
with open('configs/combsub.yaml','r',encoding='utf-8') as f:
cfg=yaml.load(f.read(),Loader=yaml.FullLoader)
cfg['data']['f0_extractor']=str(self.f0_extractor.value)
cfg['data']['sampling_rate']=int(self.sampling_rate.value)
cfg['train']['batch_size']=int(self.batch_size.value)
cfg['device']=str(self.device.value)
cfg['train']['num_workers']=int(self.num_workers.value)
cfg['train']['cache_all_data']=str(self.cache_all_data.value)
cfg['train']['cache_device']=str(self.cache_device.value)
cfg['train']['lr']=int(self.learning_rate.value)
print('配置文件信息:'+str(cfg))
with open(self.opt_cfg_pth,'w',encoding='utf-8') as f:
yaml.dump(cfg,f)
print('成功生成配置文件')
def preprocess(self):
preprocessing_process=subprocess.Popen('python -u preprocess.py -c '+self.opt_cfg_pth,stdout=subprocess.PIPE)
while preprocessing_process.poll() is None:
output=preprocessing_process.stdout.readline().decode('utf-8')
print(output)
print('预处理完成')
def training(self):
train_process=subprocess.Popen('python -u train.py -c '+self.opt_cfg_pth,stdout=subprocess.PIPE)
while train_process.poll() is None:
output=train_process.stdout.readline().decode('utf-8')
print(output)
def visualize(self):
tb_process=subprocess.Popen('tensorboard --logdir=exp --port=6006',stdout=subprocess.PIPE)
while tb_process.poll() is None:
output=tb_process.stdout.readline().decode('utf-8')
print(output)
def inference(self,input_wav:str,model:str,keychange,id,enhancer_adaptive_key):
print(input_wav,model)
output_wav='samples/'+ input_wav.replace('\\','/').split('/')[-1]
cmd='python -u main.py -i '+input_wav+' -m '+model+' -o '+output_wav+' -k '+str(int(keychange))+' -id '+str(int(id))+' -e true -eak '+str(int(enhancer_adaptive_key))
infer_process=subprocess.Popen(cmd,stdout=subprocess.PIPE)
while infer_process.poll() is None:
output=infer_process.stdout.readline().decode('utf-8')
print(output)
print('推理完成')
return output_wav
class Info:
def __init__(self) -> None:
self.general='''
### 不看也没事,大致就是
1.设置好配置之后点击创建配置文件
2.点击‘打开数据集文件夹’,把数据集选个十个塞到data\\train\\val目录下面,剩下的音频全塞到data\\train\\audio下面
3.点击‘开始预处理’等待执行完毕
4.点击‘开始训练’和‘启动可视化’然后点击右侧链接
'''
self.pretrain_model="""
- **(必要操作)** 下载预训练 [**HubertSoft**](https://github.com/bshall/hubert/releases/download/v0.1/hubert-soft-0d54a1f4.pt) 编码器并将其放到 `pretrain/hubert` 文件夹。
- 更新:现在支持 ContentVec 编码器了。你可以下载预训练 [ContentVec](https://ibm.ent.box.com/s/z1wgl1stco8ffooyatzdwsqn2psd9lrr) 编码器替代 HubertSoft 编码器并修改配置文件以使用它。
- 从 [DiffSinger 社区声码器项目](https://openvpi.github.io/vocoders) 下载基于预训练声码器的增强器,并解压至 `pretrain/` 文件夹。
- 注意:你应当下载名称中带有`nsf_hifigan`的压缩文件,而非`nsf_hifigan_finetune`。
"""
self.dataset="""
### 1. 配置训练数据集和验证数据集
#### 1.1 手动配置:
将所有的训练集数据 (.wav 格式音频切片) 放到 `data/train/audio`。
将所有的验证集数据 (.wav 格式音频切片) 放到 `data/val/audio`。
#### 1.2 程序随机选择(**多人物时不可使用**):
运行`python draw.py`,程序将帮助你挑选验证集数据(可以调整 `draw.py` 中的参数修改抽取文件的数量等参数)。
#### 1.3文件夹结构目录展示:
- 单人物目录结构:
```
data
├─ train
│ ├─ audio
│ │ ├─ aaa.wav
│ │ ├─ bbb.wav
│ │ └─ ....wav
│ └─ val
│ │ ├─ eee.wav
│ │ ├─ fff.wav
│ │ └─ ....wav
```
- 多人物目录结构:
```
data
├─ train
│ ├─ audio
│ │ ├─ 1
│ │ │ ├─ aaa.wav
│ │ │ ├─ bbb.wav
│ │ │ └─ ....wav
│ │ ├─ 2
│ │ │ ├─ ccc.wav
│ │ │ ├─ ddd.wav
│ │ │ └─ ....wav
│ │ └─ ...
│ └─ val
│ │ ├─ 1
│ │ │ ├─ eee.wav
│ │ │ ├─ fff.wav
│ │ │ └─ ....wav
│ │ ├─ 2
│ │ │ ├─ ggg.wav
│ │ │ ├─ hhh.wav
│ │ │ └─ ....wav
│ │ └─ ...
```
"""
self.preprocess='''
您可以在预处理之前修改配置文件 `config/<model_name>.yaml`,默认配置适用于GTX-1660 显卡训练 44.1khz 高采样率合成器。
### 备注:
1. 请保持所有音频切片的采样率与 yaml 配置文件中的采样率一致!如果不一致,程序可以跑,但训练过程中的重新采样将非常缓慢。(可选:使用Adobe Audition™的响度匹配功能可以一次性完成重采样修改声道和响度匹配。)
2. 训练数据集的音频切片总数建议为约 1000 个,另外长音频切成小段可以加快训练速度,但所有音频切片的时长不应少于 2 秒。如果音频切片太多,则需要较大的内存,配置文件中将 `cache_all_data` 选项设置为 false 可以解决此问题。
3. 验证集的音频切片总数建议为 10 个左右,不要放太多,不然验证过程会很慢。
4. 如果您的数据集质量不是很高,请在配置文件中将 'f0_extractor' 设为 'crepe'。crepe 算法的抗噪性最好,但代价是会极大增加数据预处理所需的时间。
5. 配置文件中的 ‘n_spk’ 参数将控制是否训练多说话人模型。如果您要训练**多说话人**模型,为了对说话人进行编号,所有音频文件夹的名称必须是**不大于 ‘n_spk’ 的正整数**。
'''
self.train='''
## 训练
### 1. 不使用预训练数据进行训练:
```bash
# 以训练 combsub 模型为例
python train.py -c configs/combsub.yaml
```
1. 训练其他模型方法类似。
2. 可以随时中止训练,然后运行相同的命令来继续训练。
3. 微调 (finetune):在中止训练后,重新预处理新数据集或更改训练参数(batchsize、lr等),然后运行相同的命令。
### 2. 使用预训练数据(底模)进行训练:
1. **使用预训练模型请修改配置文件中的 'n_spk' 参数为 '2' ,同时配置`train`目录结构为多人物目录,不论你是否训练多说话人模型。**
2. **如果你要训练一个更多说话人的模型,就不要下载预训练模型了。**
3. 欢迎PR训练的多人底模 (请使用授权同意开源的数据集进行训练)。
4. 从[**这里**](https://github.com/yxlllc/DDSP-SVC/releases/download/2.0/opencpop+kiritan.zip)下载预训练模型,并将`model_300000.pt`解压到`.\exp\combsub-test\`中
5. 同不使用预训练数据进行训练一样,启动训练。
'''
self.visualize='''
## 可视化
```bash
# 使用tensorboard检查训练状态
tensorboard --logdir=exp
```
第一次验证 (validation) 后,在 TensorBoard 中可以看到合成后的测试音频。
注:TensorBoard 中的测试音频是 DDSP-SVC 模型的原始输出,并未通过增强器增强。
'''
self.infer='''
## 非实时变声
1. (**推荐**)使用预训练声码器增强 DDSP 的输出结果:
```bash
# 默认 enhancer_adaptive_key = 0 正常音域范围内将有更高的音质
# 设置 enhancer_adaptive_key > 0 可将增强器适配于更高的音域
python main.py -i <input.wav> -m <model_file.pt> -o <output.wav> -k <keychange (semitones)> -id <speaker_id> -e true -eak <enhancer_adaptive_key (semitones)>
```
2. DDSP 的原始输出结果:
```bash
# 速度快,但音质相对较低(像您在tensorboard里听到的那样)
python main.py -i <input.wav> -m <model_file.pt> -o <output.wav> -k <keychange (semitones)> -e false -id <speaker_id>
```
3. 关于 f0 提取器、响应阈值及其他参数,参见:
```bash
python main.py -h
```
4. 如果要使用混合说话人(捏音色)功能,增添 “-mix” 选项来设计音色,下面是个例子:
```bash
# 将1号说话人和2号说话人的音色按照0.5:0.5的比例混合
python main.py -i <input.wav> -m <model_file.pt> -o <output.wav> -k <keychange (semitones)> -mix "{1:0.5, 2:0.5}" -e true -eak 0
```
'''
webui=WebUI()