Spaces:
Runtime error
Runtime error
File size: 16,971 Bytes
2366e36 |
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203 204 205 206 207 208 209 210 211 212 213 214 215 216 217 218 219 220 221 222 223 224 225 226 227 228 229 230 231 232 233 234 235 236 237 238 239 240 241 242 243 244 245 246 247 248 249 250 251 252 253 254 255 256 257 258 259 260 261 262 263 264 265 266 267 268 269 270 271 272 273 274 275 276 277 278 279 280 281 282 283 284 285 286 287 288 289 290 291 292 293 294 295 296 297 298 299 300 301 302 303 304 305 306 307 308 309 310 |
# 部署
我们在 `tools/deployment` 目录下提供了一些部署工具。
## 转换至 ONNX (试验性的)
我们提供了将模型转换至 [ONNX](https://github.com/onnx/onnx) 格式的脚本。转换后的模型可以使用诸如 [Netron](https://github.com/lutzroeder/netron) 的工具可视化。 此外，我们也支持比较 PyTorch 和 ONNX 模型的输出结果。
```bash
python tools/deployment/pytorch2onnx.py
${MODEL_CONFIG_PATH} \
${MODEL_CKPT_PATH} \
${MODEL_TYPE} \
${IMAGE_PATH} \
--output-file ${OUTPUT_FILE} \
--device-id ${DEVICE_ID} \
--opset-version ${OPSET_VERSION} \
--verify \
--verbose \
--show \
--dynamic-export
```
参数说明：
| 参数 | 类型 | 描述 |
| ------------------ | -------------- | ------------------------------------------------------------ |
| `model_config` | str | 模型配置文件的路径。 |
| `model_ckpt` | str | 模型权重文件的路径。 |
| `model_type` | 'recog', 'det' | 配置文件对应的模型类型。 |
| `image_path` | str | 输入图片的路径。 |
| `--output-file` | str | 输出的 ONNX 模型路径。 默认为 `tmp.onnx`。 |
| `--device-id` | int | 使用哪块 GPU。默认为0。 |
| `--opset-version` | int | ONNX 操作集版本。默认为11。 |
| `--verify` | bool | 决定是否验证输出模型的正确性。默认为 `False`。 |
| `--verbose` | bool | 决定是否打印导出模型的结构，默认为 `False`。 |
| `--show` | bool | 决定是否可视化 ONNXRuntime 和 PyTorch 的输出。默认为 `False`。 |
| `--dynamic-export` | bool | 决定是否导出有动态输入和输出尺寸的 ONNX 模型。默认为 `False`。 |
:::{note}
这个工具仍然是试验性的。一些定制的操作没有被支持，并且我们目前仅支持一部分的文本检测和文本识别算法。
:::
### 支持导出到 ONNX 的模型列表
下表列出的模型可以保证导出到 ONNX 并且可以在 ONNX Runtime 下运行。
| 模型 | 配置 | 动态尺寸 | 批推理 | 注 |
|:------:|:------------------------------------------------------------------------------------------------------------------------------------------------:|:-------------:|:---------------:|:----:|
| DBNet | [dbnet_r18_fpnc_1200e_icdar2015.py](https://github.com/open-mmlab/mmocr/blob/main/configs/textdet/dbnet/dbnet_r18_fpnc_1200e_icdar2015.py) | Y | N | |
| PSENet | [psenet_r50_fpnf_600e_ctw1500.py](https://github.com/open-mmlab/mmocr/blob/main/configs/textdet/psenet/psenet_r50_fpnf_600e_ctw1500.py) | Y | Y | |
| PSENet | [psenet_r50_fpnf_600e_icdar2015.py](https://github.com/open-mmlab/mmocr/blob/main/configs/textdet/psenet/psenet_r50_fpnf_600e_icdar2015.py) | Y | Y | |
| PANet | [panet_r18_fpem_ffm_600e_ctw1500.py](https://github.com/open-mmlab/mmocr/blob/main/configs/textdet/panet/panet_r18_fpem_ffm_600e_ctw1500.py) | Y | Y | |
| PANet | [panet_r18_fpem_ffm_600e_icdar2015.py](https://github.com/open-mmlab/mmocr/blob/main/configs/textdet/panet/panet_r18_fpem_ffm_600e_icdar2015.py) | Y | Y | |
| CRNN | [crnn_academic_dataset.py](https://github.com/open-mmlab/mmocr/blob/main/configs/textrecog/crnn/crnn_academic_dataset.py) | Y | Y | CRNN 仅接受高度为32的输入 |
:::{note}
- *以上所有模型测试基于 PyTorch==1.8.1，onnxruntime==1.7.0 进行*
- 如果你在上述模型中遇到问题，请创建一个issue，我们会尽快处理。
- 因为这个特性是试验性的，可能变动很快，请尽量使用最新版的 `mmcv` 和 `mmocr` 尝试。
:::
## ONNX 转 TensorRT （试验性的）
我们也提供了从 [ONNX](https://github.com/onnx/onnx) 模型转换至 [TensorRT](https://github.com/NVIDIA/TensorRT) 格式的脚本。另外，我们支持比较 ONNX 和 TensorRT 模型的输出结果。
```bash
python tools/deployment/onnx2tensorrt.py
${MODEL_CONFIG_PATH} \
${MODEL_TYPE} \
${IMAGE_PATH} \
${ONNX_FILE} \
--trt-file ${OUT_TENSORRT} \
--max-shape INT INT INT INT \
--min-shape INT INT INT INT \
--workspace-size INT \
--fp16 \
--verify \
--show \
--verbose
```
参数说明：
| 参数 | 类型 | 描述 |
| ------------------ | -------------- | ------------------------------------------------------------ |
| `model_config` | str | 模型配置文件的路径。 |
| `model_type` | 'recog', 'det' | 配置文件对应的模型类型。 |
| `image_path` | str | 输入图片的路径。 |
| `onnx_file` | str | 输入的 ONNX 文件路径。 |
| `--trt-file` | str | 输出的 TensorRT 模型路径。默认为 `tmp.trt`。 |
| `--max-shape` | int * 4 | 模型输入的最大尺寸。 |
| `--min-shape` | int * 4 | 模型输入的最小尺寸。 |
| `--workspace-size` | int | 最大工作空间大小，单位为 GiB。默认为1。 |
| `--fp16` | bool | 决定是否输出 fp16 模式的 TensorRT 模型。默认为 `False`。 |
| `--verify` | bool | 决定是否验证输出模型的正确性。默认为 `False`。 |
| `--show` | bool | 决定是否可视化 ONNX 和 TensorRT 的输出。默认为 `False`。 |
| `--verbose` | bool | 决定是否在创建 TensorRT 引擎时打印日志信息。默认为 `False`。 |
:::{note}
这个工具仍然是试验性的。一些定制的操作模型没有被支持。我们目前仅支持一部的文本检测和文本识别算法。
:::
### 支持导出到 TensorRT 的模型列表
下表列出的模型可以保证导出到 TensorRT 引擎并且可以在 TensorRT 下运行。
| 模型 | 配置 | 动态尺寸 | 批推理 | 注 |
|:------:|:------------------------------------------------------------------------------------------------------------------------------------------------:|:-------------:|:---------------:|:----:|
| DBNet | [dbnet_r18_fpnc_1200e_icdar2015.py](https://github.com/open-mmlab/mmocr/blob/main/configs/textdet/dbnet/dbnet_r18_fpnc_1200e_icdar2015.py) | Y | N | |
| PSENet | [psenet_r50_fpnf_600e_ctw1500.py](https://github.com/open-mmlab/mmocr/blob/main/configs/textdet/psenet/psenet_r50_fpnf_600e_ctw1500.py) | Y | Y | |
| PSENet | [psenet_r50_fpnf_600e_icdar2015.py](https://github.com/open-mmlab/mmocr/blob/main/configs/textdet/psenet/psenet_r50_fpnf_600e_icdar2015.py) | Y | Y | |
| PANet | [panet_r18_fpem_ffm_600e_ctw1500.py](https://github.com/open-mmlab/mmocr/blob/main/configs/textdet/panet/panet_r18_fpem_ffm_600e_ctw1500.py) | Y | Y | |
| PANet | [panet_r18_fpem_ffm_600e_icdar2015.py](https://github.com/open-mmlab/mmocr/blob/main/configs/textdet/panet/panet_r18_fpem_ffm_600e_icdar2015.py) | Y | Y | |
| CRNN | [crnn_academic_dataset.py](https://github.com/open-mmlab/mmocr/blob/main/configs/textrecog/crnn/crnn_academic_dataset.py) | Y | Y | CRNN 仅接受高度为32的输入 |
:::{note}
- *以上所有模型测试基于 PyTorch==1.8.1，onnxruntime==1.7.0，tensorrt==7.2.1.6 进行*
- 如果你在上述模型中遇到问题，请创建一个 issue，我们会尽快处理。
- 因为这个特性是试验性的，可能变动很快，请尽量使用最新版的 `mmcv` 和 `mmocr` 尝试。
:::
## 评估 ONNX 和 TensorRT 模型（试验性的）
我们在 `tools/deployment/deploy_test.py ` 中提供了评估 TensorRT 和 ONNX 模型的方法。
### 前提条件
在评估 ONNX 和 TensorRT 模型之前，首先需要安装 ONNX，ONNXRuntime 和 TensorRT。根据 [ONNXRuntime in mmcv](https://mmcv.readthedocs.io/en/latest/onnxruntime_op.html) 和 [TensorRT plugin in mmcv](https://github.com/open-mmlab/mmcv/blob/master/docs/tensorrt_plugin.md) 安装 ONNXRuntime 定制操作和 TensorRT 插件。
### 使用
```bash
python tools/deploy_test.py \
${CONFIG_FILE} \
${MODEL_PATH} \
${MODEL_TYPE} \
${BACKEND} \
--eval ${METRICS} \
--device ${DEVICE}
```
### 参数说明
| 参数 | 类型 | 描述 |
| -------------- | ------------------------- | ------------------------------------------------------ |
| `model_config` | str | 模型配置文件的路径。 |
| `model_file` | str | TensorRT 或 ONNX 模型路径。 |
| `model_type` | 'recog', 'det' | 部署检测还是识别模型。 |
| `backend` | 'TensorRT', 'ONNXRuntime' | 测试后端。 |
| `--eval` | 'acc', 'hmean-iou' | 评估指标。“acc”用于识别模型，“hmean-iou”用于检测模型。 |
| `--device` | str | 评估使用的设备。默认为 `cuda:0`。 |
## 结果和模型
<table class="tg">
<thead>
<tr>
<th class="tg-9wq8">模型</th>
<th class="tg-9wq8">配置</th>
<th class="tg-9wq8">数据集</th>
<th class="tg-9wq8">指标</th>
<th class="tg-9wq8">PyTorch</th>
<th class="tg-9wq8">ONNX Runtime</th>
<th class="tg-9wq8">TensorRT FP32</th>
<th class="tg-9wq8">TensorRT FP16</th>
</tr>
</thead>
<tbody>
<tr>
<td class="tg-9wq8" rowspan="3">DBNet</td>
<td class="tg-9wq8" rowspan="3">dbnet_r18_fpnc_1200e_icdar2015.py<br></td>
<td class="tg-9wq8" rowspan="3">icdar2015</td>
<td class="tg-9wq8"><span style="font-style:normal">Recall</span><br></td>
<td class="tg-9wq8">0.731</td>
<td class="tg-9wq8">0.731</td>
<td class="tg-9wq8">0.678</td>
<td class="tg-9wq8">0.679</td>
</tr>
<tr>
<td class="tg-9wq8">Precision</td>
<td class="tg-9wq8"><span style="font-weight:400;font-style:normal">0.871</span></td>
<td class="tg-9wq8">0.871</td>
<td class="tg-9wq8">0.844</td>
<td class="tg-9wq8">0.842</td>
</tr>
<tr>
<td class="tg-9wq8"><span style="font-style:normal">Hmean</span></td>
<td class="tg-9wq8"><span style="font-weight:400;font-style:normal">0.795</span></td>
<td class="tg-9wq8">0.795</td>
<td class="tg-9wq8">0.752</td>
<td class="tg-9wq8">0.752</td>
</tr>
<tr>
<td class="tg-9wq8" rowspan="3">DBNet*</td>
<td class="tg-9wq8" rowspan="3">dbnet_r18_fpnc_1200e_icdar2015.py<br></td>
<td class="tg-9wq8" rowspan="3">icdar2015</td>
<td class="tg-9wq8"><span style="font-style:normal">Recall</span><br></td>
<td class="tg-9wq8">0.720</td>
<td class="tg-9wq8">0.720</td>
<td class="tg-9wq8">0.720</td>
<td class="tg-9wq8">0.718</td>
</tr>
<tr>
<td class="tg-9wq8">Precision</td>
<td class="tg-9wq8"><span style="font-weight:400;font-style:normal">0.868</span></td>
<td class="tg-9wq8"><span style="font-weight:400;font-style:normal">0.868</span></td>
<td class="tg-9wq8"><span style="font-weight:400;font-style:normal">0.868</span></td>
<td class="tg-9wq8">0.868</td>
</tr>
<tr>
<td class="tg-9wq8"><span style="font-style:normal">Hmean</span></td>
<td class="tg-9wq8"><span style="font-weight:400;font-style:normal">0.787</span></td>
<td class="tg-9wq8"><span style="font-weight:400;font-style:normal">0.787</span></td>
<td class="tg-9wq8"><span style="font-weight:400;font-style:normal">0.787</span></td>
<td class="tg-9wq8">0.786</td>
</tr>
<tr>
<td class="tg-9wq8" rowspan="3">PSENet</td>
<td class="tg-9wq8" rowspan="3">psenet_r50_fpnf_600e_icdar2015.py<br></td>
<td class="tg-9wq8" rowspan="3">icdar2015</td>
<td class="tg-9wq8"><span style="font-style:normal">Recall</span><br></td>
<td class="tg-9wq8">0.753</td>
<td class="tg-9wq8">0.753</td>
<td class="tg-9wq8">0.753</td>
<td class="tg-9wq8">0.752</td>
</tr>
<tr>
<td class="tg-9wq8">Precision</td>
<td class="tg-9wq8">0.867</td>
<td class="tg-9wq8">0.867</td>
<td class="tg-9wq8">0.867</td>
<td class="tg-9wq8">0.867</td>
</tr>
<tr>
<td class="tg-9wq8"><span style="font-style:normal">Hmean</span></td>
<td class="tg-9wq8">0.806</td>
<td class="tg-9wq8">0.806</td>
<td class="tg-9wq8">0.806</td>
<td class="tg-9wq8">0.805</td>
</tr>
<tr>
<td class="tg-9wq8" rowspan="3">PANet</td>
<td class="tg-9wq8" rowspan="3">panet_r18_fpem_ffm_600e_icdar2015.py<br></td>
<td class="tg-9wq8" rowspan="3">icdar2015</td>
<td class="tg-9wq8">Recall<br></td>
<td class="tg-9wq8">0.740</td>
<td class="tg-9wq8">0.740</td>
<td class="tg-9wq8">0.687</td>
<td class="tg-9wq8">N/A</td>
</tr>
<tr>
<td class="tg-9wq8">Precision</td>
<td class="tg-9wq8">0.860</td>
<td class="tg-9wq8">0.860</td>
<td class="tg-9wq8">0.815</td>
<td class="tg-9wq8">N/A</td>
</tr>
<tr>
<td class="tg-9wq8">Hmean</td>
<td class="tg-9wq8">0.796</td>
<td class="tg-9wq8">0.796</td>
<td class="tg-9wq8">0.746</td>
<td class="tg-9wq8">N/A</td>
</tr>
<tr>
<td class="tg-nrix" rowspan="3">PANet*</td>
<td class="tg-nrix" rowspan="3">panet_r18_fpem_ffm_600e_icdar2015.py<br></td>
<td class="tg-nrix" rowspan="3">icdar2015</td>
<td class="tg-nrix">Recall<br></td>
<td class="tg-nrix">0.736</td>
<td class="tg-nrix">0.736</td>
<td class="tg-nrix">0.736</td>
<td class="tg-nrix">N/A</td>
</tr>
<tr>
<td class="tg-nrix">Precision</td>
<td class="tg-nrix">0.857</td>
<td class="tg-nrix">0.857</td>
<td class="tg-nrix">0.857</td>
<td class="tg-nrix">N/A</td>
</tr>
<tr>
<td class="tg-nrix">Hmean</td>
<td class="tg-nrix">0.792</td>
<td class="tg-nrix">0.792</td>
<td class="tg-nrix">0.792</td>
<td class="tg-nrix">N/A</td>
</tr>
<tr>
<td class="tg-9wq8">CRNN</td>
<td class="tg-9wq8">crnn_academic_dataset.py<br></td>
<td class="tg-9wq8">IIIT5K</td>
<td class="tg-9wq8">Acc</td>
<td class="tg-9wq8">0.806</td>
<td class="tg-9wq8">0.806</td>
<td class="tg-9wq8">0.806</td>
<td class="tg-9wq8">0.806</td>
</tr>
</tbody>
</table>
:::{note}
- TensorRT 上采样（upsample）操作和 PyTorch 有一点不同。对于 DBNet 和 PANet，我们建议把上采样的最近邻 (nearest) 模式代替成双线性 (bilinear) 模式。 PANet 的替换处在[这里](https://github.com/open-mmlab/mmocr/blob/50a25e718a028c8b9d96f497e241767dbe9617d1/mmocr/models/textdet/necks/fpem_ffm.py#L33) ，DBNet 的替换处在[这里](https://github.com/open-mmlab/mmocr/blob/50a25e718a028c8b9d96f497e241767dbe9617d1/mmocr/models/textdet/necks/fpn_cat.py#L111)和[这里](https://github.com/open-mmlab/mmocr/blob/50a25e718a028c8b9d96f497e241767dbe9617d1/mmocr/models/textdet/necks/fpn_cat.py#L121)。如在上表中显示的，带有标记*的网络的上采样模式均被改变了。
- 注意到，相比最近邻模式，使用更改后的上采样模式会降低性能。然而，默认网络的权重是通过最近邻模式训练的。为了保持在部署中的最佳性能，建议在训练和 TensorRT 部署中使用双线性模式。
- 所有 ONNX 和 TensorRT 模型都使用数据集上的动态尺寸进行评估，图像根据原始配置文件进行预处理。
- 这个工具仍然是试验性的。一些定制的操作模型没有被支持。并且我们目前仅支持一部分的文本检测和文本识别算法。
:::
|