Skip to content

Latest commit

 

History

History
111 lines (73 loc) · 6.07 KB

model_select.md

File metadata and controls

111 lines (73 loc) · 6.07 KB

PaddleX 模型选择

PaddleX 内置了多条产线,每条产线都包含了若干模型,具体使用哪些模型,您可以根据下边的 benchmark 数据来选择。如您更考虑模型精度,请选择精度较高的模型,如您更考虑模型推理速度,请选择推理速度较快的模型,如您更考虑模型存储大小,请选择存储大小较小的模型。

以下为每条产线部分精选模型 benchmark 数据,全量模型 benchmark 数据持续更新中。

1.通用图像分类

模型列表 Top1 Acc(%) GPU 推理耗时(ms) CPU 推理耗时(ms) 模型存储大小(M)
PP-HGNetV2_B6 86.30 10.46 240.18 288
CLIP_vit_base_patch16_224 85.39 12.03 234.85 331
PP-HGNetV2_B4 83.57 2.45 38.10 76
SwinTransformer_base_patch4_window7_224 83.37 12.35 - 342
PP-HGNet_small 81.51 4.24 108.21 94
PP-HGNetV2_B0 77.77 0.68 6.41 23
ResNet50 76.50 3.12 50.90 98
PP-LCNet_x1_0 71.32 1.01 3.39 7
MobileNetV3_small_x1_0 68.24 1.09 3.65 12

注:以上精度指标为 ImageNet-1k 验证集 Top1 Acc。

2.通用目标检测

模型列表 mAP(%) GPU 推理耗时(ms) CPU 推理耗时(ms) 模型存储大小(M)
RT-DETR-H 56.3 100.65 8451.92 471
RT-DETR-L 53.0 27.89 841.00 125
PP-YOLOE_plus-L 52.9 29.67 700.97 200
PP-YOLOE_plus-S 43.7 8.11 137.23 31
PicoDet-L 42.6 10.09 129.32 23
PicoDet-S 29.1 3.17 13.36 5

注:以上精度指标为 COCO2017 验证集 mAP(0.5:0.95)。

3.通用语义分割

模型列表 mIoU (%) GPU 推理耗时(ms) CPU 推理耗时(ms) 模型存储大小 (M)
OCRNet_HRNet-W48 82.15 87.97 2180.76 270
PP-LiteSeg-T 77.04 5.98 140.02 31

注:以上精度指标测量自Cityscapes数据集。

4.通用实例分割

模型列表 mAP(%) GPU 推理耗时(ms) CPU 推理耗时(ms) 模型存储大小(M)
Mask-RT-DETR-H 48.8 - - 486
Mask-RT-DETR-L 45.7 - - 124

注:以上精度指标为 COCO2017 验证集 mAP(0.5:0.95)。

5.通用OCR

模型 检测 Hmean(%) 识别 Avg Accuracy(%) GPU 推理耗时(ms) CPU 推理耗时(ms) 模型存储大小(M)
PP-OCRv4-server 82.69 79.20 22.20346 2662.158 198
PP-OCRv4-mobile 77.79 78.20 2.719474 79.1097 15

注:以上精度指标的评估集是 PaddleOCR 自建的中文数据集,覆盖街景、网图、文档、手写多个场景,其中文本识别包含 1.1w 张图片,检测包含 500 张图片。

6.通用表格识别

模型 精度(%) GPU 推理耗时(ms) CPU 推理耗时(ms) 模型存储大小(M)
SLANet 76.31 791.73 379.87 9.3

注:以上精度指标测量自PubtabNet英文表格识别数据集。

7.时序预测

模型列表 mse mae 模型存储大小(M)
DLinear 0.386 0.445 80k
Nonstationary 0.385 0.463 61M
PatchTST 0.291 0.380 2.2M
TiDE 0.376 0.441 35M
TimesNet 0.284 0.386 5.2M

注:以上精度指标测量自 ECL 数据集。

8.时序异常检测

模型列表 precision recall f1_score 模型存储大小(M)
DLinear_ad 0.904 0.891 0.897 0.9M
Nonstationary_ad 0.901 0.938 0.918 19.1MB
AutoEncoder_ad 0.897 0.860 0.876 0.4M
PatchTST_ad 0.900 0.925 0.913 2.1M
TimesNet_ad 0.899 0.935 0.917 5.4M

注:以上精度指标测量自 SWAT 数据集。

9.时序分类

模型列表 acc(%) 模型存储大小(M)
TimesNet_cls 67.9 5.3M

注:以上精度指标测量自 UEA/FaceDetection 数据集。

:以上所有模型 GPU 推理耗时基于 NVIDIA Tesla T4 机器,精度类型为 FP32, CPU 推理速度基于 Intel(R) Xeon(R) Gold 5117 CPU @ 2.00GHz,线程数为8,精度类型为 FP32。