mirror of https://github.com/PaddlePaddle/FastDeploy.git synced 2025-10-07 09:31:35 +08:00

Files

Jason 3ff562aa77 Bump up to version 0.3.0 (#371 )

* Update VERSION_NUMBER

* Update paddle_inference.cmake

* Delete docs directory

* release new docs

* update version number

* add vision result doc

* update version

* fix dead link

* fix vision

* fix dead link

* Update README_EN.md

* Update README_EN.md

* Update README_EN.md

* Update README_EN.md

* Update README_EN.md

* Update README_CN.md

* Update README_EN.md

* Update README_CN.md

* Update README_EN.md

* Update README_CN.md

* Update README_EN.md

* Update README_EN.md

Co-authored-by: leiqing <54695910+leiqing1@users.noreply.github.com>

2022-10-15 22:01:27 +08:00

cpp

Bump up to version 0.3.0 (#371 )

2022-10-15 22:01:27 +08:00

python

Bump up to version 0.3.0 (#371 )

2022-10-15 22:01:27 +08:00

README.md

Add Examples to deploy quantized models (#342 )

2022-10-14 13:35:45 +08:00

README.md

PaddleDetection 量化模型部署

FastDeploy已支持部署量化模型,并提供一键模型量化的工具. 用户可以使用一键模型量化工具,自行对模型量化后部署, 也可以直接下载FastDeploy提供的量化模型进行部署.

FastDeploy一键模型量化工具

FastDeploy 提供了一键量化工具, 能够简单地通过输入一个配置文件, 对模型进行量化. 详细教程请见: 一键模型量化工具

下载量化完成的PP-YOLOE-l模型

用户也可以直接下载下表中的量化模型进行部署.

模型	推理后端	部署硬件	FP32推理时延	INT8推理时延	加速比	FP32 mAP	INT8 mAP	量化方式
ppyoloe_crn_l_300e_coco	TensorRT	GPU	43.83	31.57	1.39	51.4	50.7	量化蒸馏训练
ppyoloe_crn_l_300e_coco	ONNX Runtime	CPU	1085.18	475.55	2.29	51.4	50.0	量化蒸馏训练

上表中的数据, 为模型量化前后，在FastDeploy部署的端到端推理性能.

测试图片为COCO val2017中的图片.
推理时延为端到端推理(包含前后处理)的平均时延, 单位是毫秒.
CPU为Intel(R) Xeon(R) Gold 6271C, GPU为Tesla T4, TensorRT版本8.4.15, 所有测试中固定CPU线程数为1.

README.md Unescape Escape

PaddleDetection 量化模型部署

FastDeploy一键模型量化工具

下载量化完成的PP-YOLOE-l模型

详细部署文档

README.md