mirror of https://github.com/PaddlePaddle/FastDeploy.git synced 2025-10-09 02:20:17 +08:00

Files

Jason 3c208125b8 [Doc] Update 0.3.0 to 0.4.0 in all docs (#443 )

* Update 0.3.0 to 0.4.0 in all docs

* Update download_prebuilt_libraries.md

2022-10-27 14:33:05 +08:00

2022-10-27 14:33:05 +08:00

2022-10-15 22:01:27 +08:00

README.md

2022-10-14 13:35:45 +08:00

PaddleDetection 量化模型部署

FastDeploy已支持部署量化模型,并提供一键模型量化的工具. 用户可以使用一键模型量化工具,自行对模型量化后部署, 也可以直接下载FastDeploy提供的量化模型进行部署.

FastDeploy一键模型量化工具

FastDeploy 提供了一键量化工具, 能够简单地通过输入一个配置文件, 对模型进行量化. 详细教程请见: 一键模型量化工具

用户也可以直接下载下表中的量化模型进行部署.

模型	推理后端	部署硬件	FP32推理时延	INT8推理时延	加速比	FP32 mAP	INT8 mAP	量化方式
ppyoloe_crn_l_300e_coco	TensorRT	GPU	43.83	31.57	1.39	51.4	50.7	量化蒸馏训练
ppyoloe_crn_l_300e_coco	ONNX Runtime	CPU	1085.18	475.55	2.29	51.4	50.0	量化蒸馏训练

上表中的数据, 为模型量化前后，在FastDeploy部署的端到端推理性能.

测试图片为COCO val2017中的图片.
推理时延为端到端推理(包含前后处理)的平均时延, 单位是毫秒.
CPU为Intel(R) Xeon(R) Gold 6271C, GPU为Tesla T4, TensorRT版本8.4.15, 所有测试中固定CPU线程数为1.