Add doc shows how to change inference backend (#244)

* Add doc shows how to change inference backend

* Update README.md

examples/vision/README.md

@@ -24,3 +24,5 @@ FastDeploy针对飞桨的视觉套件，以及外部热门模型，提供端到
 
 - 加载模型
 - 调用`predict`接口
+
+FastDeploy在各视觉模型部署时，也支持一键切换后端推理引擎，详情参阅[如何切换模型推理引擎](how_to_change_backend.md)。

examples/vision/classification/paddleclas/cpp/README.md

@@ -77,3 +77,4 @@ PaddleClas模型加载和初始化，其中model_file, params_file为训练模
 - [模型介绍](../../)
 - [Python部署](../python)
 - [视觉模型预测结果](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/classification/paddleclas/python/README.md

@@ -72,3 +72,4 @@ PaddleClas模型加载和初始化，其中model_file, params_file为训练模
 - [PaddleClas 模型介绍](..)
 - [PaddleClas C++部署](../cpp)
 - [模型预测结果说明](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/detection/paddledetection/cpp/README.md

@@ -77,3 +77,4 @@ PaddleDetection PPYOLOE模型加载和初始化，其中model_file为导出的ON
 - [模型介绍](../../)
 - [Python部署](../python)
 - [视觉模型预测结果](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/detection/paddledetection/python/README.md

@@ -74,3 +74,4 @@ PaddleDetection中各个模型，包括PPYOLOE/PicoDet/PaddleYOLOX/YOLOv3/PPYOLO
 - [PaddleDetection 模型介绍](..)
 - [PaddleDetection C++部署](../cpp)
 - [模型预测结果说明](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/detection/scaledyolov4/cpp/README.md

@@ -88,3 +88,4 @@ ScaledYOLOv4模型加载和初始化，其中model_file为导出的ONNX模型格
 - [模型介绍](../../)
 - [Python部署](../python)
 - [视觉模型预测结果](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/detection/scaledyolov4/python/README.md

@@ -81,3 +81,4 @@ ScaledYOLOv4模型加载和初始化，其中model_file为导出的ONNX模型格
 - [ScaledYOLOv4 模型介绍](..)
 - [ScaledYOLOv4 C++部署](../cpp)
 - [模型预测结果说明](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/detection/yolor/cpp/README.md

@@ -88,3 +88,4 @@ YOLOR模型加载和初始化，其中model_file为导出的ONNX模型格式。
 - [模型介绍](../../)
 - [Python部署](../python)
 - [视觉模型预测结果](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/detection/yolov5/cpp/README.md

@@ -88,3 +88,4 @@ YOLOv5模型加载和初始化，其中model_file为导出的ONNX模型格式。
 - [模型介绍](../../)
 - [Python部署](../python)
 - [视觉模型预测结果](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/detection/yolov5/python/README.md

@@ -78,3 +78,4 @@ YOLOv5模型加载和初始化，其中model_file为导出的ONNX模型格式
 - [YOLOv5 模型介绍](..)
 - [YOLOv5 C++部署](../cpp)
 - [模型预测结果说明](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/detection/yolov5lite/cpp/README.md

@@ -88,3 +88,4 @@ YOLOv5Lite模型加载和初始化，其中model_file为导出的ONNX模型格
 - [模型介绍](../../)
 - [Python部署](../python)
 - [视觉模型预测结果](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/detection/yolov5lite/python/README.md

@@ -78,3 +78,4 @@ YOLOv5Lite模型加载和初始化，其中model_file为导出的ONNX模型格
 - [YOLOv5Lite 模型介绍](..)
 - [YOLOv5Lite C++部署](../cpp)
 - [模型预测结果说明](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/detection/yolov6/cpp/README.md

@@ -88,3 +88,4 @@ YOLOv6模型加载和初始化，其中model_file为导出的ONNX模型格式。
 - [模型介绍](../../)
 - [Python部署](../python)
 - [视觉模型预测结果](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/detection/yolov6/python/README.md

@@ -80,3 +80,4 @@ YOLOv6模型加载和初始化，其中model_file为导出的ONNX模型格式
 - [YOLOv6 模型介绍](..)
 - [YOLOv6 C++部署](../cpp)
 - [模型预测结果说明](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/detection/yolov7/cpp/README.md

@@ -88,3 +88,4 @@ YOLOv7模型加载和初始化，其中model_file为导出的ONNX模型格式。
 - [模型介绍](../../)
 - [Python部署](../python)
 - [视觉模型预测结果](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/detection/yolov7/python/README.md

@@ -78,3 +78,4 @@ YOLOv7模型加载和初始化，其中model_file为导出的ONNX模型格式
 - [YOLOv7 模型介绍](..)
 - [YOLOv7 C++部署](../cpp)
 - [模型预测结果说明](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/detection/yolox/cpp/README.md

@@ -87,3 +87,4 @@ YOLOX模型加载和初始化，其中model_file为导出的ONNX模型格式。
 - [模型介绍](../../)
 - [Python部署](../python)
 - [视觉模型预测结果](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/detection/yolox/python/README.md

@@ -76,3 +76,4 @@ YOLOX模型加载和初始化，其中model_file为导出的ONNX模型格式
 - [YOLOX 模型介绍](..)
 - [YOLOX C++部署](../cpp)
 - [模型预测结果说明](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/facedet/scrfd/cpp/README.md

@@ -92,3 +92,4 @@ SCRFD模型加载和初始化，其中model_file为导出的ONNX模型格式。
 - [模型介绍](../../)
 - [Python部署](../python)
 - [视觉模型预测结果](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/facedet/scrfd/python/README.md

@@ -81,3 +81,4 @@ SCRFD模型加载和初始化，其中model_file为导出的ONNX模型格式
 - [SCRFD 模型介绍](..)
 - [SCRFD C++部署](../cpp)
 - [模型预测结果说明](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/faceid/insightface/cpp/README.md

@@ -130,3 +130,4 @@ VPL模型加载和初始化，其中model_file为导出的ONNX模型格式。
 - [模型介绍](../../)
 - [Python部署](../python)
 - [视觉模型预测结果](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/faceid/insightface/python/README.md

@@ -97,3 +97,4 @@ ArcFace模型加载和初始化，其中model_file为导出的ONNX模型格式
 - [InsightFace 模型介绍](..)
 - [InsightFace C++部署](../cpp)
 - [模型预测结果说明](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/how_to_change_backend.md

@@ -0,0 +1,45 @@
+# 如何切换模型推理后端
+
+FastDeploy中各视觉模型可支持多种后端，包括
+- OpenVINO (支持Paddle/ONNX两种格式模型, 仅支持CPU上推理)
+- ONNX Runtime (支持Paddle/ONNX两种格式模型， 支持CPU/GPU）
+- TensorRT (支持Paddle/ONNX两种格式模型，仅支持GPU上推理)
+- Paddle Inference(支持Paddle格式模型， 支持CPU/GPU)
+
+所有模型切换后端方式均通过RuntimeOption进行切换，
+
+**Python**
+```
+import fastdeploy as fd
+option = fd.RuntimeOption()
+
+# 切换使用CPU/GPU
+option.use_cpu()
+option.use_gpu()
+
+# 切换不同后端
+option.use_paddle_backend() # Paddle Inference
+option.use_trt_backend() # TensorRT
+option.use_openvino_backend() # OpenVINO
+option.use_ort_backend() # ONNX Runtime
+
+```
+
+**C++**
+```
+fastdeploy::RuntimeOption option;
+
+# 切换使用CPU/GPU
+option.UseCpu();
+option.UseGpu();
+
+# 切换不同后端
+option.UsePaddleBackend(); // Paddle Inference
+option.UseTrtBackend(); // TensorRT
+option.UseOpenVINOBackend(); // OpenVINO
+option.UseOrtBackend(); // ONNX Runtime
+```
+
+具体示例可参阅`FastDeploy/examples/vision`下不同模型的python或c++推理代码
+
+更多`RuntimeOption`的配置方式参考[RuntimeOption API文档](../../docs/api/runtime/runtime_option.md)

examples/vision/matting/modnet/cpp/README.md

@@ -95,3 +95,4 @@ MODNet模型加载和初始化，其中model_file为导出的ONNX模型格式。
 - [模型介绍](../../)
 - [Python部署](../python)
 - [视觉模型预测结果](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/matting/modnet/python/README.md

@@ -84,3 +84,4 @@ MODNet模型加载和初始化，其中model_file为导出的ONNX模型格式
 - [MODNet 模型介绍](..)
 - [MODNet C++部署](../cpp)
 - [模型预测结果说明](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/matting/ppmatting/cpp/README.md

@@ -88,3 +88,4 @@ PPMatting模型加载和初始化，其中model_file为导出的Paddle模型格
 - [模型介绍](../../)
 - [Python部署](../python)
 - [视觉模型预测结果](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/matting/ppmatting/python/README.md

@@ -75,3 +75,4 @@ PPMatting模型加载和初始化，其中model_file, params_file以及config_fi
 - [PPMatting 模型介绍](..)
 - [PPMatting C++部署](../cpp)
 - [模型预测结果说明](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/ocr/PPOCRSystemv2/cpp/README.md

@@ -147,3 +147,4 @@ Recognizer类初始化时,需要在label_path参数中,输入识别模型所需
 - [PPOCR 系列模型介绍](../../)
 - [PPOCRv2 Python部署](../python)
 - [模型预测结果说明](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/ocr/PPOCRSystemv2/python/README.md

@@ -124,4 +124,5 @@ Recognizer类初始化时,需要在rec_label_file参数中,输入识别模型所
 
 - [PPOCR 系列模型介绍](../../)
 - [PPOCRv2 C++部署](../cpp)
-- [模型预测结果说明](../../../../../docs/api/vision_results/)
+- [模型预测结果说明](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/segmentation/paddleseg/cpp/README.md

@@ -88,3 +88,4 @@ PaddleSegModel模型加载和初始化，其中model_file为导出的Paddle模
 - [模型介绍](../../)
 - [Python部署](../python)
 - [视觉模型预测结果](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)

examples/vision/segmentation/paddleseg/python/README.md

@@ -76,3 +76,4 @@ PaddleSeg模型加载和初始化，其中model_file, params_file以及config_fi
 - [PaddleSeg 模型介绍](..)
 - [PaddleSeg C++部署](../cpp)
 - [模型预测结果说明](../../../../../docs/api/vision_results/)
+- [如何切换模型推理后端引擎](../../../../how_to_change_backend.md)