Files
FastDeploy/examples/runtime
czr-gc ede59af857 [Backend] support ipu in paddle inference backend. (#437)
* feat(ipu): add ipu support for paddle_infer backend.

* fix(): remove unused env.

* fix(ipu): simplify user API for IPU.

* fix(cmake): fix merge conflict error in CMakeList.

Co-authored-by: Jason <jiangjiajun@baidu.com>
2022-10-30 18:59:59 +08:00
..
2022-09-14 09:46:03 +08:00

FastDeploy Runtime推理示例

示例代码 编程语言 说明
python/infer_paddle_paddle_inference.py Python paddle模型通过paddle inference在cpu/gpu上的推理
python/infer_paddle_tensorrt.py Python paddle模型通过tensorrt在gpu上的推理
python/infer_paddle_openvino.py Python paddle模型通过openvino在cpu上的推理
python/infer_paddle_onnxruntime.py Python paddle模型通过onnx runtime在cpu/gpu上的推理
python/infer_onnx_openvino.py Python onnx模型通过openvino在cpu上的推理
python/infer_onnx_tensorrt.py Python onnx模型通过tensorrt在gpu上的推理
cpp/infer_paddle_paddle_inference.cc C++ paddle模型通过paddle inference在cpu/gpu上的推理
cpp/infer_paddle_tensorrt.cc C++ paddle模型通过tensorrt在gpu上的推理
cpp/infer_paddle_openvino.cc C++ paddle模型通过openvino在cpu上的推理
cpp/infer_paddle_onnxruntime.cc C++ paddle模型通过onnx runtime在cpu/gpu上的推理
cpp/infer_onnx_openvino.cc C++ onnx模型通过openvino在cpu上的推理
cpp/infer_onnx_tensorrt.cc C++ onnx模型通过tensorrt在gpu上的推理