Files
FastDeploy/examples/runtime

FastDeploy Runtime推理示例

示例代码 编程语言 说明
python/infer_paddle_paddle_inference.py Python paddle模型通过paddle inference在cpu/gpu上的推理
python/infer_paddle_tensorrt.py Python paddle模型通过tensorrt在gpu上的推理
python/infer_paddle_openvino.py Python paddle模型通过openvino在cpu上的推理
python/infer_paddle_onnxruntime.py Python paddle模型通过onnx runtime在cpu/gpu上的推理
python/infer_onnx_openvino.py Python onnx模型通过openvino在cpu上的推理
python/infer_onnx_tensorrt.py Python onnx模型通过tensorrt在gpu上的推理
cpp/infer_paddle_paddle_inference.cc C++ paddle模型通过paddle inference在cpu/gpu上的推理
cpp/infer_paddle_tensorrt.cc C++ paddle模型通过tensorrt在gpu上的推理
cpp/infer_paddle_openvino.cc C++ paddle模型通过openvino在cpu上的推理
cpp/infer_paddle_onnxruntime.cc C++ paddle模型通过onnx runtime在cpu/gpu上的推理
cpp/infer_onnx_openvino.cc C++ onnx模型通过openvino在cpu上的推理
cpp/infer_onnx_tensorrt.cc C++ onnx模型通过tensorrt在gpu上的推理