mirror of https://github.com/PaddlePaddle/FastDeploy.git synced 2025-12-24 13:28:13 +08:00

Files

charl-u b7d2c0da2c [Doc] Add English version of serving/ and java/andriod/. (#963 )

* 第一次提交

* 补充一处漏翻译

* deleted:    docs/en/quantize.md

* Update one translation

* Update en version

* Update one translation in code

* Standardize one writing

* Standardize one writing

* Update some en version

* Fix a grammer problem

* Update en version for api/vision result

* Merge branch 'develop' of https://github.com/charl-u/FastDeploy into develop

* Checkout the link in README in vision_results/ to the en documents

* Modify a title

* Add link to serving/docs/

* Finish translation of demo.md

* Update english version of serving/docs/

* Update title of readme

* Update some links

* Modify a title

* Update some links

* Update en version of java android README

* Modify some titles

* Modify some titles

* Modify some titles

2022-12-24 14:39:06 +08:00

2.2 KiB

Raw Blame History

简体中文 | English

FastDeploy 服务化部署

简介

FastDeploy基于Triton Inference Server搭建了端到端的服务化部署。底层后端使用FastDeploy高性能Runtime模块，并串联FastDeploy前后处理模块实现端到端的服务化部署。具有快速部署、使用简单、性能卓越的特性。

准备环境

环境要求

Linux
如果使用GPU镜像，要求NVIDIA Driver >= 470(如果是旧的Tesla架构GPU，如T4使用的NVIDIA Driver可以是418.40+、440.33+、450.51+、460.27+)

获取镜像

CPU镜像

CPU镜像仅支持Paddle/ONNX模型在CPU上进行服务化部署，支持的推理后端包括OpenVINO、Paddle Inference和ONNX Runtime

docker pull registry.baidubce.com/paddlepaddle/fastdeploy:1.0.1-cpu-only-21.10

GPU镜像

GPU镜像支持Paddle/ONNX模型在GPU/CPU上进行服务化部署，支持的推理后端包括OpenVINO、TensorRT、Paddle Inference和ONNX Runtime

docker pull registry.baidubce.com/paddlepaddle/fastdeploy:1.0.1-gpu-cuda11.4-trt8.4-21.10

用户也可根据自身需求，参考如下文档自行编译镜像

FastDeploy服务化部署镜像编译说明

其它文档

模型仓库目录说明 (说明如何准备模型仓库目录)
模型配置说明 (说明runtime的配置选项)
服务化部署示例 (服务化部署示例)
客户端访问说明 (客户端访问说明)

服务化部署示例

任务场景	模型
Classification	PaddleClas
Detection	PaddleDetection
Detection	ultralytics/YOLOv5
NLP	PaddleNLP/ERNIE-3.0
NLP	PaddleNLP/UIE
Speech	PaddleSpeech/PP-TTS
OCR	PaddleOCR/PP-OCRv3

2.2 KiB Raw Blame History Unescape Escape