apps/FastDeploy
1
0
Fork 0
mirror of https://github.com/PaddlePaddle/FastDeploy.git synced 2025-10-16 05:30:58 +08:00
Code Issues Actions 6 Packages Projects Releases Wiki Activity

update new docs

Browse Source
This commit is contained in:
jiangjiajun
2022-10-10 06:13:47 +00:00
parent cf86c4ed55
commit 684c46863d
8 changed files with 76 additions and 2670 deletions
Download Patch File Download Diff File Expand all files Collapse all files

36
.new_docs/README.md
View File

@@ -1,12 +1,34 @@
# 使用文档
FastDeploy在Readthedocs托管在线文档，[点击](https://fastdeploy.readthedocs.io/en/latest/)访问。
## 安装文档
## 构建本地文档
- [预编译库下载安装](./build_and_install/prebuilt.md)
- [GPU部署环境编译安装](./build_and_install/gpu.md)
- [CPU部署环境编译安装](./build_and_install/cpu.md)
- [Jetson部署环境编译安装](./build_and_install/jetson.md)
```
pip install -r requirements.txt
make html
```
## 快速使用
浏览器打开`_build/html/index.html`即可阅读本地编译后的文档
- [PP-YOLOE Python部署示例]()
- [PP-YOLOE C++部署示例]()
- [Runtime Python使用示例]()
- [Runtime C++使用示例]()
## API文档
- [Python API文档]()
- [C++ API文档]()
- [Java API文档]()
## 常见问题
- [1. 如何配置模型部署的推理后端]()
- [2. Windows上C++ SDK如何使用]()
- [3. Android上如何使用FastDeploy]()
- [4. 怎么测试Benchmark]()
- [5. 如何增加新的模型]()
## 更多FastDeploy部署模块
- [模型量化加速]()
- [服务化部署]()

4
.new_docs/api.md
View File

@@ -1,4 +0,0 @@
# API说明
- [Python API](./python_apis/index.rst)
- [C++ API](https://paddlepaddle.github.io/FastDeploy/)

37
.new_docs/build_and_install/cpu.md
View File

@@ -1,4 +1,4 @@
# CPU部署环境
# CPU部署库编译
FastDeploy当前在CPU支持后端引擎如下
@@ -6,38 +6,7 @@ FastDeploy当前在CPU支持后端引擎如下
| :--- | :---- | :----------- | :--- |
| Paddle&nbsp;Inference | Windows(x64)<br>Linux(x64) | Paddle | 编译开关`ENABLE_PADDLE_BACKEND`为ON或OFF控制, 默认OFF |
| ONNX&nbsp;Runtime | Windows(x64)<br>Linux(x64/aarch64)<br>Mac(x86/arm64) | Paddle/ONNX | 编译开关`ENABLE_ORT_BACKEND`为ON或OFF控制，默认OFF |
| OpenVINO | Windows(x64)<br>Linux(x64) | Paddle/ONNX | 编译开关`ENABLE_OPENVINO_BACKEND`为ON或OFF控制，默认OFF |
## 预编译库安装
FastDeploy提供了预编译库供开发者快速安装使用，默认集成了各推理后端及Vision和Text模块, 当前发布两种版本
- Release版本：FastDeploy每月更新发布的已测试版本
- Nightly build版本：FastDeploy每日定期根据最新代码发布的编译版本(仅含Linux-x64和Windows-x64版本)
### Python安装
Release版本安装
```
pip install fastdeploy-python -f https://www.paddlepaddle.org.cn/whl/fastdeploy.html
```
Nightly build版本安装
```
pip install fastdeploy-python -f https://www.paddlepaddle.org.cn/whl/fastdeploy_nightly_build.html
```
### C++SDK安装
注：其中`nightly build`为每日最新代码编译产出
| 平台 | 下载链接(Release) | 下载链接(nightly build) | 说明 |
| :---- | :---------------- | :---------------------- | :--- |
| Linux x64 | [fastdeploy-linux-x64-0.2.1.tgz]() | [fastdeploy-linux-x64-0.2.2-dev.tgz]() | gcc 8.2编译产出 |
| Linux aarch64 | [fastdeploy-linux-x64-0.2.1.tgz]() | - | gcc 8.2编译产出 |
| Windows x64 | [fastdeploy-win-x64-0.2.1.zip]() | [fastdeploy-win-x64-0.2.2.-dev.tgz]() | Visual Studio 2019编译产出 |
| Mac x86 | [fastdeploy-osx-x86_64-0.2.1.tgz]() | - | OSX 10.0编译产出，仅含ONNX Runtime后端 |
| Max arm64 | [fastdeploy-osx-arm64-0.2.1.tgz]() | - | OSX 11.0编译产出，仅含ONNX Runtime后端 |
| OpenVINO | Windows(x64)<br>Linux(x64)<br>Mac(x86) | Paddle/ONNX | 编译开关`ENABLE_OPENVINO_BACKEND`为ON或OFF控制，默认OFF |
## C++ SDK编译安装
@@ -86,7 +55,7 @@ msbuild INSTALL.vcxproj /m /p:Configuration=Release /p:Platform=x64
编译完成后，即在`CMAKE_INSTALL_PREFIX`指定的目录下生成C++推理库
## Python包编译安装
## Python编译安装
编译过程同样需要满足
- gcc/g++ >= 5.4(推荐8.2)

32
.new_docs/build_and_install/gpu.md
View File

@@ -1,4 +1,4 @@
# GPU部署环境
# GPU部署库编译
FastDeploy当前在GPU环境支持Paddle Inference、ONNX Runtime和TensorRT，但同时在Linux&Windows的GPU环境也同时支持CPU硬件，因此编译时也可以同步将CPU的推理后端OpenVINO编译集成
@@ -11,34 +11,6 @@ FastDeploy当前在GPU环境支持Paddle Inference、ONNX Runtime和TensorRT，
注意编译GPU环境时，需额外指定`WITH_GPU`为ON，设定`CUDA_DIRECTORY`，如若需集成TensorRT，还需同时设定`TRT_DIRECTORY`
## 预编译库安装
FastDeploy提供了预编译库供开发者快速安装使用，默认集成了各推理后端及Vision和Text模块, 当前发布两种版本
- Release版本：FastDeploy每月更新发布的已测试版本
- Nightly build版本：FastDeploy每日定期根据最新代码发布的编译版本(仅含Linux-x64和Windows-x64版本)
### Python安装
Release版本安装
```
pip install fastdeploy-gpu-python -f https://www.paddlepaddle.org.cn/whl/fastdeploy.html
```
Nightly build版本安装
```
pip install fastdeploy-gpu-python -f https://www.paddlepaddle.org.cn/whl/fastdeploy_nightly_build.html
```
### C++SDK安装
注：其中`nightly build`为每日最新代码编译产出
| 平台 | 下载链接(Release) | 下载链接(nightly build) | 说明 |
| :---- | :---------------- | :---------------------- | :--- |
| Linux x64 | [fastdeploy-linux-x64-gpu-0.2.1.tgz]() | [fastdeploy-linux-x64-gpu-0.2.2-dev.tgz]() | gcc 8.2编译产出，CUDA 11.2，CUDNN 8.2 |
| Windows x64 | [fastdeploy-win-x64-gpu-0.2.1.zip]() | [fastdeploy-win-x64-gpu-0.2.2.-dev.tgz]() | Visual Studio 2019编译产出，CUDA 11.2，CUDNN 8.2 |
## C++ SDK编译安装
### Linux
@@ -97,7 +69,7 @@ msbuild INSTALL.vcxproj /m /p:Configuration=Release /p:Platform=x64
编译完成后，即在`CMAKE_INSTALL_PREFIX`指定的目录下生成C++推理库
## Python包编译安装
## Python编译安装
### Linux

26
.new_docs/build_and_install/jetson.md
View File

@@ -1,4 +1,4 @@
# Jetson部署环境
# Jetson部署库编译
FastDeploy当前在Jetson仅支持ONNX Runtime CPU和TensorRT GPU两种后端推理
@@ -6,19 +6,16 @@ FastDeploy当前在Jetson仅支持ONNX Runtime CPU和TensorRT GPU两种后端推
编译需满足
- gcc/g++ >= 5.4(推荐8.2)
- cmake >= 3.18.0
- jetpack >= 4.6
- cmake >= 3.10.0
- jetpack >= 4.6.1
```
git clone https://github.com/PaddlePaddle/FastDeploy.git
cd FastDeploy
mkdir build && cd build
cmake .. -DENABLE_ORT_BACKEND=ON \
-DENABLE_TRT_BACKEND=ON \
-DWITH_GPU=ON \
-DBUILD_ON_JETSON=ON \
-DCMAKE_INSTALL_PREFIX=${PWD}/compiled_fastdeploy_sdk \
-DENABLE_VISION=ON
cmake .. -DBUILD_ON_JETSON=ON \
-DENABLE_VISION=ON \
-DCMAKE_INSTALL_PREFIX=${PWD}/installed_fastdeploy
make -j8
make install
```
@@ -26,12 +23,12 @@ make install
编译完成后，即在`CMAKE_INSTALL_PREFIX`指定的目录下生成C++推理库
## Python包编译安装
## Python编译安装
编译过程同样需要满足
- gcc/g++ >= 5.4(推荐8.2)
- cmake >= 3.18.0
- jetpack >= 4.6
- cmake >= 3.10.0
- jetpack >= 4.6.1
- python >= 3.6
所有编译选项通过环境变量导入
@@ -39,11 +36,8 @@ make install
```
git clone https://github.com/PaddlePaddle/FastDeploy.git
cd FastDeploy/python
export ENABLE_ORT_BACKEND=ON
export ENABLE_TRT_BACKEND=ON
export WITH_GPU=ON
export ENABLE_VISION=ON
export BUILD_ON_JETSON=ON
export ENABLE_VISION=ON
python setup.py build
python setup.py bdist_wheel

31
.new_docs/build_and_install/prebuilt.md Normal file
View File

@@ -0,0 +1,31 @@
# 预编译库安装
FastDeploy提供各平台预编译库，供开发者直接下载安装使用。当然FastDeploy编译也非常容易，开发者也可根据自身需求编译FastDeploy。
## Python安装
### Nvidia GPU部署环境
#### 环境要求
- CUDA >= 11.2
- cuDNN >= 8.0
- python >= 3.6
- OS: Linux(x64)/Windows 10(x64)
支持CPU和Nvidia GPU的部署，默认集成Paddle Inference、ONNX Runtime、OpenVINO以及TensorRT推理后端，Vision视觉模型模块，Text文本NLP模型模块
Release版本（当前最新0.2.1）安装
```
pip install fastdeploy-gpu-python -f https://www.paddlepaddle.org.cn/whl/fastdeploy.html
```
其中推荐使用Conda配置开发环境
```
conda config --add channels conda-forge && conda install cudatoolkit=11.2 cudnn=8.2
```
### CPU部署环境
- python >= 3.6
- OS: Linux(x64/aarch64)/Windows 10 x64/Mac OSX(x86/aarm64

2579
.new_docs/doxygen/cpp/Doxyfile
View File

File diff suppressed because it is too large Load Diff

1
.new_docs/index.rst
View File

@@ -14,4 +14,5 @@ FastDeploy
build_and_install/index
quick_start/index
serving/index
api.md