apps/FastDeploy
1
0
Fork 0
mirror of https://github.com/PaddlePaddle/FastDeploy.git synced 2025-10-05 16:48:03 +08:00
Code Issues Actions 2 Packages Projects Releases Wiki Activity
Files
9d87046d78bcfc10c07b1e7a2bccda3914452201
FastDeploy/docs/tech/design.md
jiangjiajun 9d87046d78 first commit
2022-07-05 09:30:15 +00:00

654 B
Raw Blame History

FastDeploy

FastDeploy分为Runtime和应用模块。

Runtime

Runtime对应于不同硬件上的不同后端，大部分情况下，一种硬件对应于一种后端，但对于CPU、GPU, 存在多种后端，用户可根据自己的需求进行选择。

Runtime 后端
CPU(x86_64) fastdeploy::Backend::ORT
GPU(Nvidia) fastdeploy::Backend::ORT / fastdeploy::Backend::TRT

具体文档参考 Runtime文档

应用

应用是基于Runtime提供的上层模型推理，集成了模型端到端的推理功能

  • Vision
  • Text
  • Audio

具体文档参考 Vision文档