apps/FastDeploy
1
0
Fork 0
mirror of https://github.com/PaddlePaddle/FastDeploy.git synced 2025-10-07 01:22:59 +08:00
Code Issues Actions 2 Packages Projects Releases Wiki Activity

[llm] update docs

Browse Source
This commit is contained in:
kevin
2024-11-21 07:25:27 +00:00
parent 1b3e69c50a
commit 084fbb8aa5
1 changed files with 5 additions and 3 deletions
Download Patch File Download Diff File Expand all files Collapse all files

8
llm/docs/FastDeploy_usage_tutorial.md
View File

@@ -47,7 +47,7 @@ FastDeploy 为 PaddleNLP 静态图模型提供了高效的部署方案，模型
``` ```
cd /home/workspace/models_dir cd /home/workspace/models_dir
# 导出的模型目录结构格式如下所示，理论上无缝支持 PaddleNLP 导出静态图模型，无需修改模型目录结构 # 导出的模型目录结构格式如下所示，理论上无缝支持 PaddleNLP 导出的静态图模型，无需修改模型目录结构
# /opt/output/Serving/models # /opt/output/Serving/models
# ├── config.json # 模型配置文件 # ├── config.json # 模型配置文件
# ├── xxxx.model # 词表模型文件 # ├── xxxx.model # 词表模型文件
@@ -138,10 +138,12 @@ bash start_server.sh
``` ```
# port为上面启动服务时候指定的HTTP_PORT # port为上面启动服务时候指定的HTTP_PORT
> 测试前请确保服务IP和端口正确
live接口： (服务是否能正常接收请求） live接口： (服务是否能正常接收请求）
http://{ip}:{HTTP_PORT}/v2/health/live http://127.0.0.1:8110/v2/health/live
health接口：（模型是否准备好推理） health接口：（模型是否准备好推理）
http://{ip}:{HTTP_PORT}/v2/health/ready http://127.0.0.1:8110/v2/health/ready
``` ```
## 服务测试 ## 服务测试