[LLM] Add output module and polish docs

This commit is contained in:
jiangjiajun
2025-06-09 20:29:17 +08:00
parent fb18f3092d
commit 0d2651e594

View File

@@ -31,22 +31,26 @@ FastDeploy升级2.0版本支持多种大模型推理当前仅支持Qwen2
## 安装
推荐使用Docker安装
### Docker安装(推荐)
```
docker pull iregistry.baidu-int.com/paddlepaddle/fastdeploy:2.0.0-alpha
```
### 源码安装
1. 安装PaddlePaddle GPU(nightly build代码版本需新于2025.05.30),详见[PaddlePaddle安装](https://www.paddlepaddle.org.cn/en/install/quick?docurl=/documentation/docs/en/develop/install/pip/linux-pip_en.html)指定安装CUDA 12.6 develop(Nightly build)版本,如下命令可完成安装
#### 安装PaddlePaddle
> 注意安装nightly build版本代码版本需新于2025.05.30,详见[PaddlePaddle安装](https://www.paddlepaddle.org.cn/en/install/quick?docurl=/documentation/docs/en/develop/install/pip/linux-pip_en.html)指定安装CUDA 12.6 develop(Nightly build)版本。
```
python -m pip install --pre paddlepaddle-gpu -i https://www.paddlepaddle.org.cn/packages/nightly/cu126/
```
2. 安装FastDeploy
#### 编译安装FastDeploy
```
# 编译
cd FastDeploy
bash build.sh
# 安装
pip install dist/fastdeploy-2.0.0a0-py3-none-any.whl
```
## 快速使用