mirror of
https://github.com/PaddlePaddle/FastDeploy.git
synced 2025-12-24 13:28:13 +08:00
33 lines
2.3 KiB
Markdown
33 lines
2.3 KiB
Markdown
# FastDeploy CLI 使用说明文档
|
||
|
||
## 简介
|
||
**FastDeploy CLI** 是 FastDeploy 推理框架提供的命令行工具，用于**运行、部署和测试 AI 模型的推理任务**。它帮助开发者在命令行中快速完成模型加载、接口调用、服务启动、性能评测以及环境信息收集等常见工作。
|
||
|
||
通过 FastDeploy CLI，您可以：
|
||
|
||
* 🚀 **运行与验证模型推理**：直接在命令行中进行对话生成或文本补全（`chat`、`complete`）
|
||
* 🧩 **服务化部署模型**：一键启动与 OpenAI 协议兼容的 API 服务（`serve`）
|
||
* 📊 **执行性能与效果评测**：进行延迟、吞吐、任务评估等基准测试（`bench`）
|
||
* ⚙️ **收集运行环境信息**：输出系统、框架、GPU 及 FastDeploy 版本配置（`collect-env`）
|
||
* 📁 **批量运行推理任务**：支持文件或 URL 输入输出的批处理模式（`run-batch`）
|
||
* 🔡 **管理模型的 Tokenizer**：执行文本与 token 的编码、解码及词表导出（`tokenizer`）
|
||
|
||
### 查看帮助信息
|
||
```
|
||
fastdeploy --help
|
||
```
|
||
### 可用命令
|
||
```
|
||
fastdeploy {chat, complete, serve, bench, collect-env, run-batch, tokenizer}
|
||
```
|
||
|
||
| 命令名称 | 主要功能说明 | 详细说明链接 |
|
||
| ------------- | -------------------------- | ----------------------------------- |
|
||
| `chat` | 在命令行中进行对话生成任务，用于验证聊天模型推理效果 | [查看 chat 命令说明](chat.md) |
|
||
| `complete` | 进行文本补全任务，支持多种语言模型输出测试 | [查看 complete 命令说明](complete.md) |
|
||
| `serve` | 启动与 OpenAI 协议兼容的本地推理服务 | [查看 serve 命令说明](serve.md) |
|
||
| `bench` | 对模型进行性能（延迟、吞吐）或精度评测 | [查看 bench 命令说明](bench.md) |
|
||
| `collect-env` | 收集并打印系统、GPU、依赖等运行环境信息 | [查看 collect-env 命令说明](collect-env.md) |
|
||
| `run-batch` | 批量执行推理任务，支持文件/URL输入输出 | [查看 run-batch 命令说明](run-batch.md) |
|
||
| `tokenizer` | 执行文本与 token 的编码、解码及词表导出 | [查看 tokenizer 命令说明](tokenizer.md) |
|