# FastDeploy 插件机制说明文档
FastDeploy 支持插件机制,允许用户在不修改核心代码的前提下扩展功能。插件通过 Python 的 `entry_points` 机制实现自动发现与加载。
## 插件工作原理
插件本质上是在 FastDeploy 启动时被自动调用的注册函数。系统使用 `load_plugins_by_group` 函数确保所有进程(包括分布式训练场景下的子进程)在正式运行前都已加载所需的插件。
## 插件发现机制
FastDeploy 利用 Python 的 `entry_points` 机制来发现并加载插件。开发者需在自己的项目中将插件注册到指定的 entry point 组中。
### 示例:创建一个插件
#### 1. 编写插件逻辑
假设你有一个自定义模型类 `MyModelForCasualLM` 和预训练类 `MyPretrainedModel`,你可以编写如下注册函数:
```python
# 文件:fd_add_dummy_model/__init__.py
from fastdeploy.model_executor.models.model_base import ModelRegistry
from my_custom_model import MyModelForCasualLM, MyPretrainedModel
def register():
if "MyModelForCasualLM" not in ModelRegistry.get_supported_archs():
ModelRegistry.register_model_class(MyModelForCasualLM)
ModelRegistry.register_pretrained_model(MyPretrainedModel)
```
#### 2. 注册插件到 `setup.py`
```python
# setup.py
from setuptools import setup
setup(
name="fastdeploy-plugins",
version="0.1",
packages=["fd_add_dummy_model"],
entry_points={
"fastdeploy.model_register_plugins": [
"fd_add_dummy_model = fd_add_dummy_model:register",
],
},
)
```
## 插件结构说明
插件由三部分组成:
| 组件 | 说明 |
|------|------|
| **插件组(Group)** | 插件所属的功能分组,例如:
- `fastdeploy.model_register_plugins`: 用于注册模型
- `fastdeploy.model_runner_plugins`: 用于注册模型运行器
用户可根据需要自定义分组。 |
| **插件名(Name)** | 每个插件的唯一标识名(如 `fd_add_dummy_model`),可通过环境变量 `FD_PLUGINS` 控制是否加载该插件。 |
| **插件值(Value)** | 格式为 `模块名:函数名`,指向实际执行注册逻辑的入口函数。 |
## 控制插件加载行为
默认情况下,FastDeploy 会加载所有已注册的插件。若只想加载特定插件,可以设置环境变量:
```bash
export FD_PLUGINS=fastdeploy-plugins
```
多个插件名之间可以用逗号分隔:
```bash
export FD_PLUGINS=plugin_a,plugin_b
```
## 参考示例
请参见项目目录下的示例插件实现:
```
./test/plugins/
```
其中包含完整的插件结构和 `setup.py` 配置示例。
## 总结
通过插件机制,用户可以轻松地为 FastDeploy 添加自定义模型或功能模块,而无需修改核心源码。这不仅提升了系统的可扩展性,也方便了第三方开发者进行功能拓展。
如需进一步开发插件,请参考 FastDeploy 源码中的 `model_registry` 和 `plugin_loader` 模块。