apps/FastDeploy
1
0
Fork 0
mirror of https://github.com/PaddlePaddle/FastDeploy.git synced 2025-10-04 16:22:57 +08:00
Code Issues Actions 2 Packages Projects Releases Wiki Activity
Files
8224b215256738c2273f833b51e896bb7c3cfbf3
FastDeploy/docs/zh/supported_models.md
Yzc216 980126b83a [Feature] multi source download (#3005) 
* multi-source download

* multi-source download

* huggingface download revision

* requirement

* style

* add revision arg

* test

* pre-commit

* Change default download

* change requirements.txt

* modify English Documentation

* documentation
2025-07-24 17:42:09 +08:00

4.3 KiB
Raw Blame History

支持模型列表

FastDeploy目前支持模型列表如下，在FastDeploy部署时，指定 model参数为如下表格中的模型名，即可自动下载模型权重（均支持断点续传），支持如下3种下载源，

使用自动下载时，默认从AIStudio下载，用户可以通过配置环境变量 FD_MODEL_SOURCE修改默认下载来源，可取值"AISTUDIO"，"MODELSCOPE"或"HUGGINGFACE"；默认下载路径为 ~/(即用户主目录)，用户可以通过配置环境变量 FD_MODEL_CACHE修改默认下载的路径，例如

export FD_MODEL_SOURCE=AISTUDIO # "AISTUDIO", "MODELSCOPE" or "HUGGINGFACE"
export FD_MODEL_CACHE=/ssd1/download_models
模型名 上下文长度 量化方式 最小部署资源 说明
baidu/ERNIE-4.5-VL-424B-A47B-Paddle 32K/128K WINT4 4卡*80G显存/1T内存 128K需要开启Chunked Prefill
baidu/ERNIE-4.5-VL-424B-A47B-Paddle 32K/128K WINT8 8卡*80G显存/1T内存 128K需要开启Chunked Prefill
baidu/ERNIE-4.5-300B-A47B-Paddle 32K/128K WINT4 4卡*64G显存/600G内存 128K需要开启Chunked Prefill
baidu/ERNIE-4.5-300B-A47B-Paddle 32K/128K WINT8 8卡*64G显存/600G内存 128K需要开启Chunked Prefill
baidu/ERNIE-4.5-300B-A47B-2Bits-Paddle 32K/128K WINT2 1卡*141G显存/600G内存 128K需要开启Chunked Prefill
baidu/ERNIE-4.5-300B-A47B-W4A8C8-TP4-Paddle 32K/128K W4A8C8 4卡*64G显存/160G内存 限定4卡，建议开启Chunked Prefill
baidu/ERNIE-4.5-300B-A47B-FP8-Paddle 32K/128K FP8 8卡*64G显存/600G内存 建议开启Chunked Prefill，仅在PD分离EP并行下支持
baidu/ERNIE-4.5-300B-A47B-Base-Paddle 32K/128K WINT4 4卡*64G显存/600G内存 建议开启Chunked Prefill
baidu/ERNIE-4.5-300B-A47B-Base-Paddle 32K/128K WINT8 8卡*64G显存/600G内存 建议开启Chunked Prefill
baidu/ERNIE-4.5-VL-28B-A3B-Paddle 32K WINT4 1卡*24G/128G内存 需要开启Chunked Prefill
baidu/ERNIE-4.5-VL-28B-A3B-Paddle 128K WINT4 1卡*48G/128G内存 需要开启Chunked Prefill
baidu/ERNIE-4.5-VL-28B-A3B-Paddle 32K/128K WINT8 1卡*48G/128G内存 需要开启Chunked Prefill
baidu/ERNIE-4.5-21B-A3B-Paddle 32K/128K WINT4 1卡*24G/128G内存 128K需要开启Chunked Prefill
baidu/ERNIE-4.5-21B-A3B-Paddle 32K/128K WINT8 1卡*48G/128G内存 128K需要开启Chunked Prefill
baidu/ERNIE-4.5-21B-A3B-Base-Paddle 32K/128K WINT4 1卡*24G/128G内存 128K需要开启Chunked Prefill
baidu/ERNIE-4.5-21B-A3B-Base-Paddle 32K/128K WINT8 1卡*48G/128G内存 128K需要开启Chunked Prefill
baidu/ERNIE-4.5-0.3B-Paddle 32K/128K BF16 1卡*6G/12G显存/2G内存
baidu/ERNIE-4.5-0.3B-Base-Paddle 32K/128K BF16 1卡*6G/12G显存/2G内存

更多模型同步支持中，你可以通过Github Issues向我们提交新模型的支持需求。