[v1 loader]code style (#4204)

* code style

* update
This commit is contained in:
bukejiyu
2025-09-23 19:36:00 +08:00
committed by GitHub
parent 1a6283424e
commit 62d1c48363
18 changed files with 33 additions and 33 deletions

View File

@@ -15,7 +15,7 @@
安装FastDeploy后在终端执行如下命令启动服务其中启动命令配置方式参考[参数说明](../parameters.md)
> ⚠️ **注意:**
> 当使用HuggingFace 模型(torch格式)时, 需要开启 `--load_choices "default_v1"`
> 当使用HuggingFace 模型(torch格式)时, 需要开启 `--load-choices "default_v1"`
```shell
export ENABLE_V1_KVCACHE_SCHEDULER=1
@@ -26,7 +26,7 @@ python -m fastdeploy.entrypoints.openai.api_server \
--engine-worker-queue-port 8182 \
--max-model-len 32768 \
--max-num-seqs 32 \
--load_choices "default_v1"
--load-choices "default_v1"
```
>💡 注意:在 ```--model``` 指定的路径中,若当前目录下不存在该路径对应的子目录,则会尝试根据指定的模型名称(如 ```Qwen/Qwen3-0.6B```查询AIStudio是否存在预置模型若存在则自动启动下载。默认的下载路径为```~/xx```。关于模型自动下载的说明和配置参阅[模型下载](../supported_models.md)。