[Feature] Support logprobs_mode (#4567)

This commit is contained in:
chen
2025-10-27 14:27:48 +08:00
committed by GitHub
parent acd331780c
commit 5c63a089f6
9 changed files with 130 additions and 5 deletions

View File

@@ -46,6 +46,7 @@
| ```dynamic_load_weight``` | `int` | 是否动态加载权重默认0 |
| ```enable_expert_parallel``` | `bool` | 是否启用专家并行 |
| ```enable_logprob``` | `bool` | 是否启用输出token返回logprob。如果未使用 logrpob则在启动时可以省略此参数。 |
| ```logprobs_mode``` | `str` | 指定logprobs中返回的内容。支持的模式`raw_logprobs`、`processed_logprobs'、`raw_logits`,`processed_logits'。processed表示logits应用温度、惩罚、禁止词处理后计算的logprobs。|
| ```served_model_name``` | `str` | API 中使用的模型名称,如果未指定,模型名称将与--model参数相同 |
| ```revision``` | `str` | 自动下载模型时用于指定模型的Git版本分支名或tag |
| ```chat_template``` | `str` | 指定模型拼接使用的模板支持字符串与文件路径默认为None如未指定则使用模型默认模板 |