FastDeploy/docs/parameters.md

参数说明

服务启动参数

字段名	字段类型	说明	是否必填	默认值
model	str	模型路径	是	llama-7b
tokenizer	str	tokenizer的地址	否	模型地址
max_model_len	int	模型支持的最长的上下文长度	否	2048
tensor_parallel_size	int	tensor 并行度	否	1
block_size	int	每个block的token数量	否	64
task	str	任务类型，目前仅支持generate：token 返回	否	generate
max_num_seqs	int	同时推理的最大条数	否	8
mm_processor_kwargs	dict	多模态输入参数	否	None
gpu_memory_utilization	float	最大显存利用率，用于计算block 数目	否	0.9
num_gpu_blocks_override	int	设置分配的gpu的KV Cache的block 数目	否	None
max_num_batched_tokens	int	单次支持的最大prefill的token 数目	否	None
kv_cache_ratio	float	模型输入的长度 / 模型支持的最长的上下文长度的比例	否	0.75
nnode	int	节点数量	否	1
pod_ips	str	各个节点的ip	否	None
use_warmup	bool	是否进行预热	否	False
enable_prefix_caching	bool	是否开启前缀缓存	否	False
enabe_mm	bool	是否开启多模态	否	False

请求参数

字段名	字段类型	说明	是否必填	默认值
request_id	str	请求id	是	None
prompt	str	输入prompt	是	None
prompt_token_ids	list[int]	输入prompt的token id	否	None
prompt_token_ids_len	int	输入prompt的token id的长度	否	None
messages	list[list[dict[str, Any]]]	上下文对话信息	否	None
history	list[list[str]]	历史对话信息	否	None
system	str	系统prompt	否	None
sampling_params	SamplingParams	推理超参设置（具体参数说明见下表）	是	None
eos_token_ids	list[int]	结束token id	否	None
arrival_time	float	请求到达时间	是	None
preprocess_start_time	float	预处理开始时间	否	None
preprocess_end_time	float	预处理结束时间	否	None
multi_modal_inputs	dict	多模态输入 （目前不支持）	否	None

推理参数Sampling Parameters

字段名	字段类型	说明	是否必填	默认值
n	int	需要返回的生成序列数量（当前仅支持1）	是	-
presence_penalty	float	话题新鲜度	否	-
frequency_penalty	float	频率惩罚度	否	-
repetition_penalty	float	重复词或短语的惩罚系数	否	-
temperature	float	表示输出的确定性	否	-
top_p	float	仅考虑累积概率超过此值的候选词	否	1
seed	int	控制生成随机性的种子	否	-
stop	list[str]	生成遇到这些字符串时停止（结果不包含它们）	否	-
stop_token_ids	list[int]	生成遇到这些token时停止（结果包含token，除非是特殊token）	否	-
bad_words	list[int]	禁止生成的token id	否	None
max_tokens	int	每个序列生成的最大token数	是	-
min_tokens	int	生成的最少token数（遇到停止条件前必须生成）	否	1
logprobs	int	返回每个token的前N个概率（None表示不返回） （目前暂不支持）	否	None

OpenAI Compatible API 请求参数

字段名	字段类型	说明	是否必填	默认值
model	str	模型名称	否	default
prompt	Union[List[int], List[List[int]], str, List[str]]	输入prompt	是	-
best_of	int	生成多个序列，返回最好的一个 （当前仅支持1）	否	1
echo	bool	是否返回输入prompt	否	False
frequency_penalty	float	话题新鲜度	否	-
logprobs	int	返回每个token的前N个概率（None表示不返回） （目前暂不支持）	否	None
max_tokens	int	每个序列生成的最大token数	是	-
n	int	需要返回的生成序列数量（当前仅支持1）	是	-
presence_penalty	float	话题新鲜度	否	-
repetition_penalty	float	频率惩罚度	否	-
seed	int	控制生成随机性的种子	否	-
stop	Union[str, List[str]]	生成遇到这些字符串时停止（结果不包含它们）	否	-
stream	bool	是否流式返回结果	否	False
stream_options	StreamOptions	流式返回的选项，包含输入输出token 数目的统计	否	None
suffix	str	生成序列后添加的后缀 （当前不支持）	否	None
temperature	float	表示输出的确定性	否	-
top_p	float	仅考虑累积概率超过此值的候选词	否	1
user	str	用户信息（当前不支持）	否	None
stop_token_ids	list[int]	生成遇到这些token时停止（结果包含token，除非是特殊token）	否	-

OpenAI Chat API 请求参数

字段名	字段类型	说明	是否必填	默认值
model	str	模型名称	否	default
messages	List[Dict[str, Union[str, List[int], List[List[int]]]]]	输入prompt	是	-
best_of	int	生成多个序列，返回最好的一个 （当前仅支持1）	否	1
echo	bool	是否返回输入prompt	否	False
frequency_penalty	float	话题新鲜度	否	-
logprobs	int	返回每个token的前N个概率（None表示不返回） （目前暂不支持）	否	None
max_tokens	int	每个序列生成的最大token数	是	-
n	int	需要返回的生成序列数量（当前仅支持1）	是	-
presence_penalty	float	话题新鲜度	否	-
repetition_penalty	float	频率惩罚度	否	-
seed	int	控制生成随机性的种子	否	-
stop	Union[str, List[str]]	生成遇到这些字符串时停止（结果不包含它们）	否	-
stream	bool	是否流式返回结果	否	False
stream_options	StreamOptions	流式返回的选项，包含输入输出token 数目的统计	否	None
suffix	str	生成序列后添加的后缀 （当前不支持）	否	None
temperature	float	表示输出的确定性	否	-
top_p	float	仅考虑累积概率超过此值的候选词	否	1
user	str	用户信息（当前不支持）	否	None

输出参数说明

离线推理输出 RequestOutput

字段名	字段类型	说明	是否必填	默认值
request_id	str	请求id	否	default
prompt	Optional[str]	输入prompt	否	None
prompt_token_ids	Optional[list[int]]	输入prompt的token id	否	None
outputs	CompletionOutput	推理输出	是	-
finished	bool	是否完成	是	False
num_cached_tokens	Optional[int]	缓存的token数量	否	0
metrics	Optional[RequestMetrics]	请求指标	否	None
error_code	Optional[int]	错误代码	否	None
error_msg	Optional[str]	错误信息	否	None

离线推理输出 CompletionOutput

字段名	字段类型	说明	是否必填	默认值
index	int	输出序列的索引	是	-
token_ids	list[int]	输出的token id	是	-
text	Optional[str]	输出文本	否	None
reasoning_content	Optional[str]	输出的思考链 （仅思考模型）	否	None

离线推理输出 RequestMetrics

字段名	字段类型	说明	是否必填	默认值
arrival_time	float	请求到达时间	是	-
inference_start_time	Optional[float]	推理开始时间	否	None
first_token_time	Optional[float]	第一个token生成耗时	否	None
time_in_queue	Optional[float]	请求在队列中排队时间	否	None
preprocess_cost_time	Optional[float]	预处理耗时	否	None
model_forward_time	Optional[float]	模型前向推理耗时	否	None
model_execute_time	Optional[float]	模型执行耗时（包含预处理及排队时间）	否	None
request_start_time	Optional[float]	请求开始时间	否	None