[XPU] Support W4A8C8-TP4-300B Model (#4068)

* support w4a8

* delete ep block attn

* delete moe_topk_select

* update note

* update

* delte useless info

* update

* add some note

* fix some format

* update scale info

* add ans baseline

---------

Co-authored-by: YuBaoku <49938469+EmmonsCurse@users.noreply.github.com>
This commit is contained in:
yinwei
2025-10-10 15:41:32 +08:00
committed by GitHub
parent c46d5e48f8
commit 20c7b741f4
21 changed files with 2029 additions and 714 deletions

View File

@@ -4,11 +4,10 @@
多节点部署旨在解决单个机器GPU显存不足时支持跨多台机器的张量并行执行。
## 环境准备
#### 网络要求
### 网络要求
1. 所有节点必须在同一本地网络中
2. 确保所有节点之间双向连通(可使用`ping``nc -zv`测试)
#### 软件要求
1. 所有节点安装相同版本的FastDeploy
2. [建议安装]安装并配置MPIOpenMPI或MPICH
@@ -52,22 +51,21 @@
```
* 注意:
- 只有主节点可以接收完成请求
- 请始终将请求发送到主节点ips列表中的第一个IP
- 主节点将在所有节点间分配工作负载
* 只有主节点可以接收完成请求
* 请始终将请求发送到主节点ips列表中的第一个IP
* 主节点将在所有节点间分配工作负载
### 参数说明
#### `ips`参数
- **类型**: `字符串`
- **格式**: 逗号分隔的IPv4地址
- **描述**: 指定部署组中所有节点的IP地址
- **必填**: 仅多节点部署时需要
- **示例**: `"192.168.1.101,192.168.1.102,192.168.1.103"`
* **类型**: `字符串`
* **格式**: 逗号分隔的IPv4地址
* **描述**: 指定部署组中所有节点的IP地址
* **必填**: 仅多节点部署时需要
* **示例**: `"192.168.1.101,192.168.1.102,192.168.1.103"`
#### `tensor_parallel_size`参数
- **类型**: `整数`
- **描述**: 所有节点上的GPU总数
- **必填**: 是
- **示例**: 对于2个节点各8个GPU设置为16
* **类型**: `整数`
* **描述**: 所有节点上的GPU总数
* **必填**: 是
* **示例**: 对于2个节点各8个GPU设置为16