推理节点
-
node-agent 注册
Worker(健康/总数)
-
心跳 TTL 自动摘除
并发水位
-
容量 -
本实例桥接连接
-
经本 Gateway 进程的活跃 WS

Worker 节点

Worker地址节点状态并发 / 容量水位注册方式操作
加载中...

会话流水

会话 IDtrace_id状态Worker会议室音频时长开始时间错误码
加载中...

客户授权管理

开通后将 client_id + client_secret 连同接入文档(/docs 与 examples/ 示例代码)发给客户。 密钥只在开通/重置时显示一次;停用后该客户所有请求立即 401。
客户名称client_id并发额度当前在用权限状态开通时间操作
加载中...

配置生成器 填目标路数和硬件 → 生成 cluster.yaml / node.yaml / nginx.conf

硬件单 worker 建议容量每机 worker 数单机路数估算200 路约需说明
NVIDIA L4 / L40 单卡 + 32C203603-4 台跨路 batch 改造后单卡上限 60-80
x86 64 核(EPYC / 海光)153455 台纯 CPU int8,intra_op=1
鲲鹏 920 64 核122248-9 台aarch64 适配完成后
开发机(GTX 1070Ti)414仅开发联调
以上为估算值,正式容量以目标机器跑 benchmark_streaming.py 定标为准(doc/13 §6.3)。