
*高吞吐量意味着更高效的计算能力,每秒可以生成的tokens数量多少

*用户感受到的从发出请求到第1个token输出的延迟

*生成阶段单个 token 的生成时间,体现了单个用户感受到的生成速度

*每秒可同时处理的请求
交换机
园区网交换机
数据中心与云计算交换机
行业精选交换系列
意图网络指挥官
无线
放装型无线接入点
墙面型无线接入点
智分无线接入点
室外无线接入点
场景化无线
行业精选无线系列
无线管理与应用
*高吞吐量意味着更高效的计算能力,每秒可以生成的tokens数量多少
*用户感受到的从发出请求到第1个token输出的延迟
*生成阶段单个 token 的生成时间,体现了单个用户感受到的生成速度
*每秒可同时处理的请求