AI赋能，重塑校园服务新范式，锐捷AI校园百事通应用发布会
预约直播
锐捷睿易 锐捷官方商城

中文

产品
< 返回主菜单
产品中心
产品

交换机

交换机所有产品
< 返回产品
交换机主页
交换机

园区网交换机

园区网交换机所有产品

数据中心与云计算交换机

数据中心与云计算交换机所有产品

行业精选交换系列

行业精选交换系列所有产品

工业交换机

工业交换机所有产品

意图网络指挥官

意图网络指挥官所有产品

SDN

SDN所有产品

配件

配件所有产品

所有技术解决方案

路由器

路由器所有产品
< 返回产品
路由器主页
路由器

核心路由器

核心路由器所有产品

汇聚路由器

汇聚路由器所有产品

接入路由器

接入路由器所有产品

移动路由器

移动路由器所有产品

行业精选路由器系列

行业精选路由器系列所有产品

所有技术解决方案

无线

无线所有产品
< 返回产品
无线主页
无线

放装型无线接入点

放装型无线接入点所有产品

墙面型无线接入点

墙面型无线接入点所有产品

智分无线接入点

智分无线接入点所有产品

室外无线接入点

室外无线接入点所有产品

场景化无线

场景化无线所有产品

无线控制器

无线控制器所有产品

行业精选无线系列

行业精选无线系列所有产品

无线管理与应用

无线管理与应用所有产品

所有技术解决方案

云桌面

云桌面产品方案中心
< 返回产品
云桌面主页
云桌面

云终端系列

云终端系列所有产品
查看云终端选型指导

云主机系列

云主机系列所有产品

云桌面软件系列

云桌面软件系列所有产品

配件系列

配件系列所有产品

所有技术解决方案

安全

安全所有产品
< 返回产品
安全主页
安全

大数据安全平台

大数据安全平台所有产品

下一代防火墙

下一代防火墙所有产品

安全网关

安全网关所有产品

检测管理安全

检测管理安全所有产品

安全服务

安全服务所有产品

安全云

安全云所有产品

所有技术解决方案

软件

软件所有产品
< 返回产品
软件主页
软件

网络管控产品

网络管控产品所有产品

IT运维产品

IT运维产品所有产品

所有技术解决方案

身份管理

身份管理所有产品
< 返回产品
身份管理主页
身份管理

安全管理系列

安全管理系列所有产品

运营管理系列

运营管理系列所有产品

身份中台

身份中台所有产品

服务产品

服务产品所有产品
< 返回产品
服务产品主页
服务产品

基础实施服务

基础实施服务 所有产品

基础维护服务

基础维护服务所有产品

运维管理服务

运维管理服务所有产品

整网服务

整网服务所有产品

安全服务

安全服务所有产品

备件与扩容服务

备件与扩容服务所有产品

培训与认证服务

培训与认证服务所有产品

官方商城

锐捷睿易

体验中心

布尔实验室

网络研讨会
服务支持
< 返回主菜单
服务与支持中心
服务与支持
服务工具
服务平台
技术支持
服务产品
产品服务
教学服务
合作伙伴
< 返回主菜单
合作伙伴中心
合作伙伴
成为锐捷伙伴
售前营销
销售与订单
售后及服务
用户中心
关于锐捷
< 返回主菜单
关于锐捷首页
关于锐捷
公司介绍
公司动态
加入我们
联系我们
营销资料平台
投资者关系
个人中心 个人中心 锐捷商城 锐捷商城 区域/语言 区域/语言
返回主菜单
选择区域/语言
  • Global / English
  • Japan / 日本語
  • Türkiye / Türkçe
  • Vietnam / Việt Nam
  • Indonesia / Indonesian
  • Thailand / ภาษาไทย
  • Spain / Español (España)
  • Portugal / Português
  • France / Français
  • Poland / Polski
  • Kazakhstan / Pусский
  • Germany / Deutsch
  • Italy / Italiano
  • Brazil / Português(Brazil)
  • LATAM / Español (América Latina))

    算力评测

    提供测试脚本对算力单元、整机、计算柜进行PCI带宽及压力、功耗、推理、及训练测试等，帮助客户评估实际运行过程的运行成本，从而选择性价比更高的硬件配置。

    项目咨询
    算力评测

    评测内容

    性能评测
    在推理和训练过程中，评测每秒处理的 tokens 及生成延迟
    吞吐性能
    TTFT首Token延迟
    TPOT单个Token生成延迟
    QPs每秒处理请求数
    吞吐性能

    *高吞吐量意味着更高效的计算能力，每秒可以生成的tokens数量多少

    TTFT首Token延迟

    *用户感受到的从发出请求到第1个token输出的延迟

    TPOT单个Token生成延迟

    *生成阶段单个 token 的生成时间，体现了单个用户感受到的生成速度

    QPs每秒处理请求数

    *每秒可同时处理的请求

    基准测试

    基准测试

    使用基准测试数据集（如MMLU、GPQA、HumanEval、GSM-8K、MATH、BBH、CEval）评估LLM在NLP任务、常识推理、数学推理等任务中的性能及精度，指导模型改进及优化。
    资源利用

    资源利用

    评估显存和主存的使用情况，确保模型在推理和训练过程中不会超出资源限制。
    扩展性

    扩展性

    测试在多 GPU 或分布式环境下的性能扩展能力，评估系统在增加计算资源时性能的提升情况。
    功耗

    功耗

    静态或实际运行过程的功耗，评估对服务器的显卡插槽的供电要求。

    评测资源

    使用VLLM、Deepspeed等开源工具对各类算力单元、整机、计算柜进行大语言模型（LLM）推理、训练测试。使用llm-evaluation-harness工具对大型语言模型（LLM）进行基准测试
    评测方法
    评测报告
    测试指标说明
    查看详情 >
    推理引擎框架对比
    查看详情 >
    vLLM框架部署模型方法
    查看详情 >
    推理评测模板
    查看详情 >

    返回顶部

    收起
    请选择服务项目
    关闭咨询页
    售前咨询 售前咨询
    售前咨询
    售后服务 售后服务
    售后服务
    意见反馈 意见反馈
    意见反馈
    更多联系方式
    是否找到您想要的内容？
    是
    否
    您遇到了什么问题？
    找不到想要的信息
    筛选功能不好用
    加载速度太慢
    页面体验差
    提交
    您是否找到了与产品相关的文档
    是
    否
    筛选功能是否帮助您更快找到所需的文档？
    有帮助
    一般
    没有帮助
    没用过
    请问您遇到了什么问题？
    需要填写的内容太多
    有些信息不懂怎么填
    页面有问题/错误
    其他
    确定
    这些客户案例是否对您有帮助？
    非常有帮助
    比较有帮助
    没有帮助
    请您对这个客户案例进行评价
    兴趣度
    相关性
    可信度
    确定
    感谢您的反馈！
    感谢您的反馈！