数据中心增强以太网技术白皮书

    背景

    数据中心 I/O整合的出现

    数据中心（Data Center，DC）为各种企业业务提供数据，是数据计算、网络传输、存储的中心。数据中心目前尚在快速发展当中，有着广阔的前景，根据预测，预计到2013年，中国下一代数据中心的市场规模将超过977亿元。 

    数据中心是当前运营商和各行业的IT建设重点，实现对IT信息系统的整合和集中管理，提升管理、运营和服务效率，降低运营成本。这也导致数据中心规模越来越大，复杂度越来越高。为了建设集中扁平化，统一多种应用的融合数据中心，未来的数据中心建设将围绕融合网络和虚拟化展开，大量新技术应用在数据中心建设中，如数据中心以太网，FCoE，虚拟化，各种应用服务器建设等。

    传统的Fibre Channel技术以其高速、高效、可靠和长距离传输，广泛应用在存储网络(SANs)中。但是以太网技术以其低成本、高技术、高普及率，在网络领域占据统治地位。这导致了在一个企业或者组织的数据中心网络中可能会建立若干套网络，其中以太网承载IP流量，Fibre Channel承载基于SCSI技术，可能还会由InfiniBand来承载高速集群I/O。

    今天的数据中心环境(FCoE/CEE技术引入前)

    特点

    1.服务器设备通过FC交换机连接的存储网络(SAN) 。

    2.服务器设备通过以太网交换机连接的IP网络。

    3.服务器设备上同时连接IP网络和存储网络。

    传统业务结构下，由于多种技术之间的孤立性(LAN与SAN)，使得数据中心服务器总是提供多个对外I/O接口(在此，可理解成服务器的网卡)：用于数据计算与交互的LAN接口以及数据访问的存储接口，某些特殊环境如特定HPC(高性能计算)环境下的超低时延接口。服务器的多个I/O接口导致了数据中心环境下多个独立运行的网络同时存在，不仅使得数据中心布线复杂，不同的网络、接口形体造成的异构还直接增加了额外人员的运行维护、培训管理等高昂成本投入，特别是存储网络的低兼容性特点，使得数据中心的业务扩展往往存在约束。

    这样就造成了大量的线缆、能耗和费用。在全球经济危机的形势下，在针对大型数据中心网络中，逐步出现了I/O整合的思路。（备注：可理解成原理服务器上要有多张网卡分别连接各种存储、以太网等，整合后只需要一张网卡）

    I/O 整合与统一的设想是使适配器、交换机和/或存储系统使用相同的以太网物理基础实施来传送特性差异较大的不同类型流量和处理要求。数据中心管理人员可以采购更少的主机总线和服务器适配器、线缆、交换机和存储系统，削减电力、设备和管理成本。对于 IT 网络管理人员，这等同于安装并操作一个网络而不是一个结构树，但是仍然具有区分不同流量类型的能力。

    IO整合后，把这些网络融合到以太网上，多个网络流量（以太网的流量、存储的流量）共享同一条物理链路，建设统一融合的数据中心以太网(Data Center Ethernet，DCE)，能够大幅减少线缆和能耗，大大降低运维成本，是数据中心网络的发展趋势。数据中心以太网也称为融合增强型以太网(Converged Enhanced Ethernet，CEE)。

    增强以太网的提出

    以太网作为一种尽力服务的网络模型，网络繁忙时可能发生丢包或传输故障，由于传统以太网不可靠的传输特性，因此不适合在存储信息传输过程中使用。例如：公共安全场所的监控录像，有研究表明，一个人掠过一个监控摄像机最短的时间不到一秒钟，如果关键数据在传输过程中丢失，就会给未来的调查取证造成极大困扰。

    为了使光纤通道（Fiber Channel）传输数据可以在以太网上传输，发展出了FCoE(Fiber Channel Over Ethernet)协议。但是，传统的以太网是肯定是无法承载光纤通道数据传输的，以太网应该发展成为拥有阻塞管理和流量控制功能的低延迟的和不丢弃数据包的传输技术，最终发展成增强型的以太网。

    所谓增强型以太网，并不是在传统以太网基础上，提出新的报文封装格式，而是由IEEE数据中心网桥(Data Center Bridge，简称DCB)工作组提出一系列以太网扩展协议，来增强传统以太网传输的可靠性。增强型以太网主要有两个特征：第一个为在以太网基础上进行扩展，支持将上述三类网络整合起来；第二个为支持不丢包传输，从而可以支持那些对传输可靠性要求极高的服务。

    IEEE数据中心网桥(Data Center Bridge，简称DCB)工作组正在定义的标准如下：

    用于基于优先次序的流量控制的802.1Qbb标准；

    用于冲突通知的802.1Qau标准；

    用于增强的传输选择的802.1Qaz标准（该标准还含数据中心桥接交换协议DCBX）

    虚拟机支持IEEE802.1Qbg

    另外，IETF的TRILL协议也将成为数据中心重要协议。

    增强以太网简介

    在DCE/CEE中，Fibre Channel帧将映射到以太网上来进行承载（FCoE标准）。传统的Fibre Channel提供流控机制，保证无丢包，并且传统的Fibre Channel对于时延的增加/变化或者抖动非常敏感。

    而传统的以太网络可以容忍一定的丢包和时延变化/抖动。所以，IEEE定义了一系列标准，规范DCE/CEE对于传统以太网增强，主要包括：

    802.1Qbb Priority Flow Control(PFC)：

    传统的以太网是整条链路进行流控的。802.1Qbb是基于优先级的流控标准。在一条物理链路上，分成了8个虚拟通道，每一个通道分配一个优先级。这样在一条链路上可以承载多种业务类型，包括FCoE和非FCoE的业务。当发生拥塞时，接收端可以在特定的优先级虚拟通道上发送XOFF和XON帧，抑制或者继续特定的业务，保证高优先级或者时延敏感的业务的传输。下面是802.1qbb的原理图。

    802.1Qaz Enhanced Transmision Selection(ETS)：

    保证不同服务级别上的多种流量类型的质量。在DCE/CEE上的业务中，IPC是时延敏感的业务，SAN业务是对丢包敏感的业务，而IP业务是可以允许一定的丢包和时延。链路上的业务可以分为若干个优先级组(Priority Group，PG)，并且定义每个PG的带宽属性。重要的业务，比如存储网络数据被赋予高优先级，保证带宽。低优先级业务只能在高优先级业务带宽不占用的情况下，才能使用分配带宽之外的额外带宽。下面是ETS和PG的典型例子。
 

    Data Center Bridging eXchange Protocol（DCBX）：

    这是IEEE Link Layer Discovery Protocol(LLDP)的扩展，可以在链路建立的时候交换两端设备的能力参数，比如是否支持PFC，以及802.1Qaz Priority Group。

    其他相关标准：

    包括IEEE 802.1Qau端到端拥塞管理标准，为克服生成树协议的单路径和收敛慢特点Layer2 Multipathing（L2MP）协议等。

    在传统的以太网环境中，网络传输过程中，当网络流量达到最大带宽后，不可能保证所有流量的传输，只能将部分流量丢弃掉。为了保证数据流在传输过程中不被丢弃，根源的办法通知数据发送源端，降低数据发送的速率。基于拥塞通告的802.1Qau标准，    就是在这种背景下出现，服务于增强型以太网，用于提高以太网传输的可靠性。

    CNM(拥塞通告信息)的目的MAC直接是来源主机！ 下图为拥塞点（CP）与反应点（RP）的示意点。