1 引言
数据中心（Data Center，DC）为各种企业业务提供数据，是数据计算、网络传输、存储的中心。数据中心是当前运营商和各行业的IT建设重点，实现对IT信息系统的整合和集中管理，提升管理、运营和服务效率，降低运营成本。这也导致数据中心规模越来越大，复杂度越来越高。为了建设集中扁平化，统一多种应用的融合数据中心，未来的数据中心建设将围绕融合网络和虚拟化展开，大量新技术应用在数据中心建设中，如数据中心以太网，FCoE，虚拟化，各种应用服务器建设等。新技术的验证和性能评估是新的数据中心部署的第一步，因此在测试中，除了对单一技术进行测试外，还需要和其他新旧组件结合起来，进行集中的整体分析。思博伦通信推出业界第一个整体数据中心测试解决方案。本文从数据中心网络基准性能测试方法，数据中心以太网测试，FCoE测试，虚拟化测试等方面，对思博伦数据中心网络整体分析解决方案进行论述。
2 基准性能测试
在论述推动数据中心发展的新技术测试之前，本文先回顾基本的基准性能测试概念，这些测试是数据中心设备最基本的测试项目。这些测试概念将在后文各种数据中心技术的测试中发挥重要作用。
基准性能包括可重复(Repeatability)、可重现(Reproducibility)、高压力(Stressful)和有意义性(Meaningful)。
（1）可重复：在同一测试床下对同一测试的多次运行，应该得到近似的结果。
（2）可重现：类似于Repeatability，但是指在不同的测试床下，用相同型号、相同版本的测试仪表和被测设备进行相同的测试，应该得到近似的结果。
（3）高压力：基准性能能够反映被测系统的性能极限。如吞吐量指标，反映的是在没有丢包情况下的最大转发速率。
（4）有意义性：这是最难达到的目标。一个测试会得到很多测试数据，但是并不是所有数据都和测试目标相关联。比如测试两台路由器的时延，分别得到10?s和100?s的结果。假如这两台路由器是部署在一条非常长距离的链路的两端，链路本身就会引入10~100ms时延，而且承载的是普通数据业务为主，那么这90?s的时延差距可能意义不大，而如果两台路由器是部署在数据中心中一条1m线的两端，承载的是事实性很强的金融交易业务数据，那么10倍的时延降低就变得非常有意义。
根据以上法则以及其他有效的测试技术，形成了一系列基准性能测试标准，定义了基准性能和基准性能测试方法。这一系列标准对包括数据中心系统和设备在内的网络设备都非常有效。这系列标准包括：RFC 1242/2544，定义网络和网络设备的基准性能测试术语和测试方法学；RFC 2432/2889，定义以太网二层交换机基准性能测试术语和测试方法学；RFC 2432/3918，定义组播基准性能测试术语和测试方法学；RFC 2647/3511，定义防火墙基准性能测试术语和测试方法学。其他一些对数据中心测试非常有用的测试标准有：RFC 5180，定义了RFC2544在IPv6上扩展；RFC 4814，为测试推荐了测试中伪随机流量模式，这种模式有别于过去传统测试工具产生的静态的模式，是一种更真实的模式；RFC 4689，定义网络层QoS测试术语。
Spirent Testcenter为上述所有基准性能测试提供了标准自动化测试套件，图1是RFC 2544和RFC 2889的自动化测试套件截图。
图1 RFC 2544和RFC 2889自动化测试套件
除了标准的RFC 2544和RFC 2889支持之外，Spirent Testcenter提供了很多对于数据中心有效的测试扩展。
●基准性能测试标准中定义的测试是固定帧长的测试。一般说来，大帧的表现会超过小帧。但是现网中的流量中包含各种帧长，所以有了一个概念：Internet混合帧长(IMIX)，在IMIX模型中，用户可以根据自己的应用定义不同帧长的数据帧的比例关系（见图2）。Spirent Testcenter除了提供传统的固定帧长测试之外，还可以完成随机帧长和IMIX的基准性能测试。
图2 RFC 3393 Jitter原理图
●巨型帧(Jumbo Frame)的基准性能测试。传统的以太网帧最大帧长是1518字节。而数据中心业务很多传输的是大块数据，所以作为传统数据中心的传输技术，Fibre Channel帧最长为2112字节。当Fibre Channel在以太网上承载的时候，为了避免分片带来的额外开销，数据中心以太网(Data Center Ethernet，DCE)要求支持帧长为2.5kbyte的Jumbo Frame。Spirent Testcenter能够支持最大达16kbyte的巨型帧，能够支持Jumbo Frame的基准性能测试。
●随着实时业务的增加，一些能有效反映实时业务质量的统计量被越来越重视。比如抖动，RFC3393和MEF 10对抖动提供了标准的定义：It’s defined as absolute value of difference between Latency A and Latency B，Spirent Testcenter能在基准性能测试的同时，测试出不同负载下的抖动。
数据中心网络要求帧的顺序传递，乱序帧会导致重新排序，大大降低性能。RFC4737/MEF 10对帧的顺序性提供了明确定义。Spirent Testcenter是目前惟一支持RFC 4737/MEF 10帧的顺序定义的测试仪表。
在任意拓扑之上的基准性能测试。在传统测试中，基准性能测试和协议测试往往是分开的，这造成在进行某一项单一测试的时候，系统中的所有资源都在为这项测试服务。而现网中，协议平面和数据转发平面是同时运行的。Spirent Testcenter能够协议平面和数据转发平面测试结合起来，能够先建立协议平面拓扑，然后在这个拓扑之上运行基准性能测试。比如，可以先在测试端口之间建立FCoE Session，然后在这些Session之上，运行FCoE数据的RFC 2544测试。另外，Spirent Testcenter能够每端口产生32k条独立测试流，每端口实时分析64k条独立的测试流。一个端口发送出来的测试流，能够模拟经过RR调度，WRR调度和绝对优先级调度的测试流量。在数据中心以太网测试中，能非常好地测试数据中心以太网流量的优先级区分功能和QoS能力。
Spirent Testcenter提供了业界最高的测试精度，其测量时戳精度为10ns。而且Spirent Testcenter提供了业界最好的补偿算法。其任何类型的端口，包括10Mbit/s，100Mbit/s，1G和10G接口在任何帧长、任何负载下的自环时延，都在0.3?s以下。数据中心以太网设备基本转发时延基本都在?s级别。Spirent Testcenter自有时延可以忽略，而且由于各种接口的自有时延一致，进行不同类型接口之间互通测试（如千兆接口和万兆接口之间互通测试）不存在时延无法补偿问题。由于数据中心设备的转发时延和抖动要求非常高，所以Spirent Testcenter的测试精度和时延补偿算法对数据中心测试来说非常重要。
作为基准性能测试领先的测试工具，Spirent Testcenter在2008年9月和Network World一起完成了Cisco Nexus 7000交换机256个10GE口的大规模性能测试。详细信息见：http://edge.networkworld.com/reviews/2008/090108-test-cisco-switch-how.html?page=2和http://www.10gea.org/largest-10-gigabit-ethernet-test-in-the-industry-by-spirent.htm。
3 数据中心以太网和Fibre Channel over Ethernet
传统的Fibre Channel技术以其高速、高效、可靠和长距离传输，广泛应用在存储网络(SANs)中。但是以太网技术以其低成本、高技术、高普及率，在网络领域占据统治地位。这导致了在一个企业或者组织的数据中心网络中可能会建立若干套网络，其中以太网承载IP流量，Fibre Channel承载基于SCSI技术，可能还会由InfiniBand来承载高速集群I/O。这样就造成了大量的线缆、能耗和费用。在全球经济危机的形势下，把这些网络融合到以太网上，建设统一融合的数据中心以太网(Data Center Ethernet，DCE)，能够大幅减少线缆和能耗，大大降低运维成本，是数据中心网络的发展趋势。数据中心以太网也称为融合增强型以太网(Converged Enhanced Ethernet，CEE)。
3.1 数据中心以太网(DCE)测试
在DCE/CEE中，Fibre Channel帧将映射到以太网上来进行承载。传统的Fibre Channel提供流控机制，保证无丢包，并且传统的Fibre Channel对于时延的增加/变化或者抖动非常敏感。而传统的以太网络可以容忍一定的丢包和时延变化/抖动。所以，IEEE定义了一系列标准，规范DCE/CEE对于传统以太网增强，主要包括：
●802.1Qbb Priority Flow Control(PFC)：传统的以太网是整条链路进行流控的。802.1Qbb是基于优先级的流控标准。在一条物理链路上，分成了8个虚拟通道，每一个通道分配一个优先级。这样在一条链路上可以承载多种业务类型，包括FCoE和非FCoE的业务。当发生拥塞时，接收端可以在特定的优先级虚拟通道上发送XOFF和XON帧，抑制或者继续特定的业务，保证高优先级或者时延敏感的业务的传输。图3是802.1qbb的原理图。
图3 802.1qbb的原理图
●802.1Qaz Enhanced Transmision Selection(ETS)：保证不同服务级别上的多种流量类型的质量。在DCE/CEE上的业务中，IPC是时延敏感的业务，SAN业务是对丢包敏感的业务，而IP业务是可以允许一定的丢包和时延。链路上的业务可以分为若干个优先级组(Priority Group，PG)，并且定义每个PG的带宽属性。重要的业务，比如存储网络数据被赋予高优先级，保证带宽。低优先级业务只能在高优先级业务带宽不占用的情况下，才能使用分配带宽之外的额外带宽。图4是ETS和PG的典型例子。
图4 ETS和PG实例
●Data Center Bridge Exchange（DCBX）：这是IEEE Link Layer Discovery Protocol(LLDP)的扩展，可以在链路建立的时候交换两端设备的能力参数，比如是否支持PFC，以及802.1Qaz Priority Group。
●其他相关标准：包括IEEE 802.1Qau端到端拥塞管理标准，为克服生成树协议的单路径和收敛慢特点Layer2 Multipathing（L2MP）协议等。
数据中心以太网测试，首先要完成前述的基准性能测试，其次是完成传统以太网所要做的测试，比如生成树(Spanning Tree)，多生成树协议(MSTP)，VLAN，访问控制列表(ACL)，OSPF等路由协议。最重要的部分就是对上述以太网增强功能和性能进行测试。Spirent Testcenter提供了全面的测试方案。
（1）ETS测试
Spirent Testcenter每端口可以支持32k条独立的Stream，并能跟踪和分析64k条独立的Stream，产生丰富的测试流量，验证ETS各Priority Group下的带宽分配、流量整形等功能。Spirent Testcenter能为每一优先级和Priority Group提供基本带宽以及其他高级统计功能，评估每一种Priority Group的流量特性。这些高级统计量包括实时丢包、实时RFC 4737序列、实时RFC 3393 Jitter和误码率。图5是业务设置和结果显示。
图5 Spirent Testcenter ETS测试和测试结果
（2）PFC测试
PFC测试是要验证DCE设备在拥塞情况下对于PFC帧的发生和响应情况。PFC XOFF帧中包含了一个抑制流量的时间，以512bit时间为单位，称为Pause Quanta，在10G速率下对应51.2ns。Spirent Testcenter可以对每个优先级的抑制时间都可以进行用户自定义，并对XOFF和XON帧的发送间隔和序列（见图6）。
图6 PFC XOFF/XON Message序列
当Spirent Testcenter发出PFC帧以后，就可以统计两个PFC重要的测试指标：Pause持续时间和Pause响应时间。Pause相响应时间是指从测试仪表发送XOFF帧，到收到这个优先级上的最后一个数据包的时间。
Spirent Testcenter可以在多个优先级上产生不同Pause Quanta的异步XON/XOFF序列，同时发送不同帧长的双向测试流量，在测试过程中验证每条流的最大时延和PAUSE功能。一个典型的测试例如图7所示。
图7 真实PFC测试场景
在这个和真实网络非常相似的测试场景中，一共有3级流量，分别是P1，P2和P3。
●Spirent Testcenter同时在P1，P2和P3上发送不同帧长的双向流量。
●Spirent Testcenter同时在3个优先级上同时发送XOFF消息，Pause Quanta都是65535。
●在150?s以后，Spirent Testcenter首先在P2上发送XON消息，结束P2优先级上的流量抑制。
●在200?s时候，Spirent Testcenter在P1上发送XON消息，结束P1优先级上的流量抑制。
●在300?s时候，Spirent Testcenter在P3上发送XON消息，结束P3优先级上的流量抑制。
●在第600?s时候(150+450)，在P2上发送XOFF，重复上述行为。
●在700?s时候，在P1上发送XOFF，重复上述行为。
●在1000?s时候，在P3上发送XOFF，重复上述行为。
经过若干轮循环以后，在不同优先级上流量异步，给被测设备造成很大的压力。我们评估每条测试流的最大时延和Pause时间。当一个具有几十个、上百个端口的数据中心设备同时做这类测试，将给被测设备带来极大的压力，能够测试出系统或者设备的性能极限。图8是PFC测试结果的一个示例。
图8 PFC测试结果示例
3.2 FCoE测试
FCoE是在以太网上承载Fibre Channel帧的技术，其核心思想就是把Fibre Channel帧作为Layer 3协议直接封装在以太网之上，也就是用以太网替换了Fibre Channel中的FC-0和FC-1。图9是FCoE的协议层次。FCoE要求以太网支持上述的扩展特性。
图9 FCoE协议层次图
2个Fibre Channel节点之间的典型通信过程包括：Link初始化。F_LOGI：完成交换机发现，N_Port和F_Port之间交换操作能力参数，Fabric给节点分配FCID，并且初始化流控参数。P_LOGI：建立端到端的连接，交换PWWN，NWWN和协商操作参数。可选的PRLI：进行端到端进程级别的服务参数协商。
FCoE要求和传统的FC Fabric机型无缝对接，FC服务在传统的Fibre Channel Fabric和FCoE Fabric上必须无区别操作，所以FCoE必须透明地执行所有的Fibre Channel特性。FCoE的本质就是把Fibre Channel的数据帧和协议帧封装在以太网上传输。FCoE分为2个部分：FC初始化协议(FC Initialization Protocol，FIP)和FCoE协议。FIP协议完成Fabric发现和F_LOGI功能。而FCoE协议包含P_LOGI，PRLI以及Fibre Channel帧的传输。图10是FIP和FCoE的协议封装图。
图10 FIP 和FCoE 协议封装图，上图是FCoE协议封装，
下图是FIP协议封装
基本的FCoE测试包括协议功能测试和性能测试，包括：FIP协议功能（包括Discovery，Login，Logout等功能）；FCID和Ethernet MAC映射；FCoE Session之上的性能测试；FCoE和非FCoE混合性能测试。
Spirent Testcenter能够仿真FC Initiator和Target。图11是Spirent Testcenter进行FCoE协议和性能测试的拓扑结构。
图11 FCoE测试拓扑
Sprient Testcenter提供了完整的Fibre channel测试功能，包括：基于状态的真实FIP和FCoE协议仿真；FIP协议，包括Discovery and FLOGI/FLOGO；支持SPMA，FPMA(Mac Address Assignment)；每端口仿真500个FCoE Host；集成FCoE拓扑之上的数据平面性能测试，测试流量可使用FPMA/SPMA分配的地址；静态WWN分配；丰富的实时统计。
Spirent Testcenter为FIP/FCoE测试提供了方便快捷的测试向导，帮助用户快速完成复杂的完整系统测试配置。测试向导集成了PFC配置和集成的测试流量配置（见图12）。
图12 FCoE测试向导
4 虚拟化和云计算测试
随着数据中心的服务器规模越来越庞大，物理服务器数量成倍增加，硬件成本高涨，同时管理众多服务器的运维成本也在增加。为了降低硬件和运维成本，需要对大量的服务器进行整合成了必然的趋势。通过整合，可以将多种业务集成在同一台服务器上，直接减少服务器的数量，有效地降低服务器硬件成本和管理难度。
服务器整合同时也带来了一个难题：多种业务集成在一台服务器上，如何保证资源的合理分配？如何保证安全？虚拟化是解决这些问题的途径。虚拟化指用多个物理实体创建一个逻辑实体，或者用一个物理实体创建多个逻辑实体。实体可以是计算、存储、网络或应用资源。虚拟化的实质就是将不同的业务隔离开来，将不同业务的资源隔离开来，从而保证业务对于服务器资源的要求。
虚拟化的高速发展对扩展性测试提出了很高的要求。过去的一个物理服务器上部署4~8个虚拟服务器实例，新的虚拟化产品可以在一个物理服务器上支持64个或者以上的虚拟化实例。考虑到一个数据中心可能会有上百或者上千的物理服务器，这将导致非常大的网络流量。同时部署虚拟服务器，将导致额外的管理流量。例如，应用VMware Vmotion产品，可以在数据中心中迁移虚拟服务器，这增强了实时性和可靠性，但同时也产生了相当多的网络流量。
随着实体交换机的精简和虚拟化，原来的物理交换机也被整合到虚拟平台，图13是典型的虚拟化过程。
图13 虚拟化实例
以虚拟化技术为核心的云计算成为电信业、互联网业和IT业的市场和技术热点。“云”是一些可以自我维护和管理的虚拟计算资源，通常为一些大型服务器集群，包括计算服务器、存储服务器、宽带资源等。云计算通过虚拟平台将所有的计算资源集中起来，并由软件实现自动管理，无需人为参与。这使得应用提供者无需为繁琐的细节而烦恼，能够更加专注于自己的业务，有利于创新和降低成本。
对虚拟设备的测试，包括性能测试和协议的测试，比如VLAN，ACL，组播协议等。在图13场景下，仅通过把测试仪表接到一台集成虚拟交换机的物理服务器的物理接口上测试是不够的，一台物理服务器上有很多虚拟设备，很难隔离评估每一个虚拟设备的性能。这就需要把测试工具虚拟化。虚拟化测试工具以软件形势驻留在服务器内部，具备对应的物理测试工具的功能。从虚拟网络设备角度看，一个虚拟化测试工具的端口和一个物理测试端口是一样的。虚拟化测试工具能够在任何虚拟端口以及虚拟端口和物理端口之间提供测试L2~L7测试流量。
Spirent Testcenter VirtualTM是Spirent Testcenter的虚拟化测试模块，可以驻留在虚拟机上，用于评估虚拟服务器交换机和基于云的虚拟技术的性能。图14显示了Spirent Testcenter Virtual的基本测试原理。
图14 Spirent Testcenter Virtual测试原理图
Spirent Testcenter Virtual是业界第一个虚拟化测试解决方案，提供下列功能：
●提供L2~L7线速测试流量，测试虚拟设备和物理设备的新能。
●仿真VLAN，IGMP，FCoE等协议，产生真实的基于状态的应用层流量。
●提供RFC 2544，RFC 2889，RFC 3918组播等基准性能测试。
●与Spirent Testcenter硬件结合测试业务和路径可以是物理网络<->VM，VM<->VM和物理网络<->物理网络。为整个系统以及系统的每个部分提供详尽的性能和功能评估分析。
●一个应用，集成虚拟网络架构性能，扩展性和安全性分析。
●通过Spirent Testcenter GreenPutTM，关联网络负载和能耗关系，测试在不同的网络负载下的能耗以及Throughput Per Watt。
通过Spirent Testcenter和Spirent Testcenter Virtual组成的测试系统可以完成：在虚拟交换机上完成所有在物理交换机上需要进行的测试。快速定位影响网络性能的物理或者虚拟组建。完成对虚拟交换机，防火墙，负载均衡器和其他虚拟组件的基准性能测试，包括单播和组播测试。实时验证在实时虚拟服务器迁移和资源调配中应用的可靠性。比较评估不同厂家的虚拟化平台的性能。对整个数据中心系统或者云计算系统进行全面评估。
5 结束语
数据中心正在越来越快地被部署，如何在研发、验证、工程建设和运营维护等各个阶段全面评估数据中心设备和网络，成为非常迫切的问题。思博伦通信数据中心测试解决方案，全面支持性能、协议等方面的测试，是目前业界最为完整的数据中心测试方案，正在帮助大量厂商、企业运营商完成下一代数据中心的部署。
