一、数据中心中的交换机

在数据中心设计过程中，第一个要面临的问题通常就是“应该选择什么样的交换机？”。

华为，针对不同客户的网络需求，生产既符合通用标准又满足特定网络需求的数据中心交换机。

CE系列交换机是华为公司面向数据中心推出的新一代高性能交换机，满足了用户对低时延、高性能、高端口密度的要求，灵活支持不同的网络结构，是数据中心交换机的理想选择。截止目前，CE系列交换机包含CE12800系列、CE8800系列、CE7800系列、CE6800系列、CE5800系列五个系列的硬件形态的交换机。

CE12800系列

CE12800系列交换机是华为公司面向数据中心和高端园区推出的新一代高性能框式核心交换机，目前包含CE12804、CE12808、CE12812、CE12816、CE12804S、CE12808S、CE12804E、CE12808E、CE12816E款型。CE12800在提供稳定、可靠、安全的高性能L2/L3层交换服务基础上，助力用户构建弹性、虚拟和高品质的网络。其中，CE12804E、CE12808E、CE12816E支持华为自研的以太网络处理器，满足用户对业务灵活快速定制的需求，同时可实现对设备的精细化运维。

CE12800采用先进的硬件架构设计，提供多种接口密度的100GE/40GE/10GE/GE线卡（部分线卡的接口可通过模式切换或接口拆分工作到25G速率），单机最大支持576个100GE、576个40GE、2304个25GE、2304个10GE或者768个GE线速接口，可支持大容量的高密服务器接入和TOR上行汇聚，确保数据中心网络对高性能、超大容量的要求。

CE12800五大硬件（主控板、交换网板、监控板、电源、风扇）全部采用热备设计，整机可靠性高。主控板1+1热备份；交换网板N+M热备份；监控板1+1热备份；电源采用双路输入，N+N备份，并自带散热系统；风扇框1+1备份，单风扇框内双风扇对旋设计，散热高效强劲。

在数据中心网络中，CE12800系列交换机既可以作为网络的核心层/汇聚层交换机，也可以作为Spine-Leaf架构中的Spine交换机；能够支持单机、堆叠、M-LAG、VS等多种组合形态，并支持VXLAN等主流Overlay技术。

CE8800系列

CE8800系列交换机是华为公司面向数据中心和高端园区推出的新一代高性能、高密度、低时延以太网交换机。CE8800提供高密度的100GE/40GE/25GE/10GE端口，支持丰富的数据中心特性和高性能堆叠，帮助企业和运营商构建面向云计算时代的数据中心网络平台。

截止目前，CE8800系列交换机包含CE8860和CE8850两个系列：

• CE8860：CE8860-4C-EI，2U高插卡式交换机，通过插卡灵活组合及接口拆分，单机最高可支持32个100GE、64个40GE、128个25GE或128个10GE接口。

• CE8850：CE8850-32CQ-EI，1U高100GE盒式交换机。单机最高支持32个100GE、32个40GE、128个25GE或130个10GE接口。

在数据中心网络中，CE8800系列交换机可以作为高密接入TOR/EOR交换机，当服务器规模不大时，也可以作为网络的核心层/汇聚层交换机；可以作为Spine-Leaf架构中的Spine或Leaf交换机；能够支持单机、堆叠、M-LAG等多种组合形态，并支持VXLAN等主流Overlay技术。

CE7800系列

CE7800系列交换机是华为公司面向数据中心和高端园区推出的新一代高性能、高密度、低时延40GE以太网盒式交换机。CE7800交换机提供高密度的40GE QSFP+端口，支持丰富的数据中心特性和高性能堆叠，帮助企业和运营商构建面向云计算时代的数据中心网络平台。

截止目前，CE7800系列交换机包含CE7850和CE7855两个系列，均支持32个40GE QSFP+以太网光接口，且接口可进一步拆分为4个10GE接口。

在数据中心网络中，CE7800系列交换机可以作为网络的核心层/汇聚层交换机；也可以作为Spine-Leaf架构中的Spine或Leaf交换机；能够支持单机、堆叠、M-LAG、SVF等多种组合形态，并支持VXLAN等主流Overlay技术。

CE6800系列

CE6800系列交换机是华为公司面向数据中心和高端园区推出的新一代高性能、高密度、低时延万兆以太网盒式交换机。CE6800采用先进的硬件结构设计，提供高密度的10GE/25GE端口接入，支持40GE/100GE上行端口，支持丰富的数据中心特性和高性能堆叠。

截止目前，CE6800系列交换机包含CE6880、CE6870、CE6860、CE6850、CE6810系列：

• CE6880：支持华为自主研发的以太网络处理器，满足用户对业务灵活快速定制的需求，同时可实现对设备的精细化运维。单机下行最大提供48个10GE SFP+以太网光接口或48个10GBASE-T以太网电接口；上行提供2个40GE/100GE QSFP28以太网光接口和4个40GE QSFP+以太网光接口，其中QSFP28以太网光接口可进一步拆分成4个10GE接口。

• CE6870：提供4GB的大缓存，可轻松应对数据中心中视频、搜索等应用引起的流量浪涌。单机下行最大提供48个10GE SFP+以太网光接口或48个10GBASE-T以太网电接口；上行最大提供6个40GE/100GE QSFP28以太网光接口，每个接口可进一步拆分成4个10GE或25GE接口。

• CE6860：单机下行最大提供48个10GE/25GE SFP28以太网光接口；上行最大提供8个40GE/100GE QSFP28以太网光接口，每个接口可进一步拆分成4个10GE或25GE接口。

• CE6850：包含CE6856HI、CE6855HI、CE6850U-HI、CE6851HI、CE6850HI、CE6850EI等细分款型。单机下行最大提供48个10GE SFP+以太网光接口或48个10GBASE-T以太网电接口；上行最大提供6个40GE QSFP+以太网光接口，每个接口可进一步拆分成4个10GE接口。

• CE6810：包含CE6810EI和CE6810LI两个系列。单机下行最大提供48个10GE SFP+以太网光接口；上行最大提供4个40GE QSFP+以太网光接口，每个接口可进一步拆分成4个10GE接口。其中，CE6810LI通常作为二层交换机使用。

在数据中心网络中，CE6800系列交换机主要定位于高密万兆接入交换机，也可以作为Spine-Leaf架构中的Leaf交换机；能够支持单机、堆叠、M-LAG、SVF等多种组合形态。除CE6810系列和CE6850EI外，其余款型均支持VXLAN等主流Overlay技术。

CE5800系列

CE5800系列交换机是华为公司推出的支持40GE上行接口的新一代盒式千兆接入交换机。

截止目前，CE5800系列交换机包含CE5855、CE5850、CE5810三个系列。CE5800系列交换机单机下行提供48或24个10/100/1000BASE-T以太网电接口；上行最大提供4个10GE SFP+以太网光接口和2个40GE QSFP+以太网光接口，其中QSFP+接口可进一步拆分成4个10GE接口。

在数据中心网络中，CE5800系列交换机主要定位于高密千兆接入交换机，也可以作为Spine-Leaf架构中的Leaf交换机；能够支持单机、堆叠、M-LAG、SVF（仅支持作为SVF的叶子交换机）等多种组合形态。

可以看到，华为既提供采用商业芯片的数据中心交换机，也提供像CE12800E系列、CE6880EI系列这种采用自研芯片的交换机。

一般而言：

• 使用商用芯片的交换机，与其他厂商使用同款芯片的产品，在特性支持及性能规格上基本一致。商用芯片通常可以提供比较高的吞吐量、高接口密度，可以提供大多数网络需要的软件能力；也正因为如此，此类交换机的功能特性往往会受限于芯片本身的能力，所以灵活性上相比自研芯片要差一些。

• 使用自研芯片的交换机，可以满足用户更多的定制需求，应用上更加灵活。这种类型的交换机通常在开放性、自动化、自主运维等方面能力更强。缺点是业务叠加越来越多后，转发性能可能会有所下降。

商用芯片及自研芯片各有其优劣势。当您进行网络规划与设计时，请根据具体业务需求及未来网络规划来选择合适的数据中心交换机。

二、交换机的部署位置

在数据中心机房中，这些交换机应该部署在什么位置，我们不妨称之为物理架构。目前，按照交换机在机柜上的部署位置（也可以理解为按照服务器的不同接入方式），其物理架构一般分为TOR（Top of Rack）和EOR（End of Row）/MOR（Middle of Row）两种。下面我们分别来了解下这两种架构。

2.1、TOR

TOR（Top of Rack）指的是在每个服务器机柜上部署1～2台交换机，服务器直接接入到本机柜的交换机上，实现服务器与交换机在机柜内的互联。虽然从字面上看，Top of Rack指的是“机柜顶部”，但实际TOR的核心在于将交换机部署在服务器机柜内，既可以部署在机柜顶部，也可以部署在机柜的中部（Middle of Rack）或底部（Bottom of Rack），如图2-1所示。通常而言，将交换机部署在机柜顶部是最有利于走线的，因此这种架构应用最多。

图2-1 TOR交换机的部署位置

以TOR方式部署在服务器机柜上的交换机，我们称之为TOR交换机。TOR交换机一般由高度在1U～2U的盒式交换机承担，比如华为的CE5800和CE6800系列交换机。

TOR架构最大的优点就是简化了服务器到交换机之间的连线。机柜内服务器上的GE/10GE/25GE端口可以直接通过短跳线连接到TOR交换机上，再经由10GE/40GE/100GE光纤双上行连接至汇聚交换机，如图2-2所示。这样连线极大地缩短了线缆的使用距离，简化了线缆管理，降低了网络结构复杂性，更符合数据中心绿色和节能的趋势。当后续业务扩展需要更换线缆时，也更加便利。

图2-2 TOR交换机连接至汇聚交换机

对于TOR架构，每个机柜可以被看做一个独立的管理实体。当服务器或交换机需要升级时，可以以机柜为单位逐一升级，升级过程中不会影响其他机柜的流量转发，将对业务的影响控制在最小范围内。

TOR交换机上行链路通常会选择光纤，因为从长期的投资保护考虑，光纤比铜缆更有优势。光纤可以承载更高的带宽，当需要更换更高速率的链路时，光纤的选择也更加灵活。

因此在选择TOR交换机时，通常您需要同时考虑交换机下行连接服务器的端口数量、速率以及上行端口的灵活性。一般情况下：

• 当服务器端口为GE口时，您可以选择CE5855EI系列交换机。CE5855EI系列交换机分为CE5855-48T4S2Q-EI和CE5855-24T4S2Q-EI两款，分别提供下行48和24个10/100/1000BASE-T以太网电接口；上行提供2个40GE QSFP+以太网光接口和4个10GE SFP+以太网光接口，同时每个40GE接口还支持拆分为4个10GE接口。

• 当服务器端口为10GE口时，您可以选择CE6856HI系列交换机。CE6856HI系列交换机分为CE6856-48S6Q-HI和CE6856-48T6Q-HI两款，分别提供下行48个10GE SFP+以太网光接口和10GBASE-T以太网电接口；上行均提供6个40GE QSFP+以太网光接口，每个接口支持拆分为4个10GE接口。

• 如果您希望TOR交换机提供大缓存，则建议您选择CE6870EI系列交换机。按照下行口类型及数量的不同，CE6870系列交换机分为CE6870-48S6CQ-EI、CE6870-24S6CQ-EI和CE6870-48T6CQ-EI三款。以图2-3所示的CE6870-48S6CQ-EI为例， 该交换机上行支持6个40GE/100GE QSFP28以太网光接口，同时还支持拆分成4个10GE或4个25GE接口。CE6870EI丰富的上行接口类型，为不同的业务需求提供了灵活的选择，从长期来看很好的保护了客户投资。CE6870系列交换机提供4GB的大缓存，可轻松应对数据中心中视频、搜索等应用引起的流量浪涌。

  图2-3 CE6870-48S6CQ-EI
  

  

当然，TOR架构也有其缺点。最明显的一个就是，TOR架构扩大了整个数据中心机房的管理域。每个机柜上都部署交换机，也就意味着机房中交换机的数量会比较多，每一台交换机都需要进行配置、管理和维护。假设您的机房中有10排机柜，每排放置10台机柜，每台机柜上部署两台TOR交换机，那么您就需要管理维护200台TOR交换机。尽管这200台交换机的配置基本是相同的，但是依然需要花费大量的人力成本，并且也增加了设备误配置的概率。

针对上述问题，CE系列交换机也提供了相应的解决方案。比如针对新出厂或空配置设备，您可以使用ZTP（Zero Touch Provisioning）功能进行批量自动配置。CE系列交换机默认开启ZTP功能。运行ZTP后，交换机可以从U盘或文件服务器获取版本文件（包括系统软件、配置文件、License文件、补丁文件、自定义文件）并自动加载，实现设备的免现场配置。CE系列交换机还支持丰富的设备虚拟化技术（比如堆叠），可有效简化设备的管理平面，进而降低人力成本，提升部署效率。在第五章将会对这些技术做详细介绍。

TOR架构的另一个缺点是端口浪费。目前，大多数的TOR交换机都可以提供48个GE/10GE/25GE下行端口。以每机柜部署两台TOR交换机为例，则共有96个下行端口，那么您需要在机柜中放置大量的服务器才有可能全部利用好这些接口。

通过在相邻机柜之间交叉连线可以在一定程度上降低端口的浪费。如图2-4所示，两台机柜上分别部署一台48端口TOR交换机，每台交换机的24个端口提供本机柜的服务器接入，另外24个端口提供给相邻机柜的服务器接入。正如你所看到的，这种方案的代价就是需要增加在两机柜间的连线，因此也并非一个完美的方案。但是相比每个机柜部署两台TOR交换机造成的端口浪费，这种方案也不失为一种低成本并且行之有效的选择。

图2-4 相邻机柜间交叉连线

2.2、EOR/MOR

与TOR不同，EOR（End of Row）架构在每排机柜的末端提供统一的网络接入点。如图2-5所示，在每排机柜末端部署，供服务器统一接入网络的交换机，我们称之为EOR交换机。

图2-5 EOR交换机的部署位置

出于可靠性考虑，每排机柜通常会配备两个网络机柜，分别位于这一排的头端和末端。服务器网卡使用相对较短的RJ45/DAC/光纤跳线连接到同一机柜的配线架，配线架上的网线、光纤、铜缆等经捆绑后穿过架空线缆槽或地板连接到每排最边端的网络机柜。

EOR架构将接入交换机集中放置在1～2个机柜中，方便了管理和维护，但同时也增加了服务器机柜到网络机柜之间的连线。服务器机柜离网络机柜越远，在机房中的布线距离越长，由此导致线缆维护工作量大，灵活性差。

MOR（Middle of Row）架构是对EOR的一种改进，也为服务器提供统一的网络接入机柜，但是MOR要求将网络机柜放在整排机柜的中部，在一定程度上缩短了服务器机柜到网络机柜的距离，简化了线缆的管理与维护。但是与TOR相比，无论是EOR还是MOR，布线复杂、管理维护难度大依然是它们的最大缺点。若无特殊说明，下文中出现的EOR的相关描述同时也适用于MOR。

EOR交换机一般由框式交换机承担，比如华为的CE12800系列交换机。如果您的机房内服务器数量不多的话，也可以选择CE8800和CE7800系列。

相比盒式交换机，框式交换机在以下方面具有明显的优势：

• 提供更大数量、丰富类型的接入端口。通过在框式交换机上配置不同数量不同速率的接口板，您可以灵活控制接入端口的数量和速率。以CE12800系列交换机为例，截止目前支持36*100GE、36*40GE、48*10GE、48*GE等接口板类型（以最高端口数量举例），接口还支持丰富的拆分类型，为不同数据中心服务器的接入提供了灵活的选择。

• 可靠性高。框式交换机提供冗余硬件，例如多交换网板、多电源模块、多风扇模块，整机可靠性更高。

• 保护客户投资。当数据中心需要比现在更高的接入速率，您只需要更换更高速率的接口板，而不用整台设备换掉。从整个生命周期来看，成本更低。

EOR架构使得数据中心的管理领域大大减少，因为它是基于每排而不是每机架进行管理。但是，这同时也意味着一旦EOR交换机出现故障或者升级失败，它的影响范围也会是一整排的服务器。这也是为什么对EOR交换机要求更高的原因。

2.3、TOR和EOR/MOR两种架构对比

如表2-1所示，我们对TOR和EOR/MOR两种架构做下总结：

表2-1 TOR和EOR/MOR对比

综上所述，TOR、EOR/MOR均有各自的优势及不足，不同的架构适用于不同的场景。用户在进行选择时，一定要根据数据中心承载的业务类型、不同的业务特点以及不同数据中心的特定条件，包括投资和管理成本等进行综合考量后再决定采用哪种方式。当然，在业务数据量不特别大，对扩展性要求也不是特别高的传统用户数据中心中，EOR/MOR的方式仍然会受到很大程度上的青睐；而在采用分布式架构业务为代表的、对扩展性要求很高的用户数据中心，采用TOR将会是一种趋势。