详解数据中心产业链主要环节及网络架构光纤连接需求

hwyzw

   

    数据中心产业链涵盖基础设施、IDC托管与增值服务、以及应用与服务提供商等核心部分。基础设施部分主要包括供电与配电系统、不间断电源（UPS）、冷却设备、弱电系统、消防安全措施、信息技术设备以及网络带宽等方面。从图1中可以观察到，服务器的内部“网络连接”功能由主板负责实现，而服务器与交换机之间的连接则是通过光纤缆线和光电模块连接器来完成的。因此，在数据中心实现扁平化布局的spine-leaf网络结构下，将产生大量的光纤连接和端口需求。

    图1 数据中心扁平化网络架构及接入层
    若你有过IT项目支持或运维的相关经验，自会懂得，从特定应用或服务的视角出发，正如图1所展示，那一堆由众多服务器与交换机组合而成的IT设备群，其对外呈现的最终接口，可能仅仅是一个由负载均衡设备或软件（例如Ngix）所虚拟出的虚拟IP（即浮动IP）。这正如人类即便内部结构复杂，对外也仅通过姓名和身份号码来唯一标识自己。机房中部署的BSS、OSS、GIS以及CDN等应用或服务，最终向外界呈现的是单一的IP地址（以及MAC地址）或URL地址（其中URL地址的显示需要DNS服务的支持）。值得注意的是，IP地址和物理端口这类资源是有限的，而在机房内，由设备构成的业务或端口数量可能达到几十套、几百套，甚至上千套。
    在购买网络设备的过程中，我们注意到核心或汇聚网络设备的机框价格并不高（与整体价格相比），这是因为一旦选择了某个厂家的机框，未来就只能购买该厂家的业务板卡。因此，提供端口的业务板块和模块等，将成为未来潜在的利润增长点。
    为何称之为业务板卡（线路板卡）？这主要是因为，在某种程度上，这些核心或汇聚路由器上的每个端口都与图1中展示的一个或多个业务系统相对应。那么，我们如何才能有效地处理这些设备之间一对多的连接关系，并确保其可靠性和可扩展性呢？
    在与网络工程师交流的过程中，我常常遇到的一个主要困惑是，每当我提出关于特定业务网络的需求时，工程师们往往会询问我所需的带宽（流量）量以及端口数量。听到那句话的瞬间，我的思绪一片空白，甚至内心暗自思忖自己是否真的理解这些内容，需要向你们请教。那时的我对核心网络的结构和连接关系并不熟悉，对那些业务或设备如何实现互联也一无所知。我不禁想知道，您是否也曾有过类似的困惑和感受。
    也就是说，从网络思维的角度来看，网络工程师关注的焦点集中在“端口”与“IP地址”这两个要素上。他们需要评估这些端口传输的数据流量以及端口间的连接方式，以确保网络规划与部署的顺利进行。因此，网络思维或许可以被理解为一种基于“端口与IP地址”的思考模式，用以满足网络连接的需求。遗憾的是，对于那些未曾接触过路由器、交换机等网络设备，或者至少对板卡的分类、编号和端口结构一无所知，甚至从未见过板卡和接口的人来说，我们难以培养他们的网络思维。以我为例，若提及馕或拌面，那些未曾见过这些食物的人，脑海中浮现的可能是面包、馍馍、面条、意大利面等各种各样的形象...。所以，我们必须再次引入图2所展示的框式交换机配置图，以此为基础继续我们的讨论。

    图2框式交换机设备图
    框式交换机由机框、电源模块、风扇模块、主控板、交换网板（SFU）以及线路板（LPU）等部件组成。机框部分负责为各类板卡和模块提供必要的插槽，以此确保板卡之间能够进行有效的通信，就如同服务器的主板在服务器中的作用一般。
    交换网板，即SFU单元，承担着整个系统数据平面的管理职责。该数据平面确保了高速且无阻塞的数据传输通道，从而实现了不同业务模块间的有效业务交换。
    线路处理单元，简称LPU或业务板/线路板，是物理设备中负责数据传输的模块。它配备了不同速度的光口和电口，并且是我们直接连接至交换机上联接口的端口。交换机的内部结构如图3所示，图中的“或”符号代表交换网板，而“诸多I/O”则指的是线路板（亦称业务板）。

    图3交换内部机体系架构
    图3展示的总线式交换机：它代表了交换机发展的早期阶段，其工作原理是所有接口都接入交换机内部的共享背板总线，接口通过轮流使用总线来传输数据，并需依赖专门的仲裁机制来合理分配总线带宽。这种结构设计简单，成本较低，但扩展能力有限，目前主要应用于低端交换机领域。鉴于此，在前文中提到的互联网出口位置，我们应避免使用这种具有相似架构的交换机。
    图3展示了采用矩阵结构的交换矩阵式交换机，它能够在多个接口间进行数据交换，有效缓解了交换机内部通路瓶颈的问题。目前，市场上所有的高端交换机普遍采用了这种设计。
    让我们来观察一下路由器的结构图，如图4所示。与交换机相比，路由器的端口数量较少。此外，每个端口至少对应一个局域网，以及该局域网内覆盖的十几到上百个设备。例如，某个系统或业务所需的所有服务器连接的接入交换机，其上联汇聚交换机的上联口，最终连接到路由器的端口上。为了更有效地实现一对多的逻辑连接，路由器采纳了子接口的设计理念，同时交换机领域也引入了VLAN以及接口的相关概念，这些内容将在接下来的文章中作更深入的探讨。

    图4 NE20E-S和NE40E系列路由器
    观察后判断、实践中学习等最基本的教学方式，正是我们这一代在教育或培训领域容易忽视的关键部分。这些方法，正是玉工在机房建设过程中屡遭挫折，以及在日常巡查和不断探索中逐渐领悟到的。因此，玉工建议各大院校将企业中淘汰的旧IT设备移至校园实验室的角落或设计库房展示区，以便学生能够亲自观察和操作，亲手触摸、拔插板卡或模块进行试验，连接尾纤，通电后连接USB转串口线并配置COM口波特率，尝试访问命令行登录界面进行实验等。在具备这些基础知识的前提下，向学员传授网络技术及网络架构的相关知识，或许他们便能理解那些配置流程。据我所了解，企业中那些被淘汰的旧IT设备，若要处理亦需投入资金，而学校若能免费接收，无疑减轻了企业的搬运负担，此举可谓双赢，岂不乐哉。
    网络业务量持续攀升，导致现有点对点链路中，单条物理链路的带宽已不足以支撑正常的流量传输。若替换现有接口板为带宽更高的型号，将造成设备资源的闲置，且升级成本高昂。而若增加设备间的链路数量，作为三层口使用时，每个接口均需配置IP地址，这将造成IP地址资源的浪费。
    在单链路组网中，缺乏冗余配置，一旦接入层设备上联的线路出现故障，将导致接入设备所覆盖区域的全部设备通信受阻。在这种情况下，可以将若干个独立的物理接口合并，形成一个大带宽的逻辑接口，即所谓的链路聚合技术，如图5所示。

    图5链路聚合技术
    聚合组，即Link Group或LAG，是由多条链路组合而成的逻辑链路。每个聚合组都对应一个特定的逻辑接口，该接口通常称作链路聚合接口或Eth-Trunk接口。构成Eth-Trunk接口的各个物理接口被称作成员接口，而成员接口所对应的链路则被称为成员链路。
    链路聚合技术典型应用场景如下图6所示：

    图6链路聚合技术典型应用场景
    从图中可以观察到，尽管链路聚合技术已成功应对了链路层面的带宽及主备（可靠性）挑战，但设备却转变为单节点形态，进而带来了业务中断的可能性。针对这一问题，网络设计师们提出了名为堆叠与集群的应对策略。
    多台具备堆叠功能的交换机，通过堆叠专用线缆相互连接，在逻辑层面整合为一台单一的交换设备，共同参与数据传输过程，具体如图7所展示。

    图7交换机通过堆叠线缆连接在一起形成堆叠
    集群（CSS）：通过将具备集群功能的交换机进行配对，可以将其在逻辑层面视为单一交换机。此类集群通常由两台设备构成，其中，通常框式交换机能够实现集群功能，而盒式设备则更适用于堆叠配置，具体可参考图8。

    图8堆叠与集群技术
    实际上，无论是堆叠还是集群，这些观念和思路在信息革命爆发之前的工业革命时期就已经存在。在机电工程或数据中心工程中，我们常常能够遇到与堆叠和集群相似的架构。其根本目的在于提升系统的可扩展性和可靠性（在资源有限的前提下）。
    在IT领域，我们运用了虚拟化、整合以及集群等手段来确保系统的稳定性和扩展性，然而，这些核心概念却正是我们需借助微观学习法（即在脑海中持续放大逻辑联系）来深入领悟的。而要真正掌握这些技术的精髓，还需依赖进程间的信息交流，以及Linux、VRP等操作系统的基础知识。这些理念并不仅限于网络设备，它们同样适用于芯片、操作系统以及数据库等领域，其中不乏类似的概念和操作方法，例如芯片集群架构、数据库的实际应用集群（RAC）技术以及表空间等概念。
    故而，一旦我们掌握了操作系统“万物皆文件”的理念以及进程间通信的技巧，对这些概念和技术的理解便会变得更加透彻且清晰易懂。
    最终，在计算机网络领域，通过运用上述技术的有效融合，我们可以观察到一种典型的网络结构，该结构详见图9。

    图9计算机网络中推荐的典型网络结构
    图中展示了核心部分运用CSS集群进行网络布线，上下行通信均采用Eth-Trunk技术，以此打造了一个既高可靠性又无环路的网络架构。汇聚交换机同样采用了Eth-Trunk技术进行上下行通信，确保了网络的稳定与高效。对于地理位置相邻的接入设备，例如同一栋楼内的接入交换机，通过虚拟化手段，它们被整合成了一台逻辑上的单一设备，这不仅增加了端口的数量，也极大地简化了网络管理的复杂性。
    采用Eth-Trunk技术与汇聚层实现连接，从逻辑上简化了网络架构，无需再依赖STP和VRRP。此方案具备高可靠性、宽的上行带宽以及快速收敛的特点。
    通过前述内容，我们已对网络架构中可扩展性、可靠性、可管理性的典型结构有了初步了解。然而，要满足实际业务需求，仅仅掌握这些基础还不够，我们还需深入理解诸如交换机的VLAN划分、路由器的子接口配置以及MPLS虚拟专用网络等技术。在掌握了这些基础知识之后，我们对网络将不再感到畏惧，不再仅凭肉眼去观察，而是能够运用思维去理解或构想网络拓扑中的物理连接、二层、三层，乃至四层之间的相互联系以及数据流动的整个过程。至于网络的四层和五层，或许我们可以在Lixu操作系统和数据库技术的相关文献中进行深入探讨。
    在上一篇文章的读者留言中，有人对笔者的身份进行了推测，鉴于此，我在本文末尾附上了我的个人名片。相较于数据库、操作系统、数据中心等，网络技术一直是我所避讳的薄弱环节，然而，近期我已下定决心，要勇敢地迎头赶上，挑战这一专业领域。学习网络技术伊始，我察觉到先前所学的众多专业知识，如数据中心IT基础设施等，出现了显著缩减和紧密关联的现象；同时，我也意识到网络技术并没有我们想象中那么复杂。鉴于此，我结合了其他专业技术，重新阐述了网络基础概念；若文章中存在错误，恳请各位不吝赐教，予以指正。
    玉工简介：他是一位热衷于技术的爱好者，同时也是《联动：设计理念、架构实施与AWR分析报告》一书的创作者。在多年的职业生涯中，他亲身参与了众多国企的中大型IT项目以及数据中心的建设工程，积累了丰厚的实战经验。他的学术背景同样出色，毕业于北京广播学院电子工程专业，并取得了北京邮电大学软件工程专业工程硕士学位。