思科将大规模AI基础设施塞入小型服务器套件
思科计算高级副总裁兼总经理Jeremy Foster在最近的IT供应商客户顾问委员会会议上,就发现几乎所有企业都正在不同程度地开展AI项目。
Foster在采访中指出,“其中一些项目可能是从云端起步,有些项目可能是从本地项目开始,但总体上这种变化趋势要比过去六个月乃至更久之前明显加快。我们也相信这股势头还将持续下去。其中一些企业已经提交了初始订单,正在等待交付。在预约到交付之间的这段时间,他们正积极设计用例并思考如何开发应用程序以创造价值。尽管仍处于早期规划阶段,但对生成式AI项目的应用占比已经从原先的十之一二快速增长至如今的十之八九。相信在收到设施资源之后,他们会立即行动起来。”
而企业必须面对的一大现实挑战,就是确保掌握运行AI工作负载所需要的正常基础设施。根据思科的AI就绪指数,89%的受访IT专业人士表示他们计划在未来两年之内部署AI工作负载,但只有14%的受访者确认其基础设施已经为这类新型工作负载做好了准备。而对基础设施的全面改造,往往是一项昂贵且复杂的任务。
思科希望通过本周在洛杉矶合作伙伴峰值上公布的全新硬件产品,让这场转型来得更轻松、更便宜。相关产品基于其UCS产品组合以及经过验证的设计方案,努力将更多所需技术整合进这些高度集成的系统当中。这些产品对于正权衡到底是在云端、抑或是本地执行AI任务的企业来说,不啻于一份厚礼。
思科计算产品管理副总裁Daniel McGinniss在采访中表示,“我们看到很多客户更倾向于选择本地部署,而具体基础设施模式则视工作负载需求而定。比如说以企业身份在云端运行模型训练,而后再转向本地。业务数据一般都集中在本地设施之内,这一点非常重要。因此对于最重要、对业务影响最大的应用程序,企业肯定更希望能在本地基础设施上运行。这也符合我们观察到的普遍情况,即将全部业务用例都汇总起来,尽可能排除干扰和外泄因素。总之,不同需求对应的基础设施模式也是各不相同的。企业可能会在CPU上运行推理,但不会在CPU上运行训练。我们的不少大型企业客户则更加灵活,可能在云端进行模型训练,也有可能在本地基础设施上完成训练。”
在本次会议上,思科发布了UCS C885A M8服务器,专门用于处理大规模GPU密集型AI训练与推理任务。这是UCS产品家族中的最新成员,思科于2009年首次公布了这条产品线,当时希望在网络之外进一步拓展数据中心业务,借此与戴尔、惠普等厂商在计算领域展开竞争。
UCS C885A M8以英伟达的HGX超级计算平台作为构建基础,包含8张英伟达H100或H200 Tensor Core GPU或者8张AMD MI300X OAM GPU加速器(后续预计还将支持英特尔芯片),且每张GPU都配备一块英伟达ConnectX-7网络接口卡(NIC)或BlueField-3 SuperNIC,允许客户在服务器集群之上运行AI模型的训练工作负载。另有英伟达BlueField-3数据处理单元(DPU),同时配备两块AMD第四代或第五代EPYC芯片。
这些系统通过思科的Intersight云平台进行管理。
与此同时,思科还公布了AI POD。此POD扩展了思科另一套经过长期验证(这套设计方案发布已有20多年)的方案成果,用于为AI推理工作负载提供预配置的基础设施堆栈,能够从边缘部署扩展至大规模集群以实现检索增强生成(RAG)。
AI POD同样在很大程度上依托于英伟达技术,包括其GPU及AI Enterprise软件平台与HPC-X工具包,此外辅以思科自家的UCS X系列模块化设计、机箱、M7计算节点、带有英伟达GPU的PCI-Express节点、思科UCS结构互连以及Intersight管理软件。
其中还囊括了红帽OpenShift应用平台,并允许用户根据需求在Nutanix、NetAPp的FlexPod或者Pure Storage的FlashStack等方案间灵活做出选择。
思科的McGinnis表示,这样的技术堆栈对于仍在努力理解AI所需复杂基础设施环境的组织来说,无疑是大有裨益。
他解释道,“几十年来,人们一直在努力构建虚拟化环境。刚开始大家对此也不熟悉。而现在的生成式AI浪潮又带来了类似的问题,可以说是历史的重演。整体堆栈的概念确实能让客户感到安心,缓解他们对于未知的焦虑和恐惧。比如他们并不清楚要如何确定环境规模,也不了解该如何搭配CPU、内存、驱动器和GPU组合。这是个需要认真考虑的全新方向。而我们则为他们确定了设施规模,在必要时整个堆栈都将随时听候调遣。而随着他们更好地了解自己的需求和环境,客户可以进一步做出定制和调整。但作为启动的第一步,整体解决方案这个概念往往非常重要。”
UCS C885A M8服务器(现已开放订购,并将于今年年底发货)和AI POD(11月内开放订购)正是思科不断增长的AI基础设施产品家族中的最新成员,其他成员还包括运行在思科Silicon One G200芯片上的800G Nexus交换平台,以及与英伟达合作开发并于今年6月推出的Nexus HyperFabric AI集群——其将思科AI网络同英伟达的加速计算和AI Enterprise软件,连同VAST数据存储全面融合了起来。
思科的Foster表示,Nexus HyperFabric AI集群将于明年开始开放订购,希望能帮助更多企业快速建立起业务需要的AI网络。
Foster总结道,“如果大家打算训练两套网络,那就得区分前端网络和后端网络。现在我们将其合并成统一的以太网网络,允许客户将管理能力从网络一直延伸到服务器上的网络接口卡,而后配合Intersight保持服务器环境的正常运行,再根据客户的用例需求进行整体环境优化。”
来源:至顶网