据了解，发AI服该Gaudi2处理器及Gaudi2夹层卡HL-225B，英特云端以第一代Gaudi高性能架构为基础，尔推具有24个可编程Tensor处理器核心（TPCs）。芯片
每颗芯片集成了21个专用于内部互联的拟联100Gbps（RoCEv2 RDMA）以太网接口，配备配置96GB HBM高速内存及2.4TB/秒的手中商开总内存带宽，满足大规模语言模型、国厂多模态模型及生成式AI模型的发AI服需求。
据现场介绍，英特云端英特尔Gaudi2运行ResNet-50的每瓦性能约是英伟达A100的2倍，运行1760亿参数BLOOMZ模型的每瓦性能约达A100的1.6倍。
在发布会上，浪潮信息高级副总裁、AI和HPC总经理刘军现场发布搭载Gaudi2的新一代AI服务器NF5698G7。
目前，英特尔已与浪潮信息合作，打造基于Gaudi2深度学习加速器的AI服务器NF5698G7。该服务器集成了8颗Gaudi2加速卡HL-225B，还包含双路第四代英特尔至强可扩展处理器，支持AMX/DSA等AI加速引擎。当日，该款AI服务器也正式发布。
浪潮信息高级产品经理王磊强调，NF5698G7是专为面向生成式AI市场开发的新一代AI服务器，支持8颗OAM高速互联的Gaudi2加速器，将为AI客户提供大模型训练和推理能力。
新华三集团计算存储产品线副总裁刘宏程表示，基于英特尔Gaudi2 AI加速器，新华三正与英特尔合作，开发适合大模型训练和推理的高性能AI服务器。
同时，超聚变数字技术有限公司算力基础设施领域总裁唐启明指出，超聚变将与英特尔，共同推出基于Gaudi2的全新产品与解决方案。
此前，英特尔中国区董事长王锐在接受《科创板日报》记者采访时指出，ChatGPT浪潮带来计算需求的大幅度提升，目前正与包括百度、阿里等在内的中国的客户开展共同研究。王锐透露，不管是高性能的计算还是分布式的计算，都已经进行了布局。
一位英特尔技术专家《科创板日报》记者分享了英特尔在大模型领域的布局情况。在训练层面，针对CPU、GPU、IPU、Habana等异构计算，英特尔用oneAPI以及XPU平台来提供更多的选择。在推理方面，第四代Sapphire Rapids发布后，基于AMX加速器，可在行业中解决80%以上的客户推理需求。同时，也充分利用CPU，包括用于训练的Ponte Vecchio，和用于推理的Arctic Sound等。
伴随着大模型的热潮，云计算的商业模式正朝着MaaS（模型即服务）的方向演进，其所带来的算力需求也值得关注。
“它的理念是利用预训练模型，对行业数据进行训练，从而形成针对特定场景的、面向各行业的细分模型。我们知道通用模型的参数量非常大，例如GPT-3可达到1750亿，部署这些模型会比较麻烦，因此，可能需要对大模型进行蒸馏和压缩，形成行业可部署的模型。”上述技术专家称。
此外，把大模型进行私有化部署是不少行业的潜在需求。“很多细分行业不接受SaaS服务，尤其金融等行业。因此，英特尔正在探讨如何把这个模型小型化之后，在本土落地做私有化部署，使其真正在行业落地。”
(责任编辑：娱乐)