智东西圣何塞3月18日报道,正在扩展AI底子举措国界这件事上,英伟达仍然是Next Level了。
一年一度的“AI界春晚”英伟达GTC大会本周广泛开张,今日,面向AI期间的新型底子举措,英伟达揭晓两款新品,一款聚焦收集,推光电一体化封装收集互换机,为更大范畴的AI工场铺途,一款聚焦企业存储,修筑AI数据平台,旨正在提升AI智能体使命流程的功能和凿凿性。
英伟达将超大范畴新型数据核心界说为AI工场。跟着AI工场范畴赓续扩充,AI收集底子举措也需求迭代升级,而将硅光直接集成到互换机中是一项行之有用的战术。
数据是AI期间的原资料。英伟达通过与环球当先的存储企业互帮,打造正在羼杂数据核心安顿和扩展AI智能体所需的新型企业底子举措,来更高效地发掘存储正在企业体例中的数据价钱。
英伟达今日公告推出光电一体化封装收集互换机NVIDIA Spectrum-X Photonics和Quantum-X,使AI工场可以跨区域接连数百万GPU级别,同时大幅低重能耗和运营本钱。
每端口1.6Tb/s的英伟达硅光互换机,立异地集成了光器件,激光器数目裁减至1/4,与古代门径比拟,能源成果提升到3.5倍,信号完备性提升到63倍,大范畴组网牢靠性提升到10倍,安顿速率提升到1.3倍。
与古代以太网比拟,Spectrum-X以太网收集平台可为多租户、超大范畴AI工场供应优越的功能和1.6倍的带宽密度。
NVIDIA Quantum-X光互换机供应144个基于200Gb/s SerDes的800Gb/s InfiniBand端口,并采用液冷安排对板载硅光器件实行高效散热。其AI筹算网的速率是上一代产物的2倍,扩展性是上一代产物的5倍。
正在英伟达创始人兼CEO黄仁勋GTC大旨演讲功夫播放的视频中,Quantum-X光互换机的带宽到达115.2Tb/s。
324个光学接连器串联起这一体例,一共有36个激光输入和288个数据接连,内置光纤统治功效。
每个硅光芯片引擎具有200GB/s的微光调造器,总模糊量为1.6Tb/s,可达成3.5倍节能。
台积电董事长兼CEO魏哲家分享说,台积电的硅光管理计划连接了其进步的芯片工艺和台积电SoIC 3D芯片封装的上风,帮帮英伟达足够阐述AI工场的才略,帮力AI工场扩展到100万块GPU乃至更多。
英伟达光时间将饱舞新一代进步AI工场的大范畴延长,并和Coherent、Eoptolink、Fabrinet、Innolight等业界当先企业的可插拔光模块时间联合饱舞这一开展。
英伟达今日还推出了NVIDIA AI数据平台,这是一项可自界说的参考安排,可被存储供应商用于修筑搭载专用AI查问智能体的全新AI底子举措,餍足AI推理使命负载的苛苛条件。
这些AI智能体行使英伟达加快筹算、收集、软件,针对庞杂查问实行推理并迅速天生凿凿相应,可帮力企业操纵NVIDIA AI Enterprise软件平台(搜罗全新英伟达Llama Nemotron推理模子的NVIDIA NIM微供职)以及全新的NVIDIA AI-Q远景,近乎及时地天生数据洞察。
AI数据平台存储底子举措行使英伟达AI-Q远景开辟,可实行推理并接连企业数据的AI智能体体例,可以将专有企业学问(搜罗内部文档、客户记载、特定范畴的音信)无缝集成到AI使命流中,供应更凿凿、更贴合景色的相应。
它可能迅速拜候海量数据并统治百般数据,搜罗有多个根源的构造化、半构造化和非构造化数据,搜罗文本、PDF、图像、视频。
AI数据平台的重心功效是相当于一个智能AI途由器,通过高速、低延迟收集实行负载平均和互换提示和键值(KV)缓存,以提升推理速率和凿凿性。
AI数据平台优化了GPU、节点和大讲话模子内存统治之间的AI使命负载分派,行使智能途由、负载平均、高级缓存来加快数据统治,并达成可扩展的庞杂AI使命流程,所以AI智能体可能更高效、更低延迟地分解和统治大方交易学问。
英伟达Blackwell GPU、BlueField DPU、Spectrum-X收集组合正在沿途供应了一款加快引擎,可加快AI查问智能体拜候存储正在企业体例中的数据。
BlueField DPU的功能比基于CPU的存储功能擢升最高可达1.6倍,而功耗又比其低重可达 50%,每瓦功能提升3倍以上。与古代以太网比拟,Spectrum-X通过采用动态途由和优化的堵塞限造,可将AI存储流量提速最高达48%。
DDN、戴尔、HPE、日立、IBM、NetApp、Nutanix、Pure Storage、VAST Data、WEKA等当先数据平台和存储供应商均选取与英伟达互帮,打造可定造化的AI数据平台,足够使用企业数据实行推理并相应庞杂查问。
英伟达认证的存储互帮伙伴正与英伟达联合打造定造化AI数据平台。经英伟达认证的存储供应商安插从本月开端供应应用NVIDIA AI数据平台修筑的管理计划。
从面向收集和存储的两项揭晓,可能看出英伟达对AI底子举措趋向的多点构造和精准卡位。英伟达多年打磨的足够收集产物组合,使其正在加快AI智能体接连数据的生态中吞噬核心位。
对共封装光学时间的构造则更是意正在好久,表面上大范畴达成硅光通讯的交融正在俭省能耗和本钱方面的上风明显,但是这项前沿时间正在现实落地中的成熟度再有待验证,业界也仍正在索求怎么以更低本钱和更高牢靠性创造相应的光学器件。
方今擢升AI功能和成果的闭节成分已远远超越算力范围。英伟达的前瞻构造正使之连续扩充正在AI底子举措的当先上风,与笔直行业龙头企业的互帮又进一步加深了其护城河。