Computer Forum
Gaudi3 stellt ein bedeutendes Upgrade gegenüber seinem Vorgänger Gaudi2 dar und verfügt über 64 Tensor-Kerne der fünften Generation, was eine erhebliche Steigerung gegenüber den 24 Tensor-Kernen von Gaudi2 darstellt. Ermöglicht wird dieses Upgrade durch die Kombination von zwei Chips mit jeweils 32 Tensor-Kernen und 48 MB SRAM-Speicher, was zu einer Gesamtkapazität von 96 MB SRAM pro Gehäuse und einer beeindruckenden Bandbreite von 12,8 TB/s führt. Darüber hinaus erweitert Gaudi3 seine Speicherkapazitäten mit 128 GB HBM2w-Speicher und bietet damit eine schnellere Gesamtbandbreite von 3,7 TB/s, eine Verbesserung gegenüber den 96 GB und 2,45 TB/s von Gaudi2.
Intels Design für die Gaudi3 umfasst auch ein PCIe-Formfaktor-Design (HL-388), das die PCI Express 5.0-Schnittstelle nutzt und eine TDP von 450 bis 600 Watt aufweist. Eine OAM-Version (HL-328/325L/335) mit einer TDP von 450 bis 900 W für luftgekühlte bzw. wassergekühlte Server-Editionen ist ebenfalls Teil der Produktpalette.
Intels Ziel ist es, mit der Gaudi3 die Marktdominanz von NVIDIA herauszufordern. Das Unternehmen behauptet, dass Gaudi3 im Vergleich zu NVIDIAs H100 eine bis zu 1,7-mal schnellere Trainingsgeschwindigkeit bietet, je nachdem, welches Large Language Model verwendet wird. Die Inferenzgeschwindigkeit variiert - manchmal ist sie etwas niedriger oder bis zu 70 % höher als bei NVIDIAs H100 - und die Energieeffizienz von Gaudi3 ist 1,2 bis 2,3 Mal höher.
Intel plant, die ersten Gaudi3-Samples in der ersten Jahreshälfte 2024 an seine Partner zu liefern, wobei eine breitere Verteilung in der zweiten Jahreshälfte erwartet wird. Obwohl noch keine Benchmarks von Drittanbietern verfügbar sind, um Intels Behauptungen unabhängig zu überprüfen, ist die Tech-Community gespannt darauf, wie Gaudi3 im Vergleich zu NVIDIAs Angeboten und AMDs Instinct-Beschleunigern in realen Anwendungen abschneidet.
