Hohe Leistung mit P-Cores
Intels KI-Beschleuniger Gaudi 3 ist bei Boston erhältlich. Der Beschleuniger bietet fortschrittliche KI-Funktionen für Unternehmen und KI-Entwickler.
Mit dieser Version positioniert sich Gaudi 3 als wettbewerbsfähige Alternative zu NVIDIA-GPUs, die sich bei Deep Learning, generativer KI und High-Performance-Computing (HPC)-Workloads auszeichnet.
Die Gaudi 3-Plattform wurde entwickelt, um eine höhere Effizienz, Leistung und Skalierbarkeit zu bieten, damit sie den ständig wachsenden Anforderungen von KI- und Rechenzentrums-Workloads gerecht wird.
Hauptmerkmale von Gaudi 3
Der Intel Gaudi 3 Beschleuniger bietet im Vergleich zu seinem Vorgänger Gaudi 2 bemerkenswerte Leistungssteigerungen:
- 4x BF16 Rechenleistung,
- 2x Netzwerkbandbreite und
- 1,5x Speicherbandbreite.
Diese Verbesserungen führen zu schnelleren Trainingszeiten und erhöhtem Inferenzdurchsatz bei verschiedenen Modellen, einschließlich Llama 2 und GPT-3. Gaudi 3 soll bei diesen Modellen im Vergleich zu NVIDIAs H100 eine um bis zu 50 % kürzere Trainingszeit (TTT) ermöglichen.
Gaudi 3 zeichnet sich durch seine offene Architektur aus, die die proprietären Systeme der Wettbewerber vermeidet. Dies gibt Unternehmen die Flexibilität, Standard-Ethernet-Netzwerkgeräte zu integrieren und zu skalieren, anstatt sich auf proprietäre Fabrics zu beschränken.
Die skalierbare Architektur von Gaudi 3 ermöglicht eine Leistung von einem einzelnen Knoten bis hin zu Clustern mit 1.000 Knoten oder mehr. Jeder Accelerator ist mit 24×200 GbE-Ports ausgestattet und bietet umfangreiche Scale-up- und Scale-out-Funktionen.
Leistung und Skalierbarkeit
Gaudi 3 bietet erhebliche Leistungsverbesserungen, darunter ein durchschnittlich 50% schnelleres Training bei GPT-3 (175B)-Modellen und eine doppelt so schnelle Inferenz bei Llama-2-Modellen im Vergleich zu NVIDIA’s H100. Diese Beschleunigung bietet einen erheblichen Vorteil bei KI-Workloads wie großen Sprachmodellen (LLMs), bei denen Geschwindigkeit und Effizienz entscheidend sind.
Neben der überragenden Leistung ist die Kosteneffizienz von Gaudi 3 ein weiteres starkes Verkaufsargument. Unternehmen können im Vergleich zur NVIDIA H100 eine bis zu 2,3-fach bessere Leistung pro Dollar beim Inferenzdurchsatz und einen 1,9-fach besseren Trainingsdurchsatz erwarten. Die Effizienz der Gaudi 3 schlägt sich auch in niedrigeren Energiekosten nieder, mit einer 40-prozentigen Verbesserung der Energieeffizienz bei der Inferenzierung von Llama- und Falcon-Modellen.
Buchen Sie noch heute einen Test Drive!
