Nvidia startet Groq 3 LPU-Racks für schnellere, effizientere KI-Inferenz, Versand Ende 2026. Nvidia launches Groq 3 LPU racks for faster, more efficient AI inference, shipping late 2026.

Nvidia hat die Groq 3 Language Processing Unit (LPU) und damit verbundene LPX-Server-Racks ins Leben gerufen und die Groq®s-Technologie in seine Vera Rubin-Plattform integriert, um die KI-Inferenzgeschwindigkeit und -Effizienz zu erhöhen. Nvidia has launched the Groq 3 Language Processing Unit (LPU) and associated LPX server racks, integrating Groq’s technology into its Vera Rubin platform to boost AI inference speed and efficiency. Das System mit 256 LPUs pro Rack liefert bis zu 1.500 Token pro Sekunde mit 35-mal höherem Durchsatz pro Watt und zielt auf Billionen-Parameter-Modelle und agentische KI-Workloads ab. The system, featuring 256 LPUs per rack, delivers up to 1,500 tokens per second with 35 times higher throughput per watt, targeting trillion-parameter models and agentic AI workloads. Die Plattform wurde entwickelt, um Nvidias Rubin GPUs und Vera CPUs zu ergänzen und zielt darauf ab, Latenz und Stromverbrauch zu reduzieren und gleichzeitig einen höheren Umsatz pro Million Token zu ermöglichen. Designed to complement Nvidia’s Rubin GPUs and Vera CPUs, the platform aims to reduce latency and power use while enabling higher revenue per million tokens. Die Groq 3 LPX-Racks werden voraussichtlich Ende 2026 ausgeliefert, wobei Nvidia auch die Open-Source-Softwareplattform Dynamo 1.0 einführt, um die großflächige KI-Inferenz zu rationalisieren. The Groq 3 LPX racks are expected to ship in late 2026, with Nvidia also introducing the open-source Dynamo 1.0 software platform to streamline large-scale AI inference. Der Umzug markiert einen strategischen Wandel hin zu spezialisierter Inferenz-Hardware inmitten wachsender Konkurrenz und steigender Nachfrage von Hyperscalern und AI-Dienstleistern. The move marks a strategic shift toward specialized inference hardware amid growing competition and rising demand from hyperscalers and AI service providers.