Nvidia gibt Nemotron 3.5 Lightning frei

Nvidia hat am 11. August Nemotron 3.5 Lightning veröffentlicht, ein offenes Mixture-of-Experts-Modell mit 30 Milliarden Parametern, von denen pro Token nur 3 Milliarden aktiv sind. Es entstand durch Destillation aus dem größeren Nemotron 3 Ultra.

Nvidia beziffert die Ausgabegeschwindigkeit auf bis zum Vierfachen vergleichbar großer Modelle, Agenten-Aufgaben sollen rund 30 Prozent schneller erledigt sein als bei Modellen derselben Klasse. Zielgruppe sind dauerhaft laufende Agenten mit hohem Anfragevolumen und niedriger Latenz.

Praktisch heißt „läuft auf einer einzelnen GPU“: kein Cluster, kein Rechenzentrum, keine Mietrechnung pro Anfrage. Weil nur ein Zehntel der Parameter je Token arbeitet, passt das Modell auf eine Karte in einer Workstation oder einem Server im eigenen Haus. Für Kanzleien und Unternehmen, die aus Datenschutzgründen nichts nach außen geben dürfen, ist genau das der Unterschied zwischen Prototyp und Betrieb.

Die Gewichte gibt es kostenlos auch für kommerzielle Nutzung, ohne Genehmigung und ohne Lizenzgebühr, über Hugging Face, ModelScope, OpenRouter und Nvidias eigene Build-Plattform. Parallel erschien NeMo Switchyard, eine quelloffene Routing-Bibliothek, die Agenten-Anfragen an das jeweils effizienteste Modell weiterreicht.

Es ist Nvidias erste Open-Source-Modellveröffentlichung, seit sich Firmenchef Jensen Huang im Vormonat öffentlich für Open-Weight-Modelle ausgesprochen hat. Wie offene Gewichte regulatorisch behandelt werden, ist Gegenstand des US-Prüfrahmens für Frontier-Modelle.

Einen Tag zuvor hatte Meta mit Muse Glimmer ein Modell derselben Größenordnung und mit demselben Zuschnitt veröffentlicht. Zwei offene 30-Milliarden-Agentenmodelle binnen 24 Stunden, beide für eine einzelne Karte gebaut.

Wer die Gewichte verschenkt, verkauft etwas anderes. Bei Nvidia ist das die Hardware, auf der sie laufen sollen.