PrismML drückt ein 27-Milliarden-Modell auf 5,9 Gigabyte

PrismML hat am 17. September Ternary Bonsai 2 27B veröffentlicht, eine komprimierte Fassung von Alibabas offenem Qwen3.8 27B. Statt 16 Bit pro Gewicht speichert das Modell nur noch die drei Werte minus eins, null und plus eins, mit einer Skalierung je Gruppe. Das ergibt 1,76 effektive Bit pro Gewicht und ein Modell von 5,9 Gigabyte, mehr als neunmal kleiner als das Original. Kontextfenster 262.000 Token, Text- und Bildeingabe, Lizenz Apache 2.0.

Die entscheidende Zahl ist der Verlust. PrismML gibt an, 98,2 Prozent der aggregierten Benchmark-Leistung des unkomprimierten Modells zu halten, 83,9 gegenüber 85,4 Punkten. Am stärksten gibt das Modell bei Wissen, Vision und Werkzeugnutzung nach, bei Anweisungsbefolgung liegt es sogar leicht vorn. Alle diese Werte stammen aus dem eigenen Whitepaper.

Wichtig für die Einordnung: Das ist kein kleines Modell im Sinne von Gemma, Qwen oder Phi. Die erreichen ihre Größe, indem sie von vornherein weniger Parameter trainieren. PrismML behält alle 27 Milliarden und schrumpft stattdessen jedes einzelne Gewicht. Die Basis ist dabei selbst ein Mitglied der Qwen-Familie, das Startup schlägt Qwen also nicht, es faltet Qwen zusammen.

Auf der Hardware-Seite nennt das Unternehmen 143 Token pro Sekunde auf einer RTX 5090 und 46,8 auf einem M5 Max, dazu 0,714 Milliwattstunden pro Token auf einer RTX 4090. Ausgeführt wird über CUDA auf Nvidia-Karten und über MLX auf Mac, iPhone und iPad. Das passt zur Richtung, in die auch Qualcomm mit seiner umgebauten Hexagon-NPU zielt und DeepSeek mit dem geschrumpften KV-Cache: Der Engpass lokaler KI ist der Speicher, nicht die Rechenkraft.

Hinter PrismML stehen Caltech-Forscher um Babak Hassibi, einen Kompressionsspezialisten, beraten von Databricks-Mitgründer Ion Stoica. Finanziert ist das Ganze mit einer Seed-Runde über 22,25 Millionen Dollar; bei den Geldgebern weichen die Angaben ab. TechCrunch nennt Khosla Ventures, Cerberus Capital und Caltech, PrismML selbst führt Khosla, Cerberus und Google auf, dazu anhaltende Unterstützung von Samsung. Über angebliche Gespräche mit Apple wollte Hassibi nichts sagen.

Als Nächstes sollen Modelle im Bereich mehrerer hundert Milliarden Parameter folgen, dort sei mehr Spielraum zum Komprimieren. Bis jemand außerhalb des Unternehmens nachgemessen hat, bleibt der Satz stehen, den ein Startup in dieser Lage immer sagt: Es funktioniert, und zwar fast verlustfrei.