PrismML passt ein 27-Milliarden-Parameter-AI-Modell in 3,9 GB — klein genug für ein iPhone

PrismML hat Bonsai 27B veröffentlicht, ein Modell basierend auf Qwen3.6 27B, das laut Unternehmen das erste AI mit 27 Milliarden Parametern ist, das bequem auf ein Smartphone passt. Dies wird durch extreme Gewichtsquantisierung erreicht: Statt jeden Parameter als 16-Bit-Float zu speichern, verwendet Bonsai 27B binäre {−1, +1}-Gewichte – nur ein Bit pro Parameter – um ein Modell, das sonst 54 GB Speicher belegen würde, auf 3,9 GB zu komprimieren, klein genug, um innerhalb des Speicherbudgets eines iPhone 17 Pro zu laufen.

Bislang lag die 27B-Parameter-Klasse fest im Laptop- oder Server-Bereich. Selbst aggressive 4-Bit-Quantisierung eines 27B-Modells ergibt rund 18 GB – zu groß für jedes aktuelle Smartphone. Der Ansatz von PrismML treibt die Kompression viel weiter, ohne katastrophalen Qualitätsverlust, und baut auf Techniken auf, die das Unternehmen bereits mit früheren 1-Bit- und ternären Veröffentlichungen in kleineren Maßstäben demonstriert hat.

Zwei Varianten, zwei Anwendungsfälle

Bonsai 27B wird in zwei Konfigurationen angeboten:

• Ternary Bonsai 27B (5,9 GB): Verwendet ternäre Gewichte {−1, 0, +1} mit 1,71 effektiven Bits pro Gewicht. Dies ist die qualitätsorientierte Variante und richtet sich an Alltags-Laptops. Sie behält 95 % der Vollpräzisionsleistung in PrismMLs 15-Benchmark-Suite.
• 1-Bit Bonsai 27B (3,9 GB): Verwendet binäre {−1, +1}-Gewichte mit 1,125 effektiven Bits pro Gewicht. Diese Variante richtet sich an Smartphones und passt in das Speicherbudget des iPhone 17 Pro, wobei 90 % der Vollpräzisionsleistung erhalten bleiben.

Beide Varianten bieten multimodale Unterstützung, wobei der Vision Tower in einer kompakten 4-Bit-Form geliefert wird. Sie verfügen über ein volles 262K-Token-Kontextfenster, unterstützen Speculative Decoding für schnellere Inferenz und bewältigen mehrstufige Tool Calls und agentische Schleifen – also die Art von dauerhaften Workloads, bei denen On-Device-Modelle in der Vergangenheit oft gescheitert sind.

Die Benchmark-Übersicht

PrismML hat beide Varianten in 15 Tests im Denkmodus benchmarked. Mathematik- und Codierungsergebnisse sind nahezu unbeeinträchtigt: Das ternäre Modell erreicht 93,4 in Mathe gegenüber dem Basiswert von 95,3, das 1-Bit-Modell hält 91,7. Tool-Calling und agentische Aufgaben zeigen mehr Kompressionseinfluss – das 1-Bit-Modell erzielt 66,0 gegenüber dem Basiswert von 80,0 – aber PrismML stellt fest, dass diese dennoch konventionelle 4-Bit-Builds des gleichen Basismodells übertreffen, während sie 2,5-mal weniger Speicher belegen.

Das Unternehmen bezeichnet dies als „Intelligenzdichte“ – Leistung pro Gigabyte – wobei das 1-Bit Bonsai 27B 0,53 pro GB erreicht, etwa das 10-Fache der Vollpräzisionsbasislinie und das 2,7-Fache der besten konventionellen Low-Bit-Alternative.

Warum dies für agentische KI wichtig ist

Der praktische Nutzen: Aufgaben, die ein leistungsfähiges Reasoning-Modell erfordern – Dokumentenanalyse, strukturierte Datenextraktion, mehrstufige Codegenerierung – können jetzt vollständig auf dem Gerät ausgeführt werden, ohne dass Daten an eine Cloud-API gesendet werden müssen. Das ist wichtig für datenschutzsensible Workflows, latenzkritische Anwendungen und jedes Szenario mit unzuverlässiger Netzwerkanbindung.

Bonsai 27B ist ab sofort unter der Apache-2.0-Lizenz verfügbar und damit kostenlos für die kommerzielle Nutzung. Wie PrismML berichtet, ist dies ein Meilenstein im fortwährenden Bestreben, Large-Model-Fähigkeiten ohne Cloud-Infrastruktur verfügbar zu machen.