Thinking Machines veröffentlicht Inkling Small – Flaggschiff-Niveau mit einem Viertel der Rechenleistung

Thinking Machines Lab, das KI-Start-up der früheren OpenAI-Technologiechefin Mira Murati, hat am Mittwoch Inkling-Small veröffentlicht – ein Open-Source-Modell mit 276 Milliarden Parametern, das im Artificial Analysis Intelligence Index nur einen Punkt hinter seinem 975-Milliarden-Parameter-Vorgänger liegt und dabei nur 12 Milliarden aktive Parameter pro Token benötigt.

Die Veröffentlichung erfolgt nur zwei Wochen nach dem Debüt von Inkling. Damit ist Thinking Machines eines der schnellsten Labs, das eine effiziente Variante eines Flaggschiff-Modells mit nahezu identischer Leistung auf den Markt bringt. Inkling-Small verwendet eine Mixture-of-Experts-Architektur (MoE) – bei jedem Forward Pass wird nur eine Teilmenge der insgesamt 276 Milliarden Parameter aktiviert, was Rechenkosten und Inferenzlatenz reduziert, ohne den vollen Leistungsverlust eines tatsächlich kleineren dichten Modells in Kauf zu nehmen.

Was Inkling Small kann

Das Modell verarbeitet Text-, Bild- und Audio-Eingaben und erzeugt Textausgaben. Es unterstützt ein Kontextfenster von bis zu einer Million Tokens – wie Inkling – und bietet denselben Mechanismus für variablen Denkaufwand, mit dem Entwickler Antwortgeschwindigkeit gegen Reasoning-Tiefe abwägen können. Inkling-Small wurde auf NVIDIA-GB300-NVL72-Systemen trainiert und schneidet bei Terminal-Bench 2.1 (agentischer Tool-Einsatz), HLE (Reasoning) und IFBench (Instruktionsbefolgung) im Vergleich zu anderen Open-Weight-Modellen mit 12 Milliarden aktiven Parametern wettbewerbsfähig ab.

Die vollständigen Gewichte sind unter einer Apache-2.0-Lizenz auf Hugging Face verfügbar, die kommerzielle Nutzung, Modifikation und Weiterverteilung ohne Lizenzgebühren erlaubt. Thinking Machines hat außerdem Fine-Tuning-Support über die Tinker API ergänzt und gewährt zum Start über die Tinker-Playground-Oberfläche 50 Prozent Rabatt auf die API-Nutzung.

Warum Unternehmen aufhorchen sollten

Das ursprüngliche Inkling mit 975 Milliarden Gesamtparametern (41 Milliarden aktive) erfordert eine ernsthafte GPU-Infrastruktur. Inkling-Small senkt die Zahl aktiver Parameter auf 12 Milliarden pro Token – eine Reduzierung des Rechenaufwands pro Inferenz um 70 Prozent – und bewahrt dabei einen Großteil der Coding-, Reasoning- und Multimodal-Leistung des Flaggschiffs. Das Modell ist für eine Consumer-Workstation immer noch zu groß, liegt für Unternehmen mit etwas GPU-Kapazität aber durchaus in greifbarer Nähe, ohne dass Hyperscale-Infrastruktur nötig ist.

Die geschrumpfte Lücke zwischen 975 und 276 Milliarden Parametern bei nahezu unveränderten Benchmark-Ergebnissen signalisiert zudem einen breiteren Effizienztrend in der KI-Entwicklung: Labs belegen zunehmend, dass MoE-Architekturen Flaggschiff-Fähigkeiten zu deutlich geringeren Serving-Kosten liefern können. Diese Dynamik setzt sowohl Anbieter proprietärer APIs als auch andere Open-Weight-Labs unter Druck. Thinking Machines wurde Anfang 2025 von Murati nach ihrem Weggang von OpenAI gegründet und hat beträchtliches Venture-Capital eingesammelt.