On-Device-KI-Modelle sind endlich gut genug, um den Umweg über die Cloud zu überspringen
Die meiste Zeit der letzten drei Jahre bedeutete „KI auf dem Smartphone“ einen schlanken Client, der Ihre Stimme, Ihre Fotos oder Ihre Eingaben an ein Rechenzentrum sendete und auf eine Antwort wartete. Das ändert sich, und der Grund ist kein bahnbrechendes Modell — sondern die wenig glamouröse Arbeit, dass NPU-Hardware endlich das leistet, was On-Device-Modelle tatsächlich brauchen.
Qualcomms Snapdragon 8 Gen 3, inzwischen Standard in den meisten Android-Flaggschiffen von 2026, liefert über seine dedizierte NPU bis zu 26 TOPS (Tera Operations Per Second). Apples A17 Pro widmet mehr als 20 Milliarden Transistoren speziell den Neural-Engine-Kernen. Keine der beiden Zahlen sagt für sich genommen viel aus, aber der praktische Effekt ist konkret: Modelle, die früher eine Cloud-GPU brauchten, laufen jetzt lokal in Echtzeit, auf einem Smartphone, im Akkubetrieb.
Die Latenzlücke ist die ganze Geschichte
On-Device-Inferenz erzeugt heute Tokens in unter 20 Millisekunden. Ein Cloud-Roundtrip — Netzwerksprung zum Rechenzentrum, Warteschlange, Inferenz, Netzwerksprung zurück — dauert typischerweise 200 bis 500 Millisekunden. Das ist keine marginale Verbesserung; es ist der Unterschied zwischen einem Assistenten, der sich sofort anfühlt, und einem, bei dem man sich vorkommt, als warte man auf das Laden einer Webseite. Für Sprachassistenten, Live-Übersetzung und AR-Overlays, die in Echtzeit auf die Welt reagieren müssen, ist der Cloud-Roundtrip nicht nur langsamer — er disqualifiziert sich selbst.
Das ist ein wesentlicher Grund, warum Apples Siri-Überarbeitung in iOS 27, die am 14. September erschien, bei allem, was persönlichen Kontext oder Bildschirmwahrnehmung betrifft, so stark auf On-Device-Verarbeitung setzt. Zu lesen, was auf dem Bildschirm steht, und danach zu handeln, erfordert die Art von kontinuierlicher Low-Latency-Schleife, die eine Cloud-API einfach nicht ohne spürbare Verzögerung durchhalten kann — und Nutzer bemerken Verzögerungen sofort, auch wenn sie nicht erklären können, warum.
Datenschutz hört auf, ein Kompromiss zu sein
Der andere Effekt hat weniger mit Geschwindigkeit zu tun als damit, welche Daten das Gerät physisch verlassen. Wenn eine App für eine bestimmte Funktion keine Netzwerkberechtigung hat und das Modell vollständig auf dem Gerät läuft, können Anrufaudio, Kamerabilder oder Tastatureingaben das Smartphone schlicht nicht verlassen — kein „wir versprechen, es nicht zu protokollieren“, sondern eine strukturelle Garantie, die durch das Fehlen eines Netzwerkpfads erzwungen wird. Das ist eine deutlich andere Datenschutzhaltung als „vertrauen Sie unserer Datenaufbewahrungsrichtlinie“, und es ist etwas, das Regulierungsbehörden und datenschutzbewusste Nutzer tatsächlich überprüfen können, indem sie sich ansehen, welche Berechtigungen eine App anfordert.
Das wird umso wichtiger, je mehr sich On-Device-KI auf Anruftranskription, Gesundheitsdatenanalyse und Assistenten für Finanz-Apps ausweitet — Kategorien, in denen „Ihre Daten sind irgendwo auf einem Server gelandet“ historisch das größte Hindernis für die Akzeptanz war.
Wo die Grenze noch liegt
On-Device-Modelle ersetzen Cloud-KI nicht vollständig, und das wird noch eine Weile so bleiben. Speicher- und Rechenbudgets von NPUs können es noch nicht mit einem Rechenzentrums-GPU-Cluster aufnehmen, wenn es um große Kontextfenster, aufwendiges mehrstufiges Reasoning oder den Zugriff auf aktuelle externe Informationen geht. Die realistische Aufteilung, die sich 2026 im App-Design herausbildet, lautet: On-Device für alles, was latenzempfindlich, datenschutzsensibel oder offline-fähig ist (Transkription, Autovervollständigung, Bildklassifizierung, einfache Assistenten); Cloud für alles, was tiefes Reasoning, großen Kontext oder externe Echtzeitdaten erfordert (komplexe Recherche-Anfragen, agentische Multi-Tool-Workflows, alles, was die größten Frontier-Modelle benötigt).
Der Markt bewegt sich schnell, weil sich die Wirtschaftlichkeit in beide Richtungen auszahlt
Der Markt für On-Device-KI-Hardware soll von 10,6 Milliarden US-Dollar im Jahr 2025 auf 57,7 Milliarden US-Dollar bis 2033 wachsen — eine jährliche Wachstumsrate (CAGR) von 25,2 %. Dieses Wachstum wird nicht nur von der Nachfrage der Verbraucher getrieben. Jede Anfrage, die On-Device läuft, ist eine Anfrage, für die ein Unternehmen keine Cloud-GPU-Kosten zahlen muss. Für Unternehmen, die bei ihrer KI-Infrastrukturschuld Geld verbrennen, ist die Verlagerung der Inferenzkosten auf die Hardware der Nutzer eine direkte Margenverbesserung — nicht nur ein nettes UX-Detail.
Was das für Entwickler bedeutet
Wer eine mobile App mit einer KI-Funktion baut, für den hat sich die Rechnung geändert. Bevor Sie standardmäßig auf einen Cloud-API-Aufruf zurückgreifen, prüfen Sie, ob die Aufgabe in die Fähigkeiten eines On-Device-Modells passt — Apples Core ML und Googles ML Kit / AI Edge SDK sind 2026 beide deutlich gereift, und die Latenz- und Datenschutzvorteile sind real, kein Marketing. Bei allem, was datenschutzsensibel ist (Gesundheit, Finanzen, persönliche Kommunikation), erwarten Nutzer zunehmend On-Device-Verarbeitung als Standard, nicht als Premium-Funktion. Und für kostenbewusste Teams gilt: Jede Funktion, die Sie On-Device verlagern können, ist ein Rechenkostenposten, den Sie pro Anfrage dauerhaft nicht mehr zahlen.