
Speculative Decoding: Der Inference-Trick, der LLMs 3x schneller macht – ohne Qualitätseinbußen
Speculative Decoding senkt die Latenz von LLM-Inference um das 2- bis 3-fache, indem ein kleines Draft Model Token vorschlägt, die ein großes Target Model parallel verifiziert. Die Output-Verteilung ist mathematisch identisch mit der des Target Models allein – hier erfahren Sie, wie es in der Produktion funktioniert und wohin die Reise geht.







