المدونة

أحدث المقالات حول الذكاء الاصطناعي والتقنية وتطوير البرمجيات.
من المطالبة إلى التنبؤ: فهم Prefill و Decode وذاكرة KV
الذكاء الاصطناعيالأجهزة

من المطالبة إلى التنبؤ: فهم Prefill و Decode وذاكرة KV

هذه المقالة تتناول موضوعات التكنولوجيا والذكاء الاصطناعي. This article is divided into three parts; they are: • How Attention Works During Prefill • The Decode Phase of LLM Inference • KV Cache: How to Make Decode More Efficient Consider the prompt: Today’s

ML Mastery
ML Mastery