مهندسی context جای مهندسی Prompt رو گرفته

اشتراک‌گذاری:
مهندسی context جای مهندسی Prompt رو گرفته

در واقع، Prompt engineering هیچ‌وقت درباره‌ی پیدا کردن کلمات جادویی نبود. درباره‌ی این بود که به مدل اطلاعات کافی و مرتبط بدی — در قالبی که بتونه ازش استفاده کنه — تا یه جواب خوب بده. این تفاوت وقتی کار فقط یه مبادله‌ی تک سوال-و-جواب بود، اهمیت چندانی نداشت. ولی الان که بیشتر سیستم‌های AI عملیاتی ایجنت هستن — حلقه‌هایی که ابزار فراخوانی می‌کنن، نتایج می‌خونن، اسناد بازیابی می‌کنن و وضعیت رو در ده‌ها مرحله نگه می‌دارن — اهمیتش خیلی بیشتر شده.

مهارتی که تعیین می‌کنه این سیستم‌ها کار می‌کنن یا نه، دیگه نحوه‌ی نوشتن Prompt نیست. این مهارت، context engineering هست — یعنی اینکه تصمیم بگیری در هر مرحله چی وارد پنجره‌ی context مدل بشه، چطور ساختاربندی بشه و کِی حذف بشه. تیم‌هایی که این رو جدی نمی‌گیرن، ایجنت‌هایی می‌سازن که گرون، کند و پر از خطان — به شکلی که پیدا کردن دلیل اشتباهاتشون خیلی سخته.

چرا Prompt engineering دیگه کافی نیست

یه Prompt خوب و حساب‌شده فرض می‌کنه که مدل از قبل هر چیزی که برای جواب دادن نیاز داره رو داره. ولی جریان‌های کاری ایجنتی این‌طوری کار نمی‌کنن. یه ایجنت که داره یه مشکل در سیستم عملیاتی رو اشکال‌زدایی می‌کنه، ممکنه قبل از نوشتن اولین کلمه از جوابش، بخش‌هایی از لاگ‌ها، یه راهنمای عملیاتی، سه مکالمه‌ی مرتبط از Slack و خروجی دو تا فراخوانی ابزار رو وارد کنه. هیچ‌کدوم از اینا "Prompt" به معنای ۲۰۲۳ش نیستن. این یه بودجه‌ی context هست، و هر Token توش یه تصمیم هست.

پنجره‌های context بزرگ‌تر اوضاع رو اول بدتر کردن، بعد بهتر. وقتی مدل‌های دوره‌ی GPT-4 حدود ۳۲ هزار Token سقف داشتن، تیم‌ها مجبور بودن انتخابگر باشن. پنجره‌های context با میلیون Token این محدودیت رو برداشتن، و واکنش ساده‌انگارانه — یعنی ریختن همه چیز مرتبط توش و رها کردن مدل تا خودش مرتبشون کنه — نتیجه‌اش افت عملکرد بود. تحقیقات روی بازیابی در context بلند به‌طور مداوم نشون می‌ده که مدل‌ها به همه‌ی یه context بزرگ به یه اندازه توجه نمی‌کنن — معمولاً اطلاعات نزدیک ابتدا یا انتها رو ترجیح می‌دن و دقتشون روی حقایقی که وسط گیر افتادن پایین میاد. Token بیشتر یعنی سیگنال بیشتر نیست. اغلب یعنی نویز بیشتر با یه هزینه‌ی API گران‌تر.

چهار وظیفه‌ی context engineering

در عمل، context engineering به چهار مشکل جداگانه تقسیم می‌شه، و بیشتر شکست‌های ایجنت‌ها ریشه‌شون به اشتباه در یکی از همین‌ها برمی‌گرده.

انتخاب برای بازیابی

تصمیم‌گیری درباره‌ی اینکه اصلاً چی وارد context بشه. این کاریه که pipeline های RAG برای اون ساخته شدن، ولی کیفیت انتخاب از recall بازیابی مهم‌تره. برگردوندن ۲۰ تا بخش که از نظر معنایی شبیه‌ترن، با برگردوندن ۵ تایی که واقعاً به سوال جواب می‌دن یکی نیست. تیم‌هایی که recall را به precision ترجیح می‌دن، برمی‌گردن سراغ همون تله‌ی «همه چیز رو بریز توش» — با این فرق که این بار به جای آدم، یه مدل embedding داره این کارو می‌کنه.

فشرده‌سازی

خروجی خام ابزارها، فایل‌های لاگ، و بخش‌هایی از اسناد معمولاً به شکلی نیستن که بشه عین‌شون رو فرستاد. یه stack trace ۴۰۰ خطی معمولاً به سه خط مرتبط و یه خلاصه فشرده می‌شه، بدون اینکه چیزی که مدل بهش نیاز داره از دست بره. فشرده‌سازی جاییه که بیشترین صرفه‌جویی در هزینه‌ی توکن در سیستم‌های ایجنت در محیط تولید اتفاق می‌افته، و در عین حال همین‌جاست که خلاصه‌سازیِ سرسری می‌تونه بی‌سروصدا اون یه جزئیاتی رو که اهمیت داشت پاک کنه.

ساختار و ترتیب

جایی که اطلاعات توی context نشسته، روی اینکه مدل ازشون درست استفاده کنه یا نه تأثیر مستقیم داره. قرار دادن محدودیت‌ها و دستورالعمل‌ها درست قبل از مرحله‌ی تولید متن، به جای اینکه توی اول یه system prompt طولانی دفن بشن، پیروی از دستورالعمل رو در تنظیمات context طولانی به شکل قابل اندازه‌گیری بهتر می‌کنه. ترتیب صرفاً یه تصمیم ظاهری نیست — نقش سازه‌ای داره.

نوشتن در حافظه‌ی دائمی

ایجنت‌هایی که بیشتر از یه نوبت اجرا می‌شن به یه سیاست نیاز دارن که مشخص کنه چه چیزی توی حافظه‌ی دائمی ذخیره بشه و چه چیزی موقتی بمونه توی context فعلی. اگه همه چیز رو بنویسی، حافظه تبدیل به یه انبار دوم می‌شه با همون مشکل نویز. اگه هیچی ننویسی، ایجنت هر جلسه همون اطلاعات رو از نو استخراج می‌کنه و توکن و زمان پاسخ رو هدر می‌ده تا دوباره همون‌ها رو کشف کنه.

تیم‌ها کجا اشتباه می‌کنن

رایج‌ترین اشتباه اینه که context رو رایگان فرض می‌کنن. ولی نیست. هر سند اضافی توی پنجره context به تأخیر و هزینه اضافه می‌کنه، و وقتی تراکم از یه حدی رد بشه، کیفیت پاسخ‌ها به شکل قابل اندازه‌گیری پایین میاد — که بهش «context rot» یا پوسیدگیِ context می‌گن. دومین اشتباه رایج، ساخت استاتیک context هست: یه pipeline برای ساخت context می‌زنن و از همون برای هر کوئری استفاده می‌کنن، صرف‌نظر از اینکه تسک به سه سند نیاز داره یا سی‌تا. سومی هم اینه که سیاست تخلیه (eviction policy) رو کلاً کنار می‌ذارن، در نتیجه یه جلسه‌ی طولانیِ ایجنت خروجی ابزارها رو انباشته می‌کنه تا جایی که پنجره context پر می‌شه از داربست‌های باقی‌مانده از مراحلی که ایجنت دیگه بهشون نیاز نداره.

توی یه سیستم واقعی چطوره

تیم‌هایی که این رو درست انجام می‌دن معمولاً یه بودجه‌ی مشخص context برای هر مرحله دارن: یه سقف توکن برای اسناد بازیابی‌شده، یه سقف جداگانه برای خروجی ابزارها، و یه سهمیه‌ی رزروشده برای دستورالعمل‌ها و نوبت‌های اخیر مکالمه که هیچ‌وقت از context بیرون نمی‌ره. اونا لاگ می‌کنن که توی context چی بوده وقتی ایجنت یه جواب بد داد، درست مثل لاگ کردن یه stack trace، چون ترکیب context الان یه سطح اصلی برای debugging هست، نه یه جزئیات پیاده‌سازی.

نکات کلیدی

  • دیگه فقط روی جمله‌بندی پرامپت به‌تنهایی کار نکن. بررسی کن در هر مرحله از اجرای ایجنتت دقیقاً چه چیزی وارد context window می‌شه، و بسنج که مدل چقدر از اون‌ها رو واقعاً استفاده می‌کنه.
  • دقتِ بازیابی اطلاعات رو مهم‌تر از جامعیتش بدون. برگردوندن نتایج کمتر ولی مرتبط‌تر خیلی بهتره از اینکه نتایج زیادی برگردونی و امیدوار باشی مدل فیلترشون کنه.
  • یه مرحله‌ی فشرده‌سازی برای خروجی ابزارها و لاگ‌ها بساز، پیش از اینکه وارد context window بشن. صبر نکن تا بررسی هزینه‌ها مصرف بالای توکن رو به‌عنوان مشکل علامت بزنه.
  • دستورالعمل‌ها و محدودیت‌های تسک رو نزدیک به نقطه‌ی تولید متن بذار، نه اینکه دفنشون کنی توی اول یه system prompt طولانی — خصوصاً وقتی که context از چند هزار توکن رد می‌شه.
  • به جای اینکه به پیش‌فرضِ «همه‌چیز رو نگه دار» یا «همه‌چیز رو بین هر نوبت دور بنداز» بیفتی، یه سیاست مشخصی برای بازنویسی حافظه تعریف کن.
اشتراک‌گذاری:
مهندسی context جای مهندسی Prompt رو گرفته | AIO APEX