«فرسایش زمینه» دلیل ضعیف‌تر شدن پاسخ‌های چت‌بات هوش مصنوعی در گفتگوهای طولانی است
یک سوال یکسان را دو بار از یک دستیار هوش مصنوعی در یک گفتگوی طولانی بپرسید — یک بار در ابتدای گفتگو و یک بار پس از یک ساعت رفت‌وبرگشت — و اغلب در بار دوم پاسخ ضعیف‌تری دریافت می‌کنید، با وجود آنکه چیزی در سوال تغییر نکرده و گفتگو حتی نزدیک به محدودیت زمینه اعلام‌شده مدل نیست. محققان این پدیده را «فرسایش زمینه» (context rot) می‌نامند: کاهش قابل‌اندازه‌گیری کیفیت خروجی مدل با افزایش حجم متن در پنجره زمینه، صرف‌نظر از اینکه آن متن واقعاً به کار مربوط باشد یا نه.
این موضوع اهمیت دارد چون کل تبلیغات مدل‌های هوش مصنوعی مدرن حول اندازه زمینه می‌چرخد. شرکت‌ها پنجره‌هایی با ۲۰۰ هزار، یک میلیون و حتی ۱۰ میلیون توکن تبلیغ می‌کنند و این‌طور نشان می‌دهند که بزرگ‌تر یعنی توانمندتر. فرسایش زمینه خلاف این را نشان می‌دهد: توانایی درون آن پنجره یکسان نیست و بخش زیادی از آن پیش از رسیدن به سقف از بین می‌رود.
تحقیقات واقعاً چه می‌گویند
واضح‌ترین نمونه از مطالعه سال ۲۰۲۵ شرکت Chroma می‌آید که ۱۸ مدل پیشرفته — از تمام آزمایشگاه‌های اصلی — را روی وظایف یکسان و با طول‌های ورودی متفاوت آزمایش کرد. هر مدل، حتی در وظایفی که عمداً طراحی شده بودند تا بدون ارتباط با اندازه زمینه قابل حل باشند، با افزایش طول ورودی به‌طور قابل‌اندازه‌گیری ضعیف‌تر عمل کرد. این افت به‌دلیل تمام‌شدن فضا نبود؛ بلکه توجه مدل در میان متن بیشتر رقیق می‌شد.
این یافته بر پایه کشف قبلی «گم‌شده در میانه» از محققان دانشگاه استنفورد (Liu و همکاران، منتشر شده در TACL سال ۲۰۲۴) بنا شده که یک منحنی اعتمادپذیری به شکل U نشان داد: مدل‌ها اطلاعات در ابتدا یا انتهای یک ورودی طولانی را خوب پردازش می‌کنند، اما اطلاعاتی که در میانه مدفون شده کمتر قابل‌اعتماد استفاده می‌شود، صرف‌نظر از اینکه چقدر واضح بیان شده باشد. یک ارزیابی بعدی به نام NoLiMa که در سال ۲۰۲۵ انجام شد، نشان داد که برای بسیاری از مدل‌ها، طول زمینه مؤثر — نقطه‌ای که بعد از آن اعتمادپذیری واقعی شروع به کاهش می‌کند — حدود ۲۰۰۰ توکن است؛ بخش کوچکی از بیش از ۱۰۰ هزار توکنی که اکثر این مدل‌ها ادعا می‌کنند مدیریت می‌کنند.
این مشکل برای عامل‌های هوش مصنوعی که در چندین مرحله کار می‌کنند، نه یک سوال تنها، تشدید می‌شود. یک مقاله پیش‌چاپ ژوئن ۲۰۲۶ درباره جستجوی بلندمدت نشان داد که با افزایش زمینه انباشته‌شده یک عامل در طول یک وظیفه چندمرحله‌ای، آن عامل بیشتر تمایل دارد زود تسلیم شود یا به‌جای تکمیل وظیفه، پاسخ‌های نامطمئن ارائه دهد — دقیقاً برخلاف چیزی که از ابزاری با قابلیت کار مستقل در بازه‌های طولانی‌تر انتظار دارید. همین مقاله هفت راهکار کاهشی در سه دسته را آزمایش کرد و دریافت که خلاصه‌سازی دوره‌ای و هرس زمینه — حذف فعال اطلاعات قدیمی به‌جای اجازه انباشته‌شدن آن — بهتر از صرفاً استفاده از مدلی با پنجره بزرگ‌تر عمل می‌کند.
چرا این اتفاق می‌افتد
توضیح مکانیکی به نحوه عملکرد توجه (attention) در ترنسفورمرها برمی‌گردد: هر توکن در زمینه برای سهم محدودی از بودجه توجه مدل رقابت می‌کند. اضافه‌کردن توکن‌های بیشتر یعنی به‌طور متوسط هر توکن — حتی توکن‌های مهم — سهم کمتری از آن بودجه دریافت می‌کند. یک مدل گفتگوی شما را به شکلی که شما این مقاله را می‌خوانید، یعنی پی‌درپی و با یادآوری کامل، نمی‌خواند؛ بلکه در هر پاسخ، همه‌چیز در پنجره را دوباره وزن‌دهی می‌کند و پنجره بزرگ‌تر فقط به معنای رقابت بیشتر برای همان ظرفیت ثابت است.
برخی تیم‌ها دریافته‌اند که این افت همیشه تدریجی نیست — چند گزارش توصیف می‌کنند که مدل‌ها عملکرد ثابتی را تا یک آستانه طول حفظ می‌کنند و سپس به‌شدت سقوط می‌کنند، به‌جای یک کاهش ملایم. جامعه تحقیقاتی هنوز این نکته را قطعی نکرده، اما هر دو گروه در نتیجه اصلی توافق دارند: اندازه خام زمینه یک سقف است، نه یک تضمین، و بسیاری از کاربردهای واقعی پیش از رسیدن به آن سقف، از نقطه عملکرد قابل‌اعتماد عبور کرده‌اند.
این یافته برای کاربران روزانه ابزارهای هوش مصنوعی چه معنایی دارد
برای یک کاربر روزمره چت‌بات، راه‌حل عملی ساده و در دسترس است: گفتگوهای جدید را بیشتر شروع کنید. اگر ۴۵ دقیقه با یک دستیار درباره ده‌ها موضوع مختلف رفت‌وبرگشت داشته‌اید، فرض نکنید که هنوز درک درستی از سوال اصلی شما دارد — به‌طور معقول ممکن است در تاریخچه گفتگوی خودش غرق شده باشد. بیان دوباره و واضح سوال واقعی خودتان، به‌جای اعتماد به اینکه مدل آن را از میان پیام‌های قبلی استخراج کند، به‌طور قابل‌اندازه‌گیری مفید است.
برای کسانی که روی این مدل‌ها می‌سازند — چت‌بات‌ها، ابزارهای داخلی، عامل‌های هوش مصنوعی که گردش‌کارهای چندمرحله‌ای را مدیریت می‌کنند — نتیجه‌گیری ملموس‌تر است: یک پنجره زمینه بزرگ را جایگزین بازیابی و خلاصه‌سازی ندانید. ریختن کل یک پایگاه دانش، کدبیس یا مجموعه سند در زمینه، فقط چون پنجره از نظر فنی آن را در خود جا می‌دهد، دقیقاً همان الگوی شکستی است که تحقیقات توصیف می‌کند. فشرده‌سازی دوره‌ای زمینه، بازیابی فقط موارد مرتبط با مرحله فعلی، و بیان دوباره و صریح قیدهای کلیدی نزدیک انتهای یک درخواست طولانی — جایی که مدل‌ها قابل‌اعتمادتر می‌خوانند — همگی به‌طور قابل‌اندازه‌گیری بهتر از تکیه صرف بر اندازه پنجره عمل می‌کنند.
درس بزرگ‌تر این است که «اندازه پنجره زمینه» و «زمینه قابل‌استفاده» دو عدد متفاوت‌اند و فاصله میان آن‌ها اغلب بسیار بیشتر از آنچه در برگه مشخصات فنی شرکت‌ها آمده است. اندازه پنجره را همان‌طور ببینید که ظرفیت اعلام‌شده یک هارددیسک را در برابر فضای واقعی قابل‌استفاده‌اش می‌بینید — واقعی هست، اما عددی نیست که باید جریان کار واقعی شما را تعیین کند.