مدلهای استدلالی (Reasoning models) تاخیر AI را به یک تصمیم محصول تبدیل میکنند
برای چند سال، بیشتر گفتوگوهای محصول AI حول یک سوال ساده میچرخید: کدام مدل باهوشتر است؟ این هنوز مهم است، اما دیگر کافی نیست. با ورود سیستمهای استدلالمحور به محصولات主流 (mainstream)، تیمها کشف میکنند که پاسخ بهتر اما خیلی کند میتواند پاسخ اشتباهی برای کار باشد. Latency (تاخیر) دارد شکلدهی به طراحی محصول را آغاز میکند، همانطور که زمان بارگذاری صفحه زمانی شکلدهی به برنامههای وب میکرد.
این تغییر اهمیت دارد زیرا مدلهای استدلالی (Reasoning models) مانند سیستمهای قدیمی autocomplete رفتار نمیکنند. آنها طوری طراحی شدهاند که برای مسائل دشوارتر محاسبات بیشتری صرف کنند، مراحل میانی را کاوش کنند و سرعت را با قابلیت اطمینان در وظایف پیچیده معاوضه کنند. Anthropic آشکارا این را به عنوان یک «بودجه تفکر» (thinking budget) قابل کنترل قاببندی کرده است و فروشندگان دیگر نیز تمایزات مشابهی بین مدلهای سریع همهمنظوره و حالتهای کندتر استدلالمحور آشکار میکنند. این کار زمان پاسخ را به یک انتخاب عمدی محصول تبدیل میکند، نه یک عارضه جانبی پنهان در لایه زیرساخت.
پاسخهای سریع و پاسخهای عمیق دیگر یک محصول نیستند
در عمل، تیمهای AI اکنون باید درخواستها را به دستههایی تفکیک کنند. برخی وظایف از پاسخ فوری سود میبرند: نوشتن یک ایمیل کوتاه، تغییر نام یک فایل، خلاصهسازی جلسه، یا تبدیل یادداشتهای خام به نقاط گلولهای. وظایف دیگر زمان اضافی را پاداش میدهند: بررسی یک قرارداد بر اساس خطمشی، رفع اشکال یک مسیر کد پیچیده، مقایسه گزینههای معماری، یا ردیابی اینکه چرا خروجی یک مدل با رکورد دیتابیس تناقض دارد. مشکل اینجاست که بسیاری از محصولات همچنان این وظایف بسیار متفاوت را از طریق یک جعبه چت واحد و یک انتظار واحد از سرعت ارائه میدهند.
این عدم تطابق به سرعت باعث ناامیدی میشود. اگر کاربر بازنویسی سریع بخواهد و دستیار ده ثانیه مکث کند، محصول کند به نظر میرسد. اگر کاربر توصیهای حساس به رعایت (compliance-sensitive) بخواهد و دستیار فوراً با پاسخی سطحی پاسخ دهد، محصول بیدقت به نظر میرسد. همان مدل ممکن است توانایی هر دو رفتار را داشته باشد، اما رابط کاربری نمیتواند وانمود کند این تجربیات قابل تعویض هستند. تیمهای محصول به مسیرهای سریع، مسیرهای کند، و نشانههای تشدید صریح نیاز دارند تا مردم بفهمند چه نوع پاسخی دریافت میکنند و چرا به این زمان نیاز دارد.
Latency (تاخیر) به اعتماد گره خورده است، نه فقط راحتی
وسوسهانگیز است که Latency را یک معیار عملکرد محدود در نظر بگیریم، اما در سیستمهای AI همچنین نحوه قضاوت کاربران درباره اعتماد را تغییر میدهد. انتظار طولانیتر میتواند نشان دهد سیستم با دقت کار میکند، بهویژه وقتی کار دشوار است و stakes (ریسکها) بالا هستند. با این حال، تاخیر همچنین میتواند شبیه عدم قطعیت یا ناپایداری به نظر برسد اگر محصول خود را خوب توضیح ندهد. چالش طراحی فقط سریعتر کردن مدل نیست. این است که انتظار را خوانا و متناسب با کار کنیم.
به همین دلیل است که بسیاری از بهترین تجربیات AI در طول زمان ساختاریتر به نظر میرسند. به جای یک دستیار عمومی که با یک سرعت ثابت پاسخ میدهد، محصولات به طور فزایندهای وظایف را در پشت صحنه مسیریابی میکنند. یک مدل سبکوزن ممکن است طبقهبندی، استخراج یا قالببندی را انجام دهد. یک گذار استدلال سنگینتر ممکن است تنها زمانی فعال شود که اعتماد کاهش یابد، هزینه خطا بالا باشد، یا کاربر صریحاً درخواست پاسخ عمیقتری کند. این نوع Orchestration (هماهنگسازی) تنها هزینههای Inference را کاهش نمیدهد. این محصول را از احساس ناهمواری محافظت میکند.
Throughput (توان عملیاتی) و اقتصاد واحد اکنون محدودیتهای محصول هستند
مدلهای استدلالی همچنین شرکتها را مجبور میکنند به مقیاسپذیری به روشی جدید فکر کنند. اگر یک سیستم به ازای هر درخواست محاسبات بیشتری صرف کند، Throughput کاهش مییابد مگر اینکه فروشنده یا خریدار حاضر به پرداخت بیشتر باشند. این در workflows (جریانهای کاری) سازمانی پریمیوم قابل مدیریت است، جایی که هر پاسخ ممکن است زمان بررسی حقوقی را ذخیره کند یا اشتباهات مهندسی پرهزینه را کاهش دهد. در محیطهای مصرفکننده با فرکانس بالا، جایی که مردم انتظار تعامل روان و هزینه نهایی کم یا صفر دارند، بسیار سختتر است. مدلی که در یک Benchmark (معیار) چشمگیر است ممکن است در یک محصول واقعی ناخوشایند شود اگر نتواند الگوی تعاملی که محصول وعده داده را حفظ کند.
اینجاست که استراتژی محصول AI شروع به شبیهسازی رشتههای قدیمی مهندسی سیستمها میکند. تیمها به بودجههای Latency نیاز دارند، همانطور که تیمهای وب زمانی به بودجههای صفحه نیاز داشتند. آنها باید تعریف کنند چه چیزی برای اولین پاسخ، تکمیل کامل، تأیید پسزمینه، و تشدید انسانی قابل قبول است. همچنین باید تصمیم بگیرند کدام ویژگیها اصلاً شایسته استدلال پرهزینه هستند. هر workflow (جریان کاری) وقتی مدل بیشتر فکر میکند بهبود نمییابد. در بسیاری موارد، طراحی برنده از یک مدل سریع برای حفظ تعامل استفاده میکند و استدلال عمیقتر را برای نقاط بازرسی که واقعاً بر تصمیمات تأثیر میگذارند ذخیره میکند.
رابط کاربری به طور فزایندهای عمق را به عنوان یک انتخاب کاربر آشکار خواهد کرد
یک نتیجه محتمل این است که محصولات AI شروع به آشکارسازی کنترلهای «عمق» به صورت بازتر کنند. برخی از قبل این کار را از طریق حالتها، بودجهها، یا کلیدهای استدلال صریح انجام میدهند. این الگو گسترش خواهد یافت زیرا انتظارات را همسو میکند. کاربران اگر بدانند که یک گذار با اطمینان بالاتر خواستهاند، از انتظار بدشان نمیآید. آنها زمانی ناراضی هستند که هر درخواست به طور غیرقابل پیشبینی کند باشد یا سیستم وقت خود را با تشریفات غیرضروری برای حل یک مشکل ساده تلف کند.
یک پیامد عمیقتر سازمانی نیز در اینجا وجود دارد. تیمهایی که با AI میسازند دیگر نمیتوانند کیفیت محصول را به ارائهدهنده مدل بسپارند و امیدوار باشند بهترین نتیجه را بگیرند. آنها باید تصمیم بگیرند چه چیزی شایسته فوریت است، چه چیزی شایسته احتیاط است، و چه زمانی سیستم باید عدم قطعیت را بپذیرد. یعنی مدیریت محصول AI در حال تبدیل شدن به یک رشته طراحی workflow است، نه فقط طراحی Prompt.
تیمها در مرحله بعد چه باید بکنند
شرکتهایی که این تغییر را خوب مدیریت میکنند، آنهایی هستند که از درمان Latency به عنوان یک جزئیات فنی شرمآور دست میکشند و آن را به عنوان بخشی از پیشنهاد خود به کاربران در نظر میگیرند. یک پاسخ سریع، یک پاسخ دقیق، و یک پاسخ تأیید شده یک چیز نیستند. محصولاتی که آنها را در یک وعده مبهم ادغام کنند، ناسازگار به نظر میرسند. محصولاتی که آنها را به وضوح جدا کنند، اعتماد بیشتری را جلب خواهند کرد.
- درخواستها را بر اساس فوریت و هزینه خطا نقشهبرداری کنید. تصمیم بگیرید کدام وظایف نیاز به تعامل فوری دارند و کدام یک استدلال کندتر را توجیه میکنند.
- مسیریابی بسازید، نه فقط Prompt نویسی. از مدلهای سبکتر برای وظایف سرراست استفاده کنید و گذرهای عمیقتر را برای لحظات پرخطر ذخیره کنید.
- انتظارات قابل مشاهده تنظیم کنید. به کاربران بگویید چه زمانی سیستم در حال انجام یک گذر سریع است در مقابل یک بررسی دقیقتر.
- Latency را به عنوان کیفیت محصول ردیابی کنید. رها کردن (abandonment)، رضایت، و کار اصلاحی downstream را همراه با عملکرد raw مدل اندازهگیری کنید.
مدلهای استدلالی (Reasoning models) قدرتمند هستند زیرا دامنه کاری که AI میتواند انجام دهد را گسترش میدهند. اما آنها همچنین این توهم را پایان میدهند که یک سرعت پاسخ برای هر وظیفه مناسب است. نسل بعدی محصولات AI قوی کمتر با انتخاب «بهترین» مدل و بیشتر با تصمیمگیری درباره اینکه چه زمانی عمق ارزش انتظار را دارد تعریف خواهد شد.