حالت Ultrafast اوپن‌ای‌آی مدل GPT-5.6 Sol را با ۷۵۰ Token در ثانیه اجرا می‌کند

اوپن‌ای‌آی سرویس Ultrafast را راه‌اندازی کرده است؛ یک سطح جدید از API که GPT-5.6 Sol را با سرعت حداکثر ۷۵۰ Token در ثانیه اجرا می‌کند — یعنی ۱۴ برابر سرعت حالت Standard فعلی که میانگین آن حدود ۵۳ Token در ثانیه است. این حالت از ۱۳ اوت به صورت پیش‌نمایش محدود برای مشتریان منتخب API در دسترس است.

این افزایش سرعت حاصل همکاری با Cerebras، استارتاپ تراشه هوش مصنوعی است که به خاطر پردازنده‌های wafer-scale خود شناخته شده است. Ultrafast اولین محصول تجاری این همکاری است و از سخت‌افزار Cerebras برای شتاب‌دهی چشمگیر به Inference روی مدل پرچمدار اوپن‌ای‌آی استفاده می‌کند — بدون آنکه به گفته این شرکت، کیفیت خروجی کاهش یابد.

۷۵۰ Token در ثانیه یعنی چه؟

تفاوت بین ۵۳ و ۷۵۰ Token در ثانیه مانند تفاوت بین مدلی است که همزمان با خواندن شما تایپ می‌کند و مدلی است که پاسخ کامل را تقریباً فوری تحویل می‌دهد. یک مقاله معمولی ۱۰۰۰ کلمه‌ای در حالت Standard حدود ۱۸ ثانیه طول می‌کشد و در Ultrafast کمتر از ۲ ثانیه. برای برنامه‌های بلادرنگ، این فاصله بسیار بزرگ است.

اوپن‌ای‌آی می‌گوید Ultrafast برای جریان‌های کاری طراحی شده که تاریخاً یک معاوضه بین سرعت و هوش را تحمیل می‌کردند — جایی که توسعه‌دهندگان مدل‌های کوچک‌تر و سریع‌تر را انتخاب می‌کردند چون مدل‌های پیشرو خیلی کند بودند. ایده اصلی این است که حالا می‌توان GPT-5.6 Sol را با سرعت‌هایی اجرا کرد که پیش از این فقط با مدل‌های ساده‌تر قابل دستیابی بود.

موارد استفاده

اوپن‌ای‌آی چهار کاربرد اصلی را برجسته می‌کند که در آن‌ها Inference زیر ثانیه‌ای امکانات جدیدی می‌گشاید: واکنش به حوادث امنیتی (تحلیلگران که در میانه تحقیقات پاسخ زنده می‌گیرند)، خدمات مشتری (Agentهایی با سرعت مکالمه تلفنی)، تحلیل بازارهای مالی (تفسیر بلادرنگ حرکات قیمت)، و تجارت الکترونیک (پیشنهادات پویای محصول در حین مرور).

شرکت‌های بزرگ در حال حاضر به دلیل محدودیت تأخیر، درخواست‌ها را از مدل‌های پیشرو دور می‌کنند. اگر Ultrafast ادعاهای کیفی خود را در مقیاس حفظ کند، این محدودیت از بین می‌رود.

ارتباط با Cerebras

Cerebras سال‌هاست تراشه‌های wafer-scale می‌سازد تا جایگزینی برای رویکرد GPU شرکت Nvidia ارائه دهد. پردازنده CS-3 آن یک دای ۹۰۰ میلی‌متر مربعی یکپارچه است — نه مجموعه‌ای از تراشه‌های کوچک‌تر — و پیچیدگی ساخت را با توان خروجی خام Inference معاوضه می‌کند. این همکاری برجسته‌ترین استقرار تجاری سخت‌افزار Cerebras تا به امروز است.

اوپن‌ای‌آی قیمت جداگانه‌ای برای حالت Ultrafast اعلام نکرده و با رشد ظرفیت، دسترسی را گسترش خواهد داد. این اعلامیه، به گزارش TechCrunch، مستقیماً از وبلاگ توسعه‌دهندگان اوپن‌ای‌آی منتشر شد.