مدلهای استدلال کوچک، هوش مصنوعی لبه را به یک کسبوکار واقعی تبدیل میکنند
هوش مصنوعی لبه سالها در یک موقعیت میانی نامناسب گیر افتاده بود. شرکتها ایده اجرای هوش روی دستگاه را دوست داشتند، اما سیستمهای واقعی که نتایج مفید تولید میکردند اغلب بسیار بزرگ، پرمصرف یا گرانقیمت بودند تا در مقیاس گسترده مستقر شوند. این وضعیت در حال تغییر است. مدلهای استدلال کوچکتر به تولیدکنندگان دستگاهها و تیمهای سازمانی چیزی میدهند که قبلاً نداشتند: راهی برای عرضه قابلیتهای هوش مصنوعی که هم از نظر تجاری منطقی باشند و هم به اندازه کافی خوب باشند تا اهمیت داشته باشند.
تغییر مهم این نیست که مدلهای کوچک ناگهان از سیستمهای پیشرو پیشی میگیرند. اینگونه نیست. تغییر این است که مدلهای فشرده اکنون میتوانند وظایف استدلال محدود را به اندازه کافی خوب برای محصولات واقعی انجام دهند، به شرطی که با سختافزار، بازیابی اطلاعات و طراحی گردش کار مناسب همراه شوند. این امر در راستای یک مورد تجاری متفاوت برای هوش مصنوعی لبه را باز میکند: هزینه استنتاج کمتر، تأخیر قابل پیشبینی، حریم خصوصی قویتر و وابستگیهای ابری کمتر. برای بسیاری از کاربردهای تجاری، این مزایا بیش از رهبری مطلق در Benchmark اهمیت دارند.
چرا مدلهای استدلال کوچکتر معادله هوش مصنوعی لبه را تغییر میدهند
بارهای کاری کلاسیک هوش مصنوعی لبه عمدتاً محدود بودند: تشخیص کلمه بیدارباش، طبقهبندی اولیه تصویر، شناسایی کلمات کلیدی، تشخیص ناهنجاری ساده. به محض اینکه یک محصول به تصمیمگیری چندمرحلهای، مدیریت زمینه یا تعامل زبانی انعطافپذیرتر نیاز داشت، تیمها معمولاً استنتاج را به ابر بازمیگرداندند. بودجه سختافزاری روی دستگاه نمیتوانست از مدلهای بزرگتر پشتیبانی کند، و حتی اگر میتوانست، عمر باتری و محدودیتهای حرارتی به سرعت مشکلساز میشد.
مدلهای استدلال کوچکتر این معامله را تغییر میدهند زیرا از ابتدا برای محیطهای محدود طراحی شدهاند. کوانتیسازی، تقطیر دانش، انواع معماری ترکیب خبرگان و بهبودهای کارایی در سطح معماری، اجرای مدلهایی با قابلیت برنامهریزی مفید و خروجی ساختاریافته روی NPU، GPUهای موبایل، شتابدهندههای تعبیهشده و CPUهای مدرن را ممکن ساخته است. این مدلها حلکننده مسائل جهانی نیستند، اما نیازی هم نیست. در استقرارهای تجاری، بیشتر وظایف محدودتر از آن چیزی هستند که بازاریابی نشان میدهد.
ببینید بسیاری از محصولات واقعاً به چه چیزی نیاز دارند: خلاصه کردن یک رویداد حسگر، طبقهبندی یک مشکل تعمیراتی، رتبهبندی اقدامات بعدی احتمالی، تولید یک توضیح کوتاه، هدایت یک گردش کار، یا پاسخ به پرسشها بر اساس یک پایگاه دانش محلی. اینها وظایف استدلالی هستند، اما استدلال محدود. یک مدل کوچکتر که برای دامنه تنظیم و با بازیابی اطلاعات پشتیبانی شود اغلب میتواند آنها را با هزینه بسیار کمتر به خوبی انجام دهد.
قابلیت تجاری به اقتصاد واحد بستگی دارد، نه اعتبار مدل
بسیاری از پروژههای هوش مصنوعی لبه بهطور خاموش شکست خوردند زیرا اقتصاد در طول برنامهریزی استقرار فرو ریخت. یک نمونه اولیه در دمو چشمگیر به نظر میرسید، اما صورتحساب مواد افزایش یافت، عمر باتری کاهش یافت، یا هزینههای استنتاج ابری سریعتر از درآمد رشد کرد. مدلهای استدلال کوچکتر مورد تجاری را بهبود میبخشند زیرا فشار را همزمان بر چندین مرکز هزینه کاهش میدهند.
۱. نیازمندیهای سختافزاری پایینتر
اگر یک مدل مفید در بودجه حافظه و محاسباتی سیلیکون موجود جا بگیرد، یک شرکت میتواند روی ردههای سختافزاری فعلی محصول را عرضه کند به جای اینکه محصول را بازطراحی کند. این برای لپتاپها، دوربینهای صنعتی، کیوسکهای خردهفروشی، دستگاههای پزشکی و خودروها اهمیت دارد. قابلیتی که روی یک NPU یا شتابدهنده تعبیهشده موجود اجرا میشود، بسیار سادهتر قابل توجیه است تا قابلیتی که نیاز به یک برد گرانتر دارد.
۲. هزینه عملیاتی پایینتر
استنتاج ابری زمانی مدیریتپذیر است که استفاده گاهبهگاه باشد یا حاشیه سود بالا باشد. زمانی دردناک میشود که هر دستگاه درخواستهای مکرر، بهویژه برای ویدئو، صدا یا تلهمتری ثابت ارسال کند. استنتاج روی دستگاه پهنای باند و هزینه API را کاهش میدهد و در عین حال هزینه را قابل پیشبینیتر میکند. برای محصولات اشتراکی، این میتواند تفاوت بین یک حاشیه سود ناخالص قابل قبول و قابلیتی باشد که کاربران دوست دارند اما تیمهای مالی از آن متنفرند.
۳. تأخیر و قابلیت اطمینان بهتر
استقرارهای لبه در دنیای واقعی زندگی میکنند، جایی که شبکهها ناپایدار، شلوغ یا در دسترس نیستند. یک اسکنر انبار، تبلت خدماتی میدانی یا دستیار داخل خودرو نمیتواند اتصال کامل را فرض کند. مدلهای محلی کوچکتر تأخیر رفتوبرگشت را حذف میکنند و عملیات بدون اتصال را بهخوبی ممکن میسازند. این فقط یک بهبود عملکرد نیست. بلکه تغییر میدهد که آیا یک محصول در محیطهای عملیاتی قابل اعتماد است یا خیر.
۴. حریم خصوصی و انطباق قویتر
نگه داشتن استنتاج روی دستگاه مقدار دادههای حساسی را که نیاز به خروج از نقطه پایانی دارند کاهش میدهد. این در مراقبتهای بهداشتی، همکاری سازمانی، نظارت صنعتی و دستگاههای مصرفکننده که صدا، دوربین یا داده موقعیت را پردازش میکنند اهمیت دارد. حریم خصوصی اغلب بهعنوان یک مزیت برای کاربران مطرح میشود، اما یک تسهیلکننده فروش نیز هست. تیمهای خرید و انطباق زمانی که داده خام میتواند محلی بماند بسیار پذیراتر هستند.
جایی که مدلهای استدلال کوچک از پیش مناسب هستند
نقطه شیرین هر بار کاری هوش مصنوعی نیست. بلکه محصولاتی هستند که زمینه محلی غنی است، تصمیمات حساس به زمان هستند و خروجیها میتوانند محدود شوند.
تعمیرات صنعتی
یک دستگاه دستی یا هدست هوشمند میتواند تجهیزات را بازرسی کند، علائم مشاهده شده را با یک دفترچه راهنمای خدمات محلی مقایسه کند و حالتهای محتمل خرابی را پیشنهاد دهد. نیاز به حل هوش عمومی ندارد. نیاز به استدلال در یک کاتالوگ محدود قطعات، کدهای خطای شناخته شده و یک گردش کار تعمیراتی دارد. یک مدل فشرده با بازیابی اطلاعات میتواند این کار را بدون فشار دادن هر پرسش از طریق یک خط لوله ابری دوردست انجام دهد.
خردهفروشی و عملیات میدانی
کارکنان فروشگاه و تکنسینها اغلب در محیطهایی با اتصال ناپایدار به پاسخهای سریع نیاز دارند. یک دستیار روی دستگاه میتواند رویهها را خلاصه کند، مراحل انطباق را علامت بزند و اقدامات بعدی را بر اساس یک بسته دانش محلی توصیه کند. ارزش اینجا مکالمه چشمگیر نیست. بلکه کاهش اصطکاک در تصمیمات تکراری است که زمان تلف میکنند و اشتباه ایجاد میکنند.
خودرو و تحرک
خودروها از قبل شامل پلتفرمهای محاسباتی ناهمگن هستند و تحت انتظارات تأخیر سختگیرانه عمل میکنند. مدلهای استدلال کوچکتر میتوانند از گردشهای کاری صوتی محلی، کمک در کابین، مستندات راننده، تشخیص و کنترلهای آگاه از زمینه بدون اتکای کامل به یک پیوند ابری پشتیبانی کنند. در این محیط، زمان پاسخ قابل پیشبینی و تابآوری بیش از حداکثر وسعت مدل اهمیت دارد.
امنیت و نظارت
دوربینهای لبه و سیستمهای نظارت محلی داده زیادی تولید میکنند تا همه چیز برای تحلیل پرهزینه به بالادست ارسال شود. مدلهای استدلال فشرده میتوانند رویدادها را اولویتبندی کنند، خلاصههای زبان طبیعی ضمیمه کنند و مشخص کنند چه چیزی تشدید میشود. این کار بار اپراتور و هزینه شبکه را همزمان کاهش میدهد.
لایه نرمافزاری به اندازه خود مدل اهمیت دارد
تیمهایی که در هوش مصنوعی لبه موفق میشوند به ندرت مدل را بهعنوان کل محصول در نظر میگیرند. آنها پیرامون آن طراحی میکنند. یک مدل استدلال کوچک زمانی از نظر تجاری قدرتمند میشود که با سه چیز همراه شود: بازیابی اطلاعات، محدودیتها و مسیرهای بازگشت.
بازیابی اطلاعات مدل را در اسناد محلی، تلهمتری یا وضعیت تثبیت میکند. به جای اینکه انتظار داشته باشیم مدل هر خط مشی یا دفترچه راهنما را به خاطر بسپارد، سیستم فقط زمینه مرتبط را تزریق میکند. محدودیتها خروجی را ساختاریافته نگه میدارند و شانس خطاهای پرهزینه را محدود میکنند. مسیرهای بازگشت موارد دشوار را تنها در صورت نیاز به یک مدل ابری بزرگتر یا یک اپراتور انسانی ارسال میکنند.
این معماری مهم است زیرا انتخاب نادرست بین تمام محلی و تمام ابری را جایگزین میکند. یک محصول خوب طراحی شده میتواند بیشتر تعاملات را روی دستگاه انجام دهد، سپس بقیه را بهطور انتخابی تشدید کند. این رویکرد ترکیبی معمولاً اقتصاد بهتری نسبت به پیشفرض هر تعامل به یک مدل بزرگ میزبانی شده تولید میکند.
خریداران قبل از تعهد باید چه چیزی را بررسی کنند
شتاب واقعی اینجا وجود دارد، اما هر ادعای هوش مصنوعی آماده لبه قابل اعتماد نیست. خریداران باید بپرسند که آیا مدل میتواند در بودجه توان و حرارتی دستگاه هدف اجرا شود، چه درصدی از وظایف واقعاً محلی میمانند، هر چند وقت یکبار سیستم نیاز به بازگشت ابری دارد، و دقت روی داده دامنه واقعی چگونه است نه روی Benchmarkهای عمومی.
آنها همچنین باید استراتژی بهروزرسانی را بررسی کنند. محصولات هوش مصنوعی لبه نیاز به یک مسیر عملی برای بهروزرسانی مدل، بهبودهای ایمنی و بازخورد تلهمتری دارند بدون اینکه هر دستگاه را به یک وابستگی دائمی ابری تبدیل کنند. شرکتهایی که این کار را درست انجام میدهند هوش روی دستگاه را بهعنوان بخشی از یک چرخه عمر گستردهتر در نظر میگیرند، نه یک تحویل مدل ایستا.
نکات عملی قابل اجرا
برای تیمهای محصول، درس این است که از پرسیدن اینکه آیا یک مدل کوچک میتواند با بهترین مدل ابری بهطور انتزاعی رقابت کند دست بردارند. بپرسید که آیا میتواند یک وظیفه محدود را بهطور سودآور روی سختافزاری که از قبل عرضه میکنید حل کند. برای خریداران سازمانی، روی اقتصاد واحد، تابآوری بدون اتصال، نیازهای حریم خصوصی و طراحی بازگشت تمرکز کنید، به جای اینکه با نمایشهای Benchmark منحرف شوید. برای فروشندگان تراشه و دستگاه، این یک فرصت برای فروش تجربههای کامل هوش مصنوعی محلی است، نه فقط محاسبات بیشتر.
مدلهای استدلال کوچکتر جایگزین سیستمهای مرزی بزرگ نخواهند شد. نیازی نیست. اهمیت واقعی آنها این است که توجیه هوش مصنوعی لبه را در محصولاتی که با هزینه، تأخیر، حریم خصوصی و قابلیت اطمینان زنده میمانند یا میمیرند آسانتر میکنند. این چیزی است که یک امکان فنی را به یک کسبوکار تبدیل میکند.