
مدلهای زبانی بزرگ با کاهش دقت اکنون روی لپتاپ ۱۶ گیگابایتی اجرا میشوند — و فاصله با مدلهای ابری را کاهش میدهند
کاهش دقت به روش INT4 و INT8 امکان اجرای مدلهای زبانی با ۷ و ۱۳ میلیارد پارامتر را روی لپتاپهای معمولی بدون اتصال به ابر فراهم کرده است. در این مطلب توضیح میدهیم چه چیزی تغییر کرده، چگونه کار میکند و به چه سختافزاری نیاز دارید.










