درخواست‌های «حق فراموش‌شدن» با نحوه واقعی ذخیره داده در LLMها تصادم می‌کنند
ماده ۱۷ GDPR و مقررات مشابه حذف داده در قوانین حریم خصوصی دیگر، بر اساس یک مدل ذهنی ساده نوشته شده‌اند: داده شخصی در یک رکورد، در یک پایگاه‌داده، زندگی می‌کند و یک شرکت می‌تواند آن رکورد را پیدا کرده و حذف کند. این مدل برای آدرس یک مشتری در یک سیستم CRM کاملاً کار می‌کند. اما وقتی همان داده مشتری برای آموزش یا fine-tune یک مدل زبانی بزرگ استفاده شده باشد، این مدل کاملاً فرومی‌ریزد، چون یک مدل آموزش‌دیده داده شخصی را به‌صورت یک رکورد قابل‌بازیابی ذخیره نمی‌کند. آن را به‌صورت یک الگوی پراکنده از تنظیمات وزنی در میلیاردها پارامتر ذخیره می‌کند، و هیچ کوئری‌ای وجود ندارد که فقط سهم یک نفر را انتخاب و حذف کند.
فرضی که قانون حذف داده می‌کند
تنظیم‌کنندگان حریم خصوصی چارچوب‌های حذف خود را حول پایگاه‌داده‌ها ساختند، و منطق برای آن کاربرد درست است: ردیف را پیدا کن، ردیف را حذف کن، حذف را تأیید کن. شرکت‌ها دو دهه صرف ساخت ابزارهایی برای انجام این کار به‌طور مطمئن در مقیاس بزرگ کرده‌اند. هیچ‌کدام از آن ابزارها به پارامترهای یک مدل منتقل نمی‌شود. وقتی داده آموزشی از طریق گرادیان نزولی در وزن‌ها جذب شد، سهم خاص هر سند یا داده هر فرد پس از آن قابل جداسازی نیست. مدل نمونه آموزشی را به هیچ شکل قابل‌مکان‌یابی و حذف‌شدنی «در خود ندارد».
چرا LLMها این فرض را می‌شکنند
گزینه‌های واقع‌بینانه برای برآوردن یک درخواست حذف در برابر یک مدل آموزش‌دیده همگی پرهزینه‌اند و بیشترشان ناقص‌اند. آموزش مجدد کامل از یک مجموعه‌داده که داده آن فرد از آن حذف شده، تنها رویکردی است که به‌طور تمیز حرف قانون را برآورده می‌کند، و برای هر مدل با اندازه قابل‌توجه میلیون‌ها دلار و هفته‌ها محاسبات هزینه دارد — هزینه‌ای که با اندازه مدل و تکرار آموزش مجدد آن مقیاس می‌گیرد، نه با تعداد درخواست‌های حذف. تحقیقات machine unlearning تکنیک‌هایی تولید کرده که وزن‌های مدل را برای کاهش تأثیر نمونه‌های آموزشی خاص بدون آموزش مجدد کامل تنظیم می‌کنند، اما نتایج منتشرشده به‌طور مداوم نشان می‌دهند این روش‌ها تقریبی‌اند: آن‌ها به‌طور قابل‌اندازه‌گیری توانایی مدل برای بازتولید محتوای حفظ‌شده خاص را کاهش می‌دهند، اما تضمین نمی‌کنند حذف کامل است، و تأیید کامل‌بودن خودش یک مسئله تحقیقاتی باز است. شرکتی که یک وصله unlearning منتشر می‌کند، در حال حاضر نمی‌تواند به‌طور رضایت‌بخش برای یک تنظیم‌کننده ثابت کند که داده واقعاً از بین رفته است.
بیشتر شرکت‌ها در حال حاضر سخت‌ترین نسخه این مسئله را با خارج‌نگه‌داشتن داده شخصی از مجموعه آموزشی از ابتدا و تکیه بر retrieval-augmented generation دور می‌زنند — یعنی واکشی داده کاربر از یک پایگاه‌داده معمولی و قابل‌حذف در زمان inference، به‌جای پخته‌شدن آن در وزن‌های مدل. این رویکرد واقعاً مسئله حذف را برای سیستم‌های جدیدی که با این هدف طراحی شده‌اند حل می‌کند. اما هیچ کاری برای نسل مدل‌هایی که قبلاً روی مجموعه‌داده‌های جمع‌آوری‌شده پیش از استانداردشدن این تمایز آموزش دیده‌اند انجام نمی‌دهد، که بیشتر ناوگان مدل‌های پیشرفته در حال حاضر در تولید را شامل می‌شود.
کجا این نبرد واقعاً در جریان است
تنظیم‌کنندگان شروع کرده‌اند این را به‌عنوان یک سؤال واقعی به‌جای فرضی در نظر بگیرند. مقامات حفاظت از داده اروپایی تحقیقاتی درباره اینکه آیا پایپ‌لاین‌های آموزش مدل‌های پایه از تعهدات حذف پیروی می‌کنند یا نه، آغاز کرده‌اند، و پاسخ‌هایی که شرکت‌ها داده‌اند — اشاره به فیلترکردن، مسدودسازی محتوا در سطح خروجی یا چرخه‌های آموزش مجدد زمان‌بندی‌شده — هنوز تنظیم‌کننده‌هایی را که خواستار اثبات حذف واقعی تأثیر داده یک فرد خاص هستند، نه فقط سرکوب در مرحله خروجی، راضی نکرده است. این تمایز اهمیت دارد: جلوگیری از تکرار نام یک فرد در خروجی مدل، با حذف داده آن فرد از وزن‌هایی که آن خروجی را تولید کرده‌اند یکسان نیست، و چند پرونده در جریان دقیقاً بر همین تفاوت متمرکزند.
شرکت‌ها واقعاً چه می‌کنند
در عمل، بیشتر شرکت‌های هوش مصنوعی که این ریسک را مدیریت می‌کنند سه کار را هم‌زمان انجام می‌دهند: انتقال سیستم‌های جدید به سمت معماری‌های RAG که داده شخصی را به‌طور ذاتی قابل‌حذف نگه می‌دارند، زمان‌بندی آموزش‌های مجدد کامل دوره‌ای روی مجموعه‌داده‌های پاک‌شده به‌عنوان نزدیک‌ترین تقریب به تطابق قانونی برای مدل‌های از قبل مستقر، و لابی‌گری با تنظیم‌کننده‌ها برای پذیرفتن فیلترکردن در سطح خروجی به‌عنوان تطابق کافی به‌جای الزام حذف در سطح وزن. استراتژی سوم همان چیزی است که واقعاً در رسیدگی‌های قانونی فعلی مورد مناقشه قرار دارد.
نتیجه‌گیری عملی
- اگر یک محصول مبتنی بر LLM را مستقر می‌کنید که داده شخصی را لمس می‌کند، طراحی‌های retrieval-augmented را ترجیح دهید که آن داده را در یک انبار قابل‌حذف نگه می‌دارد، نه پخته‌شده در وزن‌های fine-tune شده.
- فیلترکردن محتوا در سطح خروجی را معادل حذف نگیرید. تنظیم‌کننده‌ها به‌طور رو به رشد این‌طور نمی‌بینند، و شکاف بین این دو همان جایی است که ریسک قانونی فعلی قرار دارد.
- بودجه‌ای برای آموزش مجدد کامل دوره‌ای روی مجموعه‌داده‌های پاک‌شده به‌عنوان یک هزینه تطابق واقعی برای هر مدل fine-tune شده‌ای که داده شخصی را مدیریت می‌کند، در نظر بگیرید.
- تحقیقات اروپایی درباره تطابق آموزش مدل‌های پایه را دنبال کنید — نتیجه آن‌ها احتمالاً تعریف عملی «حذف» برای مدل‌های آموزش‌دیده را تعیین می‌کند.
- اگر تیم حقوقی شما به تکنیک‌های machine unlearning برای برآوردن یک درخواست حذف تکیه می‌کند، به‌صورت کتبی دریافت کنید که تنظیم‌کننده دقیقاً چه استاندارد کامل‌بودنی را می‌پذیرد.