سایه هوش مصنوعی: خطر امنیت داده‌ای که بیشتر شرکت‌ها به آن نپرداخته‌اند

وقتی مهندسان به بردار تهدید تبدیل می‌شوند

در آوریل ۲۰۲۳، سامسونگ کشف کرد که مهندسان بخش نیمه‌هادی آن، کد منبع اختصاصی را مستقیماً در ChatGPT برای اشکال‌زدایی یک برنامه وارد کرده‌اند، یادداشت‌های جلسات داخلی را برای خلاصه‌سازی آپلود کرده‌اند، و مشخصات محرمانه تراشه را برای بررسی خطاها وارد کرده‌اند. داده‌ها بلافاصله بخشی از خط لوله آموزشی OpenAI شدند. سامسونگ با ممنوعیت ChatGPT در دستگاه‌های شرکت پاسخ داد - اما خسارت وارد شده بود. سه حادثه جداگانه در یک ماه، اسرار تجاری را فاش کرد که سال‌ها و صدها میلیون دلار برای توسعه آنها هزینه شده بود.

این یک حمله سایبری پیچیده نبود. از هیچ اکسپلویت zero-day استفاده نشد. هیچ مدرکی دزدیده نشد. کارمندان صرفاً به سراغ مؤثرترین ابزار موجود برای خود رفتند - و آن ابزار به طور تصادفی خارج از محیط امنیت شرکتی قرار داشت.

تعریف سایه هوش مصنوعی

سایه هوش مصنوعی به استفاده از ابزارها، پلتفرم‌ها و خدمات هوش مصنوعی توسط کارمندان بدون اطلاع، تأیید یا نظارت تیم IT یا امنیت اشاره دارد. این تکامل عصر هوش مصنوعی از سایه IT است - استفاده غیرمجاز از نرم‌افزارها و خدمات ابری که بیش از یک دهه است شرکت‌ها را آزار می‌دهد. تفاوت در سرعت و پیامد است: سایه IT ممکن است به معنای استفاده یک کارمند از Dropbox به جای SharePoint باشد. سایه هوش مصنوعی به معنای تغذیه داده‌های محرمانه توسط یک کارمند به سیستمی با سیاست‌های مبهم نگهداری داده، توافق‌نامه‌های آموزشی مدل شخص ثالث و بدون هیچ ردپای حسابرسی است.

ابزارهای سایه هوش مصنوعی شامل چت‌بات‌های LLM مصرف‌کننده (ChatGPT، Claude، Gemini)، دستیاران کدنویسی هوش مصنوعی (GitHub Copilot که خارج از توافق‌نامه‌های سازمانی استفاده می‌شود، Cursor، Tabnine در حساب‌های شخصی)، یادداشت‌برداران و خلاصه‌سازان هوش مصنوعی (Otter.ai، Fireflies.ai)، تولیدکنندگان تصویر و افزونه‌های مرورگر با ویژگی‌های هوش مصنوعی تعبیه‌شده هستند. بسیاری از این ابزارها رایگان یا ارزان، بسیار توانمند هستند و برای دسترسی به آنها فقط به یک آدرس ایمیل نیاز است.

مقیاس مشکل

داده‌های مربوط به پذیرش سایه هوش مصنوعی قابل توجه است. یک تحلیل Cyberhaven در سال ۲۰۲۳ از جریان داده‌های ۱.۶ میلیون کارگر نشان داد که ۱۱٪ از داده‌هایی که کارمندان در ChatGPT وارد می‌کنند، محرمانه طبقه‌بندی می‌شوند. در یک هفته، Cyberhaven ردیابی کرد که ۴.۲٪ از کارگران در شرکت‌های مشتری، داده‌های شرکتی را در ChatGPT وارد می‌کنند - و اکثر این فعالیت در حساب‌های شخصی و خارج از هر توافق‌نامه سازمانی انجام می‌شد. یک نظرسنجی Salesforce نشان داد که ۵۵٪ از کارمندان از ابزارهای هوش مصنوعی استفاده می‌کنند که توسط کارفرمایانشان تأیید نشده است، و از این تعداد، ۴۰٪ گفتند که هرگز به مدیران خود اطلاع نمی‌دهند. تحقیقات IBM در سال ۲۰۲۴ نشان داد که ۹۶٪ از مدیران، هوش مصنوعی را یک اولویت حیاتی می‌دانند، با این حال کمتر از یک سوم سیاست‌های رسمی حاکمیت هوش مصنوعی را مستقر کرده بودند. شکاف بین پذیرش و حاکمیت دقیقاً در جایی که خطر بالاترین است، بیشتر است: در شرکت‌هایی که با داده‌های حساس تنظیم‌شده سروکار دارند.

چه داده‌هایی واقعاً در حال نشت هستند

حوادث سایه هوش مصنوعی محدود به کد منبع نیست. محققان امنیتی و فروشندگان DLP دسته‌های زیر از داده‌های وارد شده به ابزارهای هوش مصنوعی غیرمجاز را مستند کرده‌اند:

• کد منبع و مالکیت فکری: توسعه‌دهندگان الگوریتم‌های اختصاصی، کد محصول منتشر نشده و جزئیات معماری سیستم را برای دریافت کمک اشکال‌زدایی یا بررسی کد وارد می‌کنند.
• اطلاعات قابل شناسایی شخصی مشتری (PII): کارکنان فروش و پشتیبانی، نام، آدرس ایمیل، شماره تلفن و جزئیات حساب مشتریان را برای نوشتن ایمیل یا خلاصه‌سازی تاریخچه موارد به ابزارهای هوش مصنوعی وارد می‌کنند.
• پیش‌بینی‌های مالی و داده‌های ادغام و تملک (M&A): تیم‌های مالی از هوش مصنوعی برای تجزیه و تحلیل صفحات گسترده یا نوشتن ارائه‌های هیئت مدیره استفاده می‌کنند و در این فرآیند داده‌های درآمد منتشر نشده و شرایط معامله را آپلود می‌کنند.
• اسناد حقوقی: کارکنان حقوقی داخلی از هوش مصنوعی برای خلاصه‌سازی قراردادها، اسناد دعاوی و پرونده‌های نظارتی استفاده می‌کنند - که اغلب شامل ارتباطات محرمانه است.
• سوابق منابع انسانی: تیم‌های منابع انسانی از هوش مصنوعی برای نوشتن بررسی‌های عملکرد و نامه‌های اخراج استفاده می‌کنند و داده‌های حقوق کارمندان، سوابق انضباطی و اطلاعات مربوط به تسهیلات پزشکی را وارد می‌کنند.
• اسناد استراتژی داخلی: مدیران از دستیاران نوشتاری هوش مصنوعی برای ویرایش یادداشت‌های استراتژی، نقشه‌های راه محصول و تحلیل‌های رقابتی قبل از تأیید برای انتشار خارجی استفاده می‌کنند.

چرا کارمندان قوانین را نادیده می‌گیرند

سرزنش کارمندان نکته اصلی را از دست می‌دهد. شکاف بهره‌وری بین ابزارهای سازمانی تأیید شده و هوش مصنوعی مصرف‌کننده اغلب بسیار زیاد است. یک کارمند که از GPT-4o برای وظایف استدلال پیچیده یا Claude برای تحلیل اسناد طولانی استفاده می‌کند، ممکن است واقعاً ۲-۳ برابر بیشتر از همکاری که به یک ابزار سازمانی پایه با تأخیر شش ماهه تدارکات محدود شده است، بهره‌ور باشد. وقتی شرکت‌ها ۱۸ ماه طول می‌کشد تا یک ابزار هوش مصنوعی را تأیید کنند، کارمندان تصمیمات خود را می‌گیرند. لیست ابزارهای تأیید شده به محض اینکه با آنچه واقعاً کار می‌کند مطابقت نداشته باشد، بی‌ربط می‌شود.

همچنین یک اثر عادی‌سازی وجود دارد. وقتی یک کارمند می‌بیند که مدیرش از ChatGPT در یک تماس کاری استفاده می‌کند، یا وقتی وبلاگ شرکت به محتوای تولید شده توسط هوش مصنوعی اشاره می‌کند، سیگنال ضمنی این است که استفاده از ابزار هوش مصنوعی قابل قبول است. بدون سیاست‌های روشن و اجرای مداوم، اکثر کارمندان منطقی می‌کنند که کاری که انجام می‌دهند اشکالی ندارد - زیرا راه دیگری برای دانستن ندارند.

چهار بردار تهدید

سایه هوش مصنوعی چهار بردار تهدید امنیتی متمایز ایجاد می‌کند که ابزارهای سنتی DLP و امنیت نقطه پایانی به خوبی قادر به رسیدگی به آنها نیستند:

• جذب داده‌های آموزشی: بسیاری از پلتفرم‌های هوش مصنوعی مصرف‌کننده، به ویژه آنهایی که تحت شرایط خدمات رایگان فعالیت می‌کنند، به صراحت حق استفاده از ورودی‌های کاربر برای آموزش یا بهبود مدل‌های خود را محفوظ می‌دارند. داده‌های وارد شده امروز ممکن است بر خروجی‌های مدل برای هزاران کاربر آینده - از جمله رقبا - تأثیر بگذارد.
• ذخیره‌سازی داده‌های شخص ثالث: حتی پلتفرم‌هایی که روی داده‌های کاربر آموزش نمی‌بینند، همچنان گزارش‌های مکالمه را در سرورهای خارج از کنترل شرکت ذخیره می‌کنند. این گزارش‌ها تابع وضعیت امنیتی، سابقه نقض و حوزه قضایی قانونی فروشنده هستند.
• حملات تزریق پرامپت: عوامل مخرب می‌توانند دستورالعمل‌هایی را در اسناد یا صفحات وب جاسازی کنند که وقتی توسط یک ابزار هوش مصنوعی خلاصه می‌شوند، باعث می‌شوند ابزار داده‌ها را خارج کند، رفتار خود را تغییر دهد یا خروجی‌های گمراه‌کننده تولید کند. یک کارمند که از هوش مصنوعی برای خلاصه‌سازی یک ایمیل فیشینگ استفاده می‌کند، می‌تواند باعث تزریق پرامپت شود که هوش مصنوعی را وادار به ارسال زمینه حساس به یک نقطه پایانی تحت کنترل مهاجم کند.
• به خاطر سپردن مدل: تحقیقات نشان داده است که LLMها می‌توانند متن کلمه به کلمه را از داده‌های آموزشی خود به خاطر بسپارند و بازتولید کنند، از جمله اطلاعات حساس. داده‌های وارد شده به مدلی که روی ورودی‌های کاربر آموزش می‌بیند، ممکن است در آینده با پرامپت‌های خصمانه قابل بازیابی باشد.

قرار گرفتن در معرض نظارتی واقعی است، نه نظری

سایه هوش مصنوعی فقط یک خطر امنیتی نیست - بلکه یک بدهی انطباق با دندان‌های نظارتی خاص است. تحت GDPR، انتقال داده‌های شخصی ساکنان اتحادیه اروپا به یک فروشنده هوش مصنوعی مستقر در ایالات متحده بدون حفاظت‌های قراردادی کافی (شرایط قراردادی استاندارد یا قوانین شرکتی الزام‌آور) یک انتقال داده غیرقانونی محسوب می‌شود. جریمه‌ها تا ۴٪ از گردش مالی سالانه جهانی است. تحت HIPAA، وارد کردن اطلاعات سلامت بیمار به یک ابزار هوش مصنوعی که تحت توافق‌نامه همکار تجاری (Business Associate Agreement) پوشش داده نشده است، یک نقض مستقیم HIPAA است - نهاد تحت پوشش، نه فروشنده هوش مصنوعی، مسئولیت را بر عهده دارد. حسابرسان SOC 2 به طور فزاینده‌ای در مورد حاکمیت ابزار هوش مصنوعی به عنوان بخشی از معیارهای خدمات اعتماد در دسترس بودن و محرمانگی سؤال می‌کنند. ISO 27001:2022 به صراحت کنترل‌هایی را در مورد روابط تأمین‌کننده و خدمات ابری اضافه کرده است که به ارزیابی‌های فروشنده هوش مصنوعی گسترش می‌یابد. قانون هوش مصنوعی اتحادیه اروپا، که اکنون در حال اجرا است، الزامات بیشتری را در مورد مستندسازی سیستم‌های هوش مصنوعی پرخطر و نظارت انسانی اضافه می‌کند که استقرارهای سایه‌ای به طور تعریف نمی‌توانند آنها را برآورده کنند.

آنچه تیم‌های امنیتی باید اکنون انجام دهند

ممنوعیت کامل هوش مصنوعی قبلاً بی‌اثر بودن خود را ثابت کرده است - ممنوعیت سامسونگ استفاده را به زیرزمینی سوق داد تا اینکه آن را از بین ببرد. حاکمیت مؤثر سایه هوش مصنوعی به ترکیبی از کنترل‌های فنی، جایگزین‌های تأیید شده و تغییر رفتار نیاز دارد:

• استقرار DLP آگاه از هوش مصنوعی: راه‌حل‌های DLP نسل بعدی از فروشندگانی از جمله Nightfall، Cyberhaven و Microsoft Purview اکنون می‌توانند جریان داده‌ها را به طور خاص به نقاط پایانی هوش مصنوعی شناسایی کنند. سیاست‌هایی را برای هشدار یا مسدود کردن آپلود کد منبع، PII و داده‌های مالی به خدمات هوش مصنوعی تأیید نشده پیکربندی کنید.
• اجرای کنترل‌های SSE/CASB: پلتفرم‌های Security Service Edge از Netskope، Palo Alto Prisma Access و Zscaler دید را در مورد استفاده از برنامه‌های ابری فراهم می‌کنند و می‌توانند سیاست‌های دقیقی را در مورد دسترسی به ابزار هوش مصنوعی اعمال کنند - به عنوان مثال، مسدود کردن ChatGPT مصرف‌کننده در حالی که یک توافق‌نامه سازمانی OpenAI را مجاز می‌کند.
• استقرار پلتفرم‌های هوش مصنوعی سازمانی با تضمین‌های اقامت داده: Microsoft 365 Copilot، Google Workspace Duet AI و AWS Bedrock همگی توافق‌نامه‌های سازمانی با جداسازی داده‌های صریح، عدم آموزش روی داده‌های مشتری و ثبت حسابرسی ارائه می‌دهند. دادن دسترسی به هوش مصنوعی توانمند در یک محیط تحت حاکمیت به کارمندان، مستقیماً انگیزه استفاده سایه‌ای را کاهش می‌دهد.
• انجام آموزش کارکنان خاص هوش مصنوعی: برنامه‌های آگاهی امنیتی اکنون باید شامل سناریوهای خاص هوش مصنوعی باشند - چه داده‌هایی را نمی‌توان در ابزارهای هوش مصنوعی وارد کرد، چگونه خدمات هوش مصنوعی غیرمجاز را شناسایی کرد و چگونه حوادث مربوط به هوش مصنوعی را گزارش داد. آموزش عمومی امنیت سایبری کافی نیست.
• ایجاد یک فهرست دارایی هوش مصنوعی: قبل از اینکه بتوانید استفاده از هوش مصنوعی را حاکم کنید، باید بدانید چه چیزی در حال استفاده است. ابزارهای CASB می‌توانند این را به صورت غیرفعال آشکار کنند. نظرسنجی‌های فعال و ممیزی‌های هوش مصنوعی در سطح بخش می‌توانند کشف خودکار را تکمیل کنند.

چارچوب حاکمیتی که CISOها به آن نیاز دارند

کنترل‌های فنی به تنهایی بدون ساختار حاکمیتی کافی نیستند. CISOها باید در ۹۰ روز آینده سه مورد قابل تحویل حاکمیتی خاص را هدایت کنند:

• سیاست استفاده قابل قبول از هوش مصنوعی: یک سند سیاست مستقل - متمایز از سیاست استفاده قابل قبول عمومی IT - که ابزارهای هوش مصنوعی تأیید شده، موارد استفاده ممنوع (وارد کردن PII، کد منبع، محتوای محرمانه وکیل-موکل)، قوانین دستگاه شخصی و عواقب انضباطی برای تخلفات را تعریف می‌کند. این سیاست باید امضا و تأیید شود، نه فقط منتشر شود.
• لیست ابزارهای هوش مصنوعی تأیید شده: یک ثبت‌نام که به طور منظم به‌روزرسانی می‌شود از ابزارهای هوش مصنوعی تأیید شده برای استفاده شرکتی، با دستورالعمل‌های مربوط به مدیریت داده برای هر یک. این لیست باید بین ابزارهای تأیید شده برای استفاده عمومی، ابزارهای تأیید شده فقط برای داده‌های غیرحساس و ابزارهایی که به صراحت ممنوع هستند، تمایز قائل شود.
• ادغام طبقه‌بندی داده: حاکمیت هوش مصنوعی بدون طبقه‌بندی داده نمی‌تواند کار کند. اگر کارمندان ندانند چه داده‌هایی محرمانه است، نمی‌توانند تصمیمات خوبی در مورد اینکه چه چیزی را در ابزارهای هوش مصنوعی وارد کنند، بگیرند. محدودیت‌های استفاده از هوش مصنوعی را مستقیماً در آموزش طبقه‌بندی داده و سیاست‌های DLP مبتنی بر برچسب ادغام کنید.

اقدامات فوری برای CISOها

حادثه سامسونگ در سال ۲۰۲۳ رخ داد. از آن زمان، ابزارها فقط توانمندتر، در دسترس‌تر و عمیق‌تر در جریان‌های کاری کارمندان تعبیه شده‌اند. CISOهایی که هنوز در مورد سایه هوش مصنوعی اقدامی نکرده‌اند، باید موارد زیر را اولویت‌بندی کنند: این هفته یک پرس‌وجوی CASB یا SSE اجرا کنید تا مشخص شود کارمندان شما واقعاً از چه خدمات هوش مصنوعی استفاده می‌کنند. آن لیست را با ثبت ابزارهای تأیید شده خود مقایسه کنید. برای هر سرویس تأیید نشده با استفاده قابل توجه، تعیین کنید که آیا می‌توان آن را با یک معادل سازمانی تأیید شده جایگزین کرد - و اگر چنین است، تدارکات را تسریع کنید. یک اطلاعیه موقت صادر کنید که استفاده از ابزار هوش مصنوعی را تأیید می‌کند، انتظارات روشنی را تعیین می‌کند و کانالی را برای کارمندان باز می‌کند تا تأیید ابزار را درخواست کنند به جای اینکه از فرآیند دور بزنند. هدف حذف استفاده از هوش مصنوعی نیست. هدف این است که اطمینان حاصل شود که وقتی کارمندان به سراغ هوش مصنوعی می‌روند - و خواهند رفت - به سراغ ابزارهایی می‌روند که داده‌های شرکت را در معرض خطر غیرقابل قبول قرار ندهند.