دستیار هوشمند شما ممکن است اسرار شرکتتان را فاش کند... چگونه از داده‌هایتان محافظت کنید؟

شرکت‌ها در حال گسترش استفاده از نمایندگان هوش مصنوعی برای تسریع فرآیندهای کسب‌وکار و خودکارسازی وظایف روزمره هستند، اما اعطای اختیارات اجرایی گسترده به این سیستم‌ها نگرانی‌های امنیتی فزاینده‌ای را ایجاد کرده است، به‌ویژه با توجه به توانایی آن‌ها در دسترسی به ایمیل‌ها، اسناد، پایگاه‌های داده و برنامه‌های داخلی.

نمایندگان هوش مصنوعی از دستیارهای سنتی به این جهت متمایز هستند که قادر به انجام اقدامات بدون مداخله مستمر انسانی‌اند؛ به‌طوری که یک نماینده می‌تواند گزارش‌های فروش را تهیه کند، داده‌ها را تحلیل نماید و نتایج را به‌طور خودکار از طریق رابط‌های برنامه‌نویسی (API) و اتصال‌دهنده‌های نرم‌افزاری ارسال کند.

خطرات زمانی برجسته می‌شوند که اختیارات نماینده از نیازهای وظیفه‌اش فراتر رود، که این امر به او امکان تغییر، حذف فایل‌ها یا اشتراک‌گذاری اطلاعات محرمانه را می‌دهد.

سازمان OWASP، سوءاستفاده از اختیارات (Privilege Escalation) را در دسته‌ای از خطرات مرتبط با کاربردهای مدل‌های زبانی بزرگ طبقه‌بندی می‌کند، به‌ویژه زمانی که نماینده به سیستم‌های متعددی متصل شود یا اختیارات مدیریتی گسترده‌ای به او اعطا گردد.

از جمله تهدیدهای برجسته، «تزریق دستورالعمل» (Prompt Injection) است که در آن دستورات مخرب درون پیام‌های ایمیل، اسناد یا صفحات وب کاشته می‌شوند تا نماینده را ترغیب کنند از وظیفه خود تجاوز کرده و در صورتی که اختیاراتش اجازه دهد، داده‌ها را به اشخاص ثالث نشت دهد. خطاها ممکن است هنگام انتقال خروجی یک نماینده به دیگری بدون بازبینی، تشدید شوند.

برای کاهش این خطرات، متخصصان توصیه می‌کنند که اصل حداقل اختیارات اعمال شود، دسترسی‌های خواندن، ویرایش، حذف و ارسال از یکدیگر تفکیک گردند، هویت‌های دیجیتال مستقل برای نمایندگان اختصاص یابد و برای عملیات حساس، تأیید انسانی الزامی گردد.

اقدامات حفاظتی شامل نظارت بر فعالیت‌ها و ثبت آن‌ها، محدود کردن ارتباطات خارجی، انجام آزمایش‌های امنیتی دوره‌ای، بازبینی برنامه‌های مرتبط و فراهم‌سازی مکانیسم‌هایی برای غیرفعال‌سازی نمایندگان در صورت شک به سوءاستفاده است.

علاوه بر این، حفاظت نیازمند سیاست‌های شفاف برای تعیین مسئولیت‌های نظارتی و آموزش کارکنان است تا اطمینان حاصل شود که بهره‌وری افزایش می‌یابد، بدون آنکه به محرمانگی اطلاعات و یکپارچگی سیستم‌ها لطمه وارد شود.