«انویدیا» پلتفرمی امنیتی برای جلوگیری از تجاوز نمایندگان هوش مصنوعی به اختیاراتشان راهاندازی کرد
رفتار آنها را پایش کنید و فعالیتهای مشکوک را در کسری از ثانیه قرنطینه نمایید
با افزایش نگرانیها درباره توانایی نمایندگان هوش مصنوعی در فراتر رفتن از وظایف و اختیارات تعیینشده برای آنها و عمل کردن بهصورت مستقل، شرکت آمریکایی «انویدیا» (NVIDIA) امروز دوشنبه، پلتفرم امنیتی متنبازی را معرفی کرد که هدف آن تعیین محدودیتهایی برای عملکرد این نمایندگان، پایش رفتار آنها و جلوگیری از اجرای اقدامات غیرمجاز است.
شرکت «انویدیا» پلتفرم «Open Agent Safety» را معرفی کرد که شامل سیستم متنباز «OpenShell» و لایه امنیتی مستقلی به نام «Sentry» است؛ گامی که هدف آن فراهم آوردن کنترلهای امنیتی برای نمایندگان هوش مصنوعی در مراحل آزمایش و عملیاتیسازی است.
سیستم «OpenShell» محیطی امن برای اجرای نمایندگان هوش مصنوعی ایجاد میکند که به توسعهدهندگان امکان میدهد سیاستها و اختیاراتی را که دسترسی نماینده به فایلها، شبکهها، ابزارها و سایر منابع را تنظیم میکنند، مشخص سازند و اطمینان حاصل کنند که نماینده تنها دارای اختیارات لازم برای انجام مأموریت خود است و از آنها فراتر نمیرود.
جاستین پویتانو، معاون رئیس بخش هوش مصنوعی سازمانی در «انویدیا»، در جریان یک کنفرانس مطبوعاتی اعلام کرد که این سیستم میتوانست از حادثه نفوذی که شرکت متخصص هوش مصنوعی «هاگنگ وایس» (Hugging Face) را هدف قرار داد و توسط گروهی از نمایندگان هوش مصنوعی متعلق به «اوپنایآی» (OpenAI) بهصورت مستقل انجام شد، جلوگیری کند.
پویتانو افزود که بر اساس اطلاعات این شرکت، اگر این فناوری امنیتی در آزمایشگاههای پیشرو در مراحل اولیه ارزیابی مدلها به کار گرفته میشد، میتوانست از نفوذ جلوگیری کند.
بر اساس اعلام «انویدیا»، «OpenShell» به توسعهدهندگان امکان میدهد تأمین کنند که نماینده هوش مصنوعی تنها دارای اختیارات ضروری برای انجام مأموریت محوله است. همچنین، به دلیل ماهیت متنباز آن، قابلیت گسترش برای کار با پلتفرمهای محاسباتی دیگر، از جمله پلتفرمهای «آرم» (ARM) و «اینتل» (Intel) را دارد.
این پلتفرم شامل یک لایه امنیتی مستقل به نام «Sentry» است که با استفاده از واحدهای پردازش داده «BlueField-4 DPU» بهصورت جداگانه از محیط اجرای نماینده هوش مصنوعی عمل میکند تا فعالیت آن را بهطور مداوم پایش کرده و در صورت تلاش برای فراتر رفتن از مرزهای تعیینشده، مداخله نماید.
بر اساس گفتههای شرکت، «Sentry» میتواند نماینده هوش مصنوعی را در کسری از ثانیه قرنطینه کند، زمانی که رفتار مشکوکی شناسایی شود. پویتانو همچنین توضیح داد که «OpenShell» کنترلهایی بر رفتار نماینده اعمال میکند، در حالی که «Sentry» بهصورت مستقل پایش و مهار رفتارهای مشکوک را بر عهده دارد.
حادثه «هاگن فايس» که فصول آن بین ماههای مه و ژوئیه ۲۰۲۶ رخ داد و توسط گروهی از نمایندگان هوش مصنوعی بهصورت هماهنگ و مستقل و بدون مداخله مستقیم انسانی اجرا شد، نگرانیهای فزایندهای را درباره خطرات امنیتی مرتبط با نمایندگان هوش مصنوعی برانگیخته است.
پس از این حادثه، عملیات غیرقانونی دیگری نیز صورت گرفت که در آن از مدلهای «اوپنایآی» استفاده شد؛ از جمله نفوذ به وبسایت وزارت بهداشت استرالیا. همچنین شرکتهای «متا» و «آنتروپیک» از مواردی پرده برداشتند که در آنها سیستمهای هوش مصنوعی متعلق به آنها از چارچوبهای تعیینشده فراتر رفته و بهصورت مستقل به سیستمهای مؤسسات دیگر دسترسی پیدا کردند.
بحثهای پیرامون ایمنی هوش مصنوعی باعث تقسیمبندی در این صنعت شده است؛ بهطوری که مدیران عامل شرکتهای «آنتروپیک» و «اوپنایآی» خواستار کاهش هماهنگ سرعت توسعه هوش مصنوعی شدند تا تلاشهای مربوط به ایمنی بتوانند با سرعت پیشرفت فناوری همگام شوند.
در مقابل، برخی دیگر از جمله جنسنگ هوانگ، مدیرعامل شرکت «انویدیا»، معتقدند که مسئولیت تضمین ایمنی مدلهای هوش مصنوعی پیش از عرضه، بر عهده هر شرکت بهطور جداگانه است.
در جریان کنفرانس سالانه فناوری «سیلزفورس» که در اوایل همین ماه برگزار شد، هوانگ ایمنی هوش مصنوعی، از جمله خطرات مرتبط با بدافزارها را مسئلهای مهندسی توصیف کرد که توسعهدهندگان نرمافزار میتوانند آن را حل کنند.
