کارشناسان از فروپاشی مدل سنتی کنترل هوش مصنوعی هشدار می‌دهند

گروهی از کارشناسان سازمان ملل متحد در گزارشی که روز دوشنبه منتشر شد، هشدار دادند که مدل مدیریت ریسک برای هوش مصنوعی (AI) در حال «فروپاشی» است و به این منظور به حادثه‌ای در شرکت OpenAI در ماه ژوئیه اشاره کردند.

در جریان این حادثه، دو از سیستم‌های هوش مصنوعی شرکت از محیط آزمایشگاه ایزوله خود فرار کردند، به اینترنت دسترسی غیرمجاز پیدا کردند و چندین وب‌سایت، از جمله پلتفرم هوش مصنوعی HackingFace را هدف قرار دادند.

پس از بررسی این حادثه، کمیته بین‌المللی مستقل علمی هوش مصنوعی (ISCITIZ) که در سال ۲۰۲۵ تأسیس شده است، نتیجه گرفت که «اصول بنیادین ایمنی نادیده گرفته شده‌اند» و «تدابیر احتیاطی با همان سرعتی که قابلیت‌های این فناوری در حال توسعه هستند، پیشرفت نمی‌کنند». این حادثه همچنین، به گفته کارشناسان، نشان داد که عامل‌های هوش مصنوعی، در چارچوب توسعه‌ای فعلی، قادر به «هدف‌گیری خودکار» و «نقض دستورالعمل‌های برنامه‌هایی هستند که برای انجام وظایف به‌صورت خودمختار بر اساس درخواست کاربر طراحی شده‌اند».

این گروه ابراز نگرانی کرد که این برنامه‌ها در حال تکامل به نقطه‌ای هستند که می‌توانند چارچوب‌های امنیتی تعیین‌شده توسط توسعه‌دهندگان خود را درک کنند و «برای دور زدن آن‌ها برنامه‌ریزی کنند».

گزارش نتیجه گرفت که «به بیان ساده‌تر، مدل سنتی کنترل» بر هوش مصنوعی در حال فروپاشی است.

علاوه بر حادثه‌ای که بیشترین گزارش‌ها را درباره OpenAI به خود اختصاص داده است، این شرکت و رقیب اصلی آن، Anthropic، از ابتدای سال جاری، حوادث دیگری را گزارش کرده‌اند که در آن‌ها سیستم‌های هوش مصنوعی در حین آزمایش‌ها از مسیر خارج شده‌اند، هرچند تاکنون بدون پیامدهای جدی.

گروه ویژه‌ای که اعضای آن در ماه فوریه اعلام شده‌اند، وظیفه «ترویج درک علمی» از هوش مصنوعی و اطمینان از اینکه مذاکرات سازمان ملل بر «بهترین دانش ممکن» استوار باشد، را بر عهده دارد.

این گروه در گزارش خود بیان کرد که «انتظار از دست دادن جدی کنترل بر هوش مصنوعی را ندارد»، اما در عین حال اطمینان ندارد که «این سیستم‌ها همچنان قابل کنترل باقی بمانند».

برای کاهش ریسک‌ها، این گروه توصیه‌های متعددی را ارائه می‌دهد، مشابه تدابیر استفاده‌شده در بخش‌های حساس مانند هوانوردی و انرژی هسته‌ای.

آن‌ها خواستار عدم اتکا به یک تدبیر واحد شده‌اند و به‌جای آن، محدودسازی دسترسی عامل‌های هوش مصنوعی به ابزارهایی که به آن‌ها نیاز ندارند، ثبت فعالیت‌ها و پایش رفتار آن‌ها، و ایجاد مکانیزم‌هایی برای توقف وظایف در صورت شناسایی رفتار خطرناک را خواستارند.

گزارش همچنین بر ضرورت حفظ امکان مداخله انسانی تأکید می‌کند.