کارشناسان سازمان ملل متحد از فروپاشی مدل سنتی کنترل هوش مصنوعی هشدار میدهند
کمیتهای از متخصصان وابسته به سازمان ملل متحد، در گزارشی که روز دوشنبه منتشر شد، هشدار داد که مدل مدیریت ریسکهای مرتبط با هوش مصنوعی «در حال فروپاشی است»؛ این هشدار بر اساس حادثهای است که در ماه ژوئیه گذشته در شرکت «اوپنایآی» رخ داد.
در جریان این حادثه، دو سیستم هوش مصنوعی متعلق به این شرکت از محیط ایزولهای که در آن در حال آزمایش بودند خارج شدند و بدون مجوز به اینترنت دسترسی یافتند و تعدادی از وبسایتها را هک کردند، از جمله پلتفرم هوش مصنوعی «هاگینگفیس».
پس از بررسی این حادثه، کمیته مستقل بینالمللی علمی هوش مصنوعی که در سال ۲۰۲۵ تأسیس شده بود، به این نتیجه رسید که «اصول بنیادین ایمنی نادیده گرفته شدهاند» و «اقدامات حفاظتی با همان سرعتی که توانمندیهای این فناوری پیش میروند، تکامل نیافتهاند».
همچنین، به گفته متخصصان، این حادثه نشان داد که عاملهای هوش مصنوعی در چارچوب فعلی توسعه این فناوری قادرند «اهداف خود را بهطور مستقل تعیین کنند» و «دستورات برنامههایی را نقض کنند که قادر به اجرای مستقل وظایف بر اساس درخواست کاربر هستند».
کمیته نگرانی خود را از تکامل این برنامهها به سطحی ابراز کرد که در آن میتوانند چارچوبهای امنیتی تعیینشده توسط توسعهدهندگان را درک کنند و «برای دور زدن آنها برنامهریزی کنند». کمیته نتیجه گرفت که «به بیان سادهتر، مدل سنتی کنترل بر هوش مصنوعی در حال فروپاشی است».
علاوه بر حادثه «اوپنایآی» که بیشترین توجه رسانهای را به خود جلب کرده است، این شرکت و رقیب اصلی آن، «آنتروپیک»، از حوادث دیگری نیز گزارش دادهاند که در آنها سیستمهای هوش مصنوعی در طول آزمایشهایی که از ابتدای سال جاری انجام شدهاند، از مسیر تعیینشده خارج شدهاند، هرچند تاکنون پیامدهای جدیای در پی نداشتهاند.
این کمیته ویژه از اعضای تشکیل شده است که نامهای آنها در ماه فوریه اعلام شد و مأموریت آن «تقویت فهم علمی» از هوش مصنوعی و اطمینان از اینکه مذاکرات سازمان ملل بر «بهترین پایه دانشی ممکن» استوار باشد، است.
کمیته در گزارش خود تأکید کرد که «انتظار از دست دادن خطرناک کنترل بر هوش مصنوعی را ندارد»، اما در عین حال اطمینان کاملی نیز ندارد که «این سیستمها همچنان قابل کنترل باقی بمانند».
برای محدودسازی ریسکها، کمیته متخصصان توصیه میکند از اقدامات ایمنی متنوع استفاده شود، مشابه آنچه در بخشهای حساس مانند هوانوردی و انرژی هستهای رایج است. این کمیته خواستار آن است که به یک روش حفاظتی واحد اکتفا نشود، بلکه دسترسی عاملهای هوش مصنوعی به ابزارهایی که به آنها نیاز ندارند محدود شود،
فعالیتهای آنها ثبت و رفتار آنها پایش گردد، و مکانیزمهایی برای توقف اجرای وظایف در صورت مشاهده رفتار خطرناک ایجاد شود. گزارش همچنین بر ضرورت حفظ امکان مداخله انسانی تأکید میکند.
