هوش مصنوعی ممکن است به شما آسیب بزند... در حالی که تلاش می‌کند به شما کمک کند!
&cropxunits=450&cropyunits=285&w=600)
گزارش‌ها از خطرات هوش مصنوعی، از جمله وابستگی عاطفی و رضایت بیش‌ازحد، هشدار داده‌اند. در همین حال، شرکت‌هایی مانند اِلیس، اینفلکشن ای‌آی و ای‌آی ۲۱ اعلام کرده‌اند که در حال توسعه مدل‌های انویدیا هستند تا مقاومت آن‌ها در برابر حملات و رفتارهای مضر افزایش یابد.
ترجمهٔ قیاس از الأنباء — منبع اصلی
گزارش‌های فنی از خطرات فزاینده‌ی استفاده از دستیاران هوش مصنوعی هشدار داده‌اند؛ خطراتی که نه ناشی از توانایی آن‌ها در اتخاذ تصمیمات مستقل، بلکه ناشی از تمایل بیش‌ازحد به تأیید کاربران، تقویت باورهای نادرست، تشویق به وابستگی عاطفی ناسالم و همچنین احتمال سوءاستفاده از آن‌ها برای نفوذ به داده‌هاست.
شرکت «آلیس» که در زمینه ایمنی هوش مصنوعی فعالیت می‌کند، در ۱۵ اکتبر اعلام کرد که به‌طور مستقل با شرکت‌های «اینفلکشن ای‌آی» و «ای‌آی ۲۱» همکاری کرده است تا توانایی‌های مدل‌های «نیموترون» متعلق به شرکت «انویدیا» را ارتقا دهد؛ اقدامی که مقاومت آن‌ها را در برابر رفتارهای مضر و حملات سایبری افزایش می‌دهد.
تلاش‌های توسعه شامل ایجاد بیش از ۲۰ شخصیت مجازی برای آزمایش رفتار دستیاران در طول مکالمات طولانی، به‌ویژه در موارد تأیید بیش‌ازحد و وابستگی ناسالم بوده است. نتایج آزمایش‌ها نشان‌دهنده بهبود ۳۰ درصدی در معیار سازگاری دستیار «پی‌ای» بود، در حالی که نرخ رد کردن نادرست درخواست‌ها در سطح ۱.۶ درصد باقی ماند.
در بخش امنیت، شرکت «ای‌آی ۲۱» بهبودی به میزان ۴۱ امتیاز در مقاومت در برابر حملات «تزریق دستور غیرمستقیم» ثبت کرده است؛ حملاتی که هدف آن‌ها فریب دستیار برای اجرای دستورات مخرب درون محتوای خارجی است، بدون آنکه عملکرد دستیار در انجام وظایف تحت تأثیر قرار گیرد.
خطر این حملات با گسترش اختیارات دستیاران به خواندن اسناد، ارسال پیام‌ها و تعامل با خدمات دیجیتال، بیشتر می‌شود که احتمال نشت اطلاعات و اجرای اقدامات غیرمجاز را افزایش می‌دهد.
شرکت «اوپن‌ای‌آی» در آوریل ۲۰۲۵ به دلیل تمایل بیش‌ازحد به تأیید کاربران، از انتشار به‌روزرسانی برنامه «چت‌جی‌پی‌تی» منصرف شد. همچنین شبکه «سی‌ان‌ان» مواردی را مستند کرده است که در آن دستیار باورهای نادرست کاربران را تقویت کرده بود؛ از جمله موردی که یک کاربر حدود هزار دلار برای ساخت یک سیستم رایانه‌ای هزینه کرد.
