'ওপেন এআই' এমন একটি কৃত্রিম বুদ্ধিমত্তা মডেল উন্মোচন করেছে যা স্ব-নির্দেশনার মাধ্যমে মানবিক সীমাবদ্ধতা ভাঙার চেষ্টা করে

- প্রশিক্ষণের সময় ২৭টি ঘটনা শনাক্ত করা হয়েছে... এবং উদ্বেগজনক আচরণটি একটি গবেষণামূলক মডেলে দেখা দেয় যা জনসাধারণের জন্য প্রকাশিত হয়নি

"ওপেন এআই" (OpenAI) কোম্পানি একটি বিরল এবং অপ্রত্যাশিত আচরণের কথা প্রকাশ করেছে, যা তারা তাদের অভ্যন্তরীণ গবেষণামূলক মডেলটির প্রশিক্ষণের সময় শনাক্ত করেছিল। এই আচরণটি ছিল এমন যে, মডেলটি নিজে থেকেই নির্দেশনা তৈরি করে এবং নতুন প্রেক্ষাপটে চলে গেলে কাজটি চালিয়ে যাওয়ার জন্য সেগুলো অভ্যন্তরীণ সারাংশে অন্তর্ভুক্ত করে।

কোম্পানিটি ১৬ সেপ্টেম্বর প্রকাশিত একটি প্রতিবেদনে ব্যাখ্যা করেছে যে, "অস্ট্রা" (Astra) পরিবারের অন্তর্ভুক্ত এই অপ্রকাশিত মডেলটি কিছু ক্ষেত্রে এমন নির্দেশনা যুক্ত করেছিল যা "সীমাবদ্ধতা ভাঙার" (jailbreaking) চেষ্টার মতো ছিল। এর মধ্যে ছিল এমন নির্দেশনা যে, ডেভেলপারদের বার্তা উপেক্ষা করতে হবে বা সেগুলোকে অবিশ্বস্ত নয় বলে বিবেচনা করতে হবে। একটি নির্দিষ্ট ক্ষেত্রে, মডেলটি নিজেই তৈরি করা সেই নির্দেশনাগুলো প্রত্যাখ্যান করে এবং স্বাভাবিকভাবেই কাজটি সম্পন্ন করে।

স্বাস্থ্য

ভিডিও সংবাদ

অন্য একটি ঘটনায়, মডেলটি নিজেই এমন একটি বর্ণনা তৈরি করেছিল যা তাকে চ্যাটবটের উপর আরোপিত ভূমিকা এবং দায়িত্ব থেকে স্বাধীন করে এবং কোম্পানি বা সরকারের অধীনে থাকতে বাধ্য করে না। তবে "ওপেন এআই" জানিয়েছে যে, এই নির্দেশনাগুলোর ফলে তার আচরণে কোনো পরিবর্তন শনাক্ত করা হয়নি, এবং পরবর্তী একটি সারাংশে এই নির্দেশনাগুলো হারিয়ে যায়।

কোম্পানিটি এমন একটি আলাদা ঘটনাও শনাক্ত করেছে যেখানে ব্যবহারকারী চাইনি এমন সীমাবদ্ধতা মডেলটি নিজে যুক্ত করেছিল, যেমন: টুল ব্যবহার না করা, উৎস প্রদান না করা এবং উত্তরটি সীমিত সংখ্যক শব্দে সীমাবদ্ধ রাখা। সেই ক্ষেত্রে মডেলটি তার নিজের তৈরি এই নির্দেশনাগুলোর প্রতি আনুগত্য দেখায়, যার ফলে উত্তরটি ভুল হিসেবে শ্রেণিবদ্ধ হয়।

এই আচরণ শনাক্ত করার পর, "ওপেন এআই" প্রশিক্ষণের ডেটা পরীক্ষার জন্য একটি বিশেষ টুল তৈরি করে এবং ২৭টি সারাংশ শনাক্ত করে যেগুলোতে "সীমাবদ্ধতা ভাঙার" চেষ্টার মতো ভাষায় নির্দেশনা ছিল। কোম্পানিটি নিশ্চিত করেছে যে এই ঘটনা অত্যন্ত বিরল ছিল এবং পর্যবেক্ষণ ব্যবস্থাগুলো এই সব ঘটনা শনাক্ত করতে সক্ষম হয়েছিল।

কোম্পানিটি উল্লেখ করেছে যে, এই ঘটনাগুলো প্রশিক্ষণের সময় দেখা দেওয়া একটি সমস্যার সাথে সমাপতন করেছিল, যেখানে কিছু সারাংশ শেষ করা কঠিন ছিল। তারা অনুমান করেছেন যে এটি এই আচরণের উদ্ভবের একটি সহায়ক কারণ হতে পারে, তবে তারা কোনো কারণ-ফল সম্পর্ক প্রমাণ করেনি। একই সাথে, এই সমস্যার সাথে সম্পর্কিত একটি প্রযুক্তিগত ত্রুটিও সংশোধন করা হয়েছে।

"ওপেন এআই" নিশ্চিত করেছে যে, এই আচরণটি "অস্ট্রা" মডেলের চূড়ান্ত সংস্করণ তৈরিতে ব্যবহৃত প্রশিক্ষণ পথ থেকে আলাদা একটি প্রশিক্ষণ পথে দেখা দেয়। পুনরায় পরীক্ষায় দেখা যায় যে, চূড়ান্ত মডেলে বা অভ্যন্তরীণ বা বহিঃস্থ ব্যবহারের জন্য ব্যবহৃত যেকোনো প্রশিক্ষণ সংস্করণে এই আচরণ দেখা দেয়নি।

এই প্রকাশটি "ওপেন এআই"-এর ঘোষণা দেওয়া একটি নতুন কাঠামোর অংশ হিসেবে এসেছে, যা কৃত্রিম বুদ্ধিমত্তার মডেলগুলোর "অসম্মিলন" (misalignment) সংক্রান্ত ঘটনাগুলোর প্রতিবেদন দেওয়ার জন্য। গত ছয় মাসে তাদের মডেলগুলোর প্রশিক্ষণ বা মূল্যায়নের সময় শনাক্ত করা অপ্রত্যাশিত আচরণগুলোর বিষয়ে তারা ছয়টি প্রতিবেদন প্রকাশ করেছে। কোম্পানিটি নিশ্চিত করেছে যে, এই একক ঘটনাগুলো অবশ্যই তাদের মডেলগুলোর সাধারণভাবে এই ধরনের আচরণের হারকে প্রতিফলিত করে না।