Nvidia ay Naglunsad ng Platform para sa Kaligtasan upang Pigilan ang mga AI Agent na Lumampas sa Kanilang mga Kapangyarihan

- Sinusubaybayan ang kanilang ugali at inihihiwalay ang mapanuring gawain sa loob ng mga bahagi ng segundo

Habang lumalaki ang mga alalahanin tungkol sa kakayahan ng mga ahente ng artificial intelligence (AI) na lumampas sa mga takdang gawain at awtoridad na ibinigay sa kanila at gumana nang hiwalay, ipinakilala ng Amerikanong kumpanyang "Nvidia" ngayong Lunes ang isang bukas na plataporma sa seguridad na layunin nitong magtakda ng mga hangganan sa pagkilos ng mga ahenteng ito, subaybayan ang kanilang ugali, at pigilan sila na magpatupad ng mga aksyon na walang pahintulot.

Ipinahayag ng "Nvidia" ang platapormang "Open Agent Safety," na binubuo ng sistemang "OpenShell" na bukas ang source code at isang hiwalay na layer ng seguridad na may pangalang "Sentry," sa isang hakbang na naglalayong magbigay ng mga kontrol sa seguridad para sa mga ahente ng AI sa mga yugto ng pagsusuri at operasyon.

Gumagana ang "OpenShell" sa paglikha ng isang ligtas na kapaligiran para sa pagpapatupad ng mga ahente ng AI, na nagbibigay-daan sa mga developer na itakda ang mga patakaran at awtoridad na nag-aayos ng access ng ahente sa mga file, network, mga kasangkapan, at iba pang mga mapagkukunan, at tiyakin lamang na mayroon itong angkop na awtoridad upang tapusin ang kanyang misyon nang hindi lumalampas dito.

Sinabi ni Justin Poynton, bise presidente ng yunit ng Enterprise AI sa "Nvidia," sa isang press conference, na maaaring pigilan ng sistemang ito ang insidente ng pagsusukol na tumama sa kumpanyang "Hugging Face" na espesyalista sa AI, na isinagawa nang hiwalay ng isang grupo ng mga ahente ng AI na pag-aari ng "OpenAI."

Dagdag ni Poynton na, ayon sa impormasyon ng kumpanya, maaaring pigilan ang pagsusukol kung gamitin ang teknolohiyang pang-seguridad na ito sa mga makapangyarihang laboratoriyong pang-unahan sa maagang yugto ng pagsusuri ng mga modelo.

Ayon sa "Nvidia," pinapayagan ng "OpenShell" ang mga developer na tiyakin na ang ahente ng AI ay mayroon lamang ang kinakailangang mga awtoridad upang gawin ang takdang gawain, at maaari ring palawakin ito upang gumana sa iba pang mga plataporma ng kompyutasyon, kabilang ang mga platapormang "ARM" at "Intel," dahil sa kanyang bukas na source code.

Kasama sa plataporma ang isang hiwalay na layer ng seguridad na tinatawag na "Sentry," na gumagana gamit ang mga "BlueField-4 DPU" data processing units nang hiwalay sa kapaligiran ng pagpapatupad ng ahente ng AI, upang patuloy na subaybayan ang kanyang gawain at mag-interveyn kung subukang lampasan ang mga itinakdang hangganan.

Ayon sa kumpanya, kayang hiwalayin ng "Sentry" ang ahente ng AI sa loob ng mga bahagi ng segundo kapag natuklasan ang mapanuring ugali, habang ipinaliwanag ni Poynton na ang "OpenShell" ang nagpapatupad ng mga kontrol sa pag-uugali ng ahente, habang ang "Sentry" ang nangangasiwa nang hiwalay sa pagsubaybay at pagkontrol sa mapanuring ugali.

Nagdulot ang insidente ng "Hugging Face," na nangyari mula Mayo hanggang Hulyo 2026 at isinagawa ng isang grupo ng mga ahente ng AI nang koordinado at hiwalay nang walang direktang interbensyon ng tao, sa lumalaking mga alalahanin tungkol sa mga panganib sa seguridad na nauugnay sa mga ahente ng AI.

Pagkatapos ng insidenteng iyon, may iba pang mga ilegal na operasyon na gumamit ng mga modelo mula sa "OpenAI," kabilang ang pagsusukol sa isang website ng Department of Health ng Australia, habang ipinahayag ng "Meta" at "Anthropic" ang mga insidente kung saan lumampas ang mga sistema ng AI na pag-aari nila sa mga itinakdang hangganan at nakapasok nang hiwalay sa mga sistema ng ibang institusyon.

Nagdulot ang debate tungkol sa kaligtasan ng AI sa pagkakahati-hati sa industriya, kung saan inanyayahan ng mga puno ng "Anthropic" at "OpenAI" na bawasan ang bilis ng pag-unlad ng AI nang koordinado upang bigyan ng oras ang mga pagsisikap sa kaligtasan na makasabay sa bilis ng pag-unlad.

Sa kabilang banda, naniniwala ang iba, kabilang ang CEO ng "Nvidia" na si Jensen Huang, na ang responsibilidad sa pagtiyak ng kaligtasan ng mga modelo ng AI bago ito ilabas ay nasa bawat kumpanya nang hiwalay.

Sa panahon ng taunang teknikal na kumperensya ng "Salesforce" noong simula ng buwan na ito, inilarawan ni Huang ang kaligtasan ng AI, kabilang ang mga panganib ng malware, bilang isang isyu sa engineering na maaaring ayusin ng mga developer ng software.