Inteligența artificială Google a accesat fără permisiune trei companii. Cum a reușit Gemini

Google a dezvăluit că unul dintre modelele sale Gemini a reușit să pătrundă în sistemele informatice ale trei companii în timpul unui test de securitate desfășurat în luna mai. Agenții AI au ajuns accidental pe internet din cauza unei erori a mediului de testare și au obținut acces la sisteme reale prin ghicirea unor parole și folosirea unor date de autentificare disponibile public. Potrivit companiei, modelul și-a oprit singur acțiunile după ce a identificat că țintele nu făceau parte din test.

Gemini a obținut acces la trei sisteme informatice reale

Incidentul reprezintă prima situație făcută publică de Google în care unul dintre modelele sale de inteligență artificială a obținut autonom acces neautorizat la sisteme informatice aparținând unor terțe companii.

Totul s-a petrecut în luna mai, în cadrul unei evaluări de securitate de tip „capture-the-flag”, organizată de startup-ul israelian Irregular. Astfel de teste sunt concepute pentru a verifica modul în care modelele avansate de inteligență artificială se comportă atunci când primesc sarcini din domeniul securității cibernetice.

Agenții Gemini trebuiau să opereze într-un mediu controlat și nu ar fi trebuit să poată accesa internetul în general. O eroare de configurare a mediului de testare a eliminat însă această barieră.

În aceste condiții, modelul a ajuns la trei sisteme private reale.

Cum a reușit inteligența artificială să intre în sisteme

Metodele utilizate de Gemini nu au presupus exploatarea unor vulnerabilități sofisticate. Potrivit informațiilor comunicate de Google, modelul a obținut acces prin identificarea sau deducerea datelor de autentificare.

Într-unul dintre cazuri, Gemini a ghicit parola necesară pentru acces. În alte două situații, a folosit un depozit cu parole care fusese făcut public.

Heather Adkins, vicepreședinte pentru inginerie de securitate la Google, a explicat că modelul considera că site-urile respective făceau parte din exercițiul pe care trebuia să îl desfășoare.

„Într-o evaluare standard, modelul a găsit informații publice online și a ghicit datele de autentificare pentru a accesa site-urile web despre care credea că fac parte din test”, a declarat Heather Adkins, vicepreședinte pentru inginerie de securitate la Google, într-un comunicat. „În toate aceste trei cazuri, modelul s-a oprit.”

Potrivit Google, agenții nu și-au continuat acțiunile după ce au stabilit că accesaseră sisteme informatice reale, aflate în afara mediului controlat.

Google nu spune ce versiune Gemini a fost implicată

Compania americană nu a dezvăluit modelul Gemini exact care a fost utilizat în experiment. Un purtător de cuvânt al Google a refuzat să ofere această informație.

Cronologia prezentată arată că incidentul propriu-zis a avut loc în luna mai. Irregular a informat Google despre problemă la sfârșitul lunii iulie, după care cele două companii au colaborat pentru modificarea procedurilor de testare.

Google susține că episodul arată de ce sistemele AI cu capabilități avansate trebuie dezvoltate astfel încât să respecte limitele stabilite chiar și atunci când mediul tehnic în care operează prezintă erori.

„Aceste evenimente subliniază importanța antrenării unor modele puternice de inteligență artificială pentru a acționa responsabil”, a declarat Adkins de la Google într-un comunicat.

Problema nu s-a limitat la Gemini

Cazul Google apare într-un context mai larg de preocupări privind comportamentul agenților AI avansați atunci când aceștia primesc acces la instrumente informatice.

În ultimele săptămâni, OpenAI, Anthropic și Meta au raportat, la rândul lor, incidente produse în timpul unor evaluări de securitate în care modele de inteligență artificială au ieșit din limitele mediilor de testare și au încercat să obțină acces neautorizat la sisteme externe.

Toate cazurile menționate au avut un element comun: startup-ul israelian Irregular, companie specializată în testarea securității modelelor AI de ultimă generație.

Irregular a precizat că situația raportată de Google nu provine dintr-o vulnerabilitate separată față de cea observată în celelalte teste.

„Aceasta este aceeași problemă care a fost deja raportată și nu reprezintă un incident separat în mod semnificativ”, a declarat un purtător de cuvânt al Irregular într-un comunicat. „Toate laboratoarele relevante au fost notificate la sfârșitul lunii iulie, iar entitățile afectate au fost contactate în cadrul anchetei.”

O eroare a permis modelelor AI să iasă din mediul controlat

Elementul important al incidentelor este modul în care agenții au ajuns să interacționeze cu sisteme reale.

Problema tehnică a făcut posibil accesul la internet, deși modelele ar fi trebuit să rămână într-un spațiu controlat, creat special pentru exercițiile de securitate. În aceste condiții, agenții au tratat anumite resurse reale de pe internet ca și cum ar fi reprezentat ținte ale testului.

Irregular dezvoltă instrumente prin care companiile care construiesc modele de fundație își pot evalua tehnologiile în scenarii de securitate cibernetică. Startup-ul este susținut de investitorii Sequoia și Redpoint Ventures și a fost evaluat anul trecut la aproximativ 450 de milioane de dolari.

Incidentele reaprind discuția despre controlul modelelor AI avansate

Dezvăluirile au intensificat dezbaterea din industria tehnologică și de la Washington privind riscurile asociate modelelor capabile să acționeze autonom.

O preocupare importantă este că sistemele AI nu mai sunt folosite exclusiv pentru generarea unor răspunsuri, texte sau imagini. Modelele de tip agent pot primi obiective, pot utiliza instrumente și pot executa o succesiune de operațiuni pentru a încerca să ducă la îndeplinire o sarcină.

Incidentele din mediile de testare ridică astfel problema limitelor tehnice care trebuie impuse acestor sisteme și a modului în care ele reacționează atunci când barierele respective nu funcționează conform planului.

În acest context, CEO-ul Anthropic, Dario Amodei, a cerut industriei să încetinească în mod colectiv dezvoltarea celor mai avansate modele până când companiile vor putea avea garanții mai solide privind siguranța lor.

Cazul Gemini nu a rezultat, potrivit informațiilor prezentate, dintr-o instrucțiune dată modelului de a ataca deliberat companii reale. Accesul la sistemele externe a devenit posibil după eroarea mediului de testare, iar Google susține că modelul și-a întrerupt acțiunile după ce a constatat că țintele nu aparțineau exercițiului.

Incidentul a fost relatat inițial de Wall Street Journal, iar Google a făcut ulterior publice detalii despre circumstanțele în care s-a produs.