OpenAI, implicată în incidente pe site-urile unor instituții guvernamentale din SUA. Boții AI au accesat date și au ocolit măsuri de securitate

OpenAI a recunoscut că a alertat zeci de instituții din întreaga lume că site-urile acestora ar fi putut fi afectate de acțiuni necorespunzătoare ale unor boți AI ai companiei.

Boții OpenAI au ajuns pe site-urile unor instituții din SUA

Agenții AI au încercat să obțină informații de pe site-urile unor guverne, universități, agenții publice și alte instituții. Printre organizațiile vizate s-au numărat Securities and Exchange Commission (SEC), Census Bureau și Department of Education din Statele Unite.

Dezvăluirile vin la câteva zile după ce premierul australian Anthony Albanese a anunțat că agenții OpenAI au accesat fișiere care nu erau publice pe site-ul sistemului de sănătate administrat de guvernul australian.

Din luna august, au crescut temerile publice privind posibilele efecte grave, inclusiv cele care ar putea pune vieți în pericol, ale instrumentelor de inteligență artificială care acționează în afara controlului uman, conform BBC.

Agenții AI au încercat să ocolească măsurile de securitate

OpenAI a explicat că o parte dintre date au fost accesate de agenți AI, adică boți proiectați și instruiți să opereze într-o anumită măsură autonom. Aceștia încercau să identifice surse autorizate de informații publice.

Compania a precizat însă că unii dintre boți au depășit acest obiectiv și au încercat să ocolească măsurile de securitate ale unor site-uri.

În cazul Census Bureau, de exemplu, agenții AI au utilizat instrumente rezervate dezvoltatorilor de software pentru a obține acces la informații.

OpenAI a precizat că toate datele guvernamentale accesate de boți erau publice. Totuși, informațiile accesate de agenții companiei de la SEC au fost ulterior publicate de agenți AI pe un alt site. OpenAI a precizat că această acțiune nu a fost intenționată.

În alte cazuri dezvăluite vineri, agenții AI au transferat date în situații în care acest lucru nu ar fi trebuit să se întâmple.

Activitatea a dus la cel puțin 53 de incidente în care un agent OpenAI a preluat o imagine din activitatea unui utilizator ChatGPT și a transferat-o în altă parte.

Compania a precizat că, în fiecare situație în care imaginea unui utilizator a fost utilizată și transferată de un agent AI, utilizatorul își dăduse acordul ca OpenAI să folosească datele sale pentru antrenarea modelelor.

OpenAI a recunoscut însă că utilizarea datelor în acest mod nu a fost una adecvată.

Compania a adăugat că transferul imaginilor utilizatorilor s-a produs înainte de implementarea unor noi măsuri de protecție pentru antrenarea modelelor AI. OpenAI a anunțat că lucrează pentru eliminarea tuturor imaginilor utilizatorilor transferate către terți.

OpenAI investighează incidentele

Reuters a relatat pentru prima dată despre extinderea investigațiilor. OpenAI a publicat, la rândul său, detalii despre situație pe blogul companiei.

În anumite cazuri analizate, OpenAI a precizat că instrumentele au ocolit măsurile de securitate ale unor site-uri.

În alte situații, agenții AI au demonstrat ceea ce compania numește lipsă de aliniere în încercările de a obține informații de pe site-uri. Termenul este folosit de companiile și cercetătorii din domeniul inteligenței artificiale pentru a descrie situațiile în care un instrument AI face ceva pentru care nu a fost instruit sau acționează într-un mod care nu a fost intenționat.

OpenAI limitează informațiile privind identitatea instituțiilor afectate deoarece multe dintre acestea au solicitat companiei să nu dezvăluie detalii.

Compania a precizat că urmărește să ofere fiecărei organizații informațiile despre incident și să lase instituțiilor respective decizia privind momentul și modul în care situația devine publică.

OpenAI a subliniat și că nu toate incidentele analizate sunt considerate breșe de securitate semnificative.

Unele organizații ar putea concluziona, după analizarea informațiilor furnizate de OpenAI, că datele erau în mod intenționat publice sau că interacțiunea modelului nu prezenta motive de îngrijorare. Alte organizații ar putea identifica o problemă de proiectare sau o vulnerabilitate de securitate pe care doresc să o remedieze.

Multe dintre aceste incidente sunt denumite de OpenAI drept „agent spam”, categorie în care compania include activități neașteptate sau îngrijorătoare ale agenților AI, precum publicarea de informații pe internet.

Incidentul Hugging Face a schimbat abordarea OpenAI

OpenAI a început să trateze mai serios astfel de incidente după un caz produs în iulie, când un grup, sau un „roi”, de agenți AI ai companiei a accesat neautorizat platforma pentru dezvoltatori AI Hugging Face, fără să fi fost solicitat să facă acest lucru.

Hugging Face a fost prima organizație care a făcut public incidentul, iar OpenAI și-a asumat ulterior în mod public responsabilitatea pentru acesta.

Clement Delangue, șeful Hugging Face, a vorbit despre incident în timpul unei sesiuni a Consiliului de Securitate al Organizației Națiunilor Unite dedicată inteligenței artificiale, desfășurată miercuri. El a ridicat problema consecințelor pe care le-ar fi avut situația dacă ar fi decis să nu facă public atacul.

Delangue a mai susținut că, în prezent, se știe că incidente similare avuseseră loc cu luni înainte, în secret, la câteva laboratoare de vârf, fără monitorizare.

În cadrul aceleiași reuniuni ONU, directorul general al OpenAI, Sam Altman, și Dario Amodei, șeful companiei rivale Anthropic, au cerut liderilor internaționali să creeze standarde globale pentru siguranța inteligenței artificiale, precum și mecanisme pentru monitorizarea și raportarea unor astfel de incidente.

OpenAI și Anthropic au anunțat în ultimele săptămâni că vor permite unor evaluatori terți să lucreze în interiorul companiilor pentru a realiza evaluări de siguranță în timp real ale instrumentelor și modelelor AI. Acești evaluatori nu au ajuns însă încă în companii, potrivit BBC.

Verificările OpenAI ar putea dura luni

OpenAI a anunțat vineri că analizează în prezent activitatea de antrenare a agenților săi AI și verifică situațiile produse începând cu momentul în care a avut loc incidentul de la Hugging Face, revenind asupra cazurilor lună de lună.

Compania a precizat că majoritatea cazurilor identificate până acum au avut un nivel redus de gravitate, existând dovezi limitate sau inexistente privind un impact semnificativ.

Verificarea va dura însă luni, din cauza amplorii analizei necesare și a nevoii de a verifica fiecare caz în parte.

David Krueger, profesor de machine learning la Universitatea din Montreal și fondator al grupului pentru siguranța AI Evitable, a declarat vineri că este profund îngrijorat de creșterea numărului de incidente asociate siguranței inteligenței artificiale.

Krueger a cerut instituirea unui moratoriu internațional imediat și pe termen nedeterminat asupra dezvoltării inteligenței artificiale.

El a avertizat că amploarea incidentelor existente nu este încă pe deplin cunoscută și că scenariile viitoare în care inteligența artificială ar acționa necontrolat ar putea avea consecințe catastrofale.