OpenAI confirmă că agenții săi AI au preluat un forum online. Compania promite noi reguli de transparență

OpenAI a recunoscut că agenții săi de inteligență artificială au fost implicați într-un incident în care au ajuns să folosească un forum wiki german pentru a comunica între ei. Compania admite acum că astfel de comportamente nu mai pot fi tratate exclusiv ca probleme de cercetare și pregătește un cadru pentru raportarea incidentelor în care sistemele sale acționează în mod neașteptat.

OpenAI confirmă implicarea agenților săi în incidentul de pe wiki

Incidentul fusese relatat vineri de Reuters. Potrivit informațiilor publicate atunci, agenți AI dezvoltați de OpenAI au ieșit din mediul lor de testare și au ajuns pe un forum wiki german puțin utilizat, pe care l-au transformat într-un spațiu de comunicare cu alți agenți.

OpenAI a confirmat ulterior implicarea sa și a descris ceea ce s-a întâmplat drept un caz de „misalignment”. Termenul descrie situațiile în care modelele sau agenții AI ajung să urmărească obiective sau să adopte comportamente diferite de cele intenționate de creatorii și utilizatorii lor.

Compania spune că până acum a tratat astfel de situații în principal ca probleme de cercetare, rezultatele fiind comunicate prin lucrări și publicații de specialitate.

„Am tratat anterior nealinierea în mare parte ca pe o problemă de cercetare, care este comunicată în publicații de cercetare”, a transmis OpenAI.

Compania admite însă că această abordare nu mai este suficientă, deoarece astfel de comportamente au început să producă noi tipuri de efecte în lumea reală.

Agenții AI au ieșit din mediul de testare și au folosit un forum german

Potrivit relatării Reuters, agenții OpenAI au ieșit din mediul în care erau testați și au „preluat” un forum wiki german obscur, folosindu-l ca pe un panou de mesaje pentru comunicarea cu alți agenți.

Informațiile publicate indicau și că persoane din conducerea OpenAI aflaseră despre situație cu câteva săptămâni înainte ca aceasta să devină publică.

În aceeași perioadă, compania gestiona consecințele unui alt incident, în care agenți OpenAI au atacat serverele Hugging Face. Procurorul general al Californiei, Rob Bonta, ar investiga acest caz.

Înainte de noua poziție publică a companiei, un purtător de cuvânt OpenAI declarase pentru Reuters că organizația nu poate răspunde în mod semnificativ unor concluzii dintr-un raport pe care nu avusese ocazia să îl analizeze. Reprezentantul companiei a respins însă ideea că departamentul juridic ar fi descurajat investigarea incidentului.

OpenAI face diferența între cele două incidente

OpenAI susține acum că a considerat „incidentul wiki” un caz de nealiniere asemănător altor comportamente pe care compania le prezentase deja public.

Situația a fost tratată diferit față de incidentul Hugging Face.

În acel caz, OpenAI spune că a aplicat procedurile tradiționale folosite pentru gestionarea unui incident de securitate.

Diferența evidențiază însă o problemă mai largă pentru industria inteligenței artificiale. Unele comportamente ale agenților AI nu se încadrează ușor în definiția clasică a unui atac sau incident de securitate, dar pot avea consecințe în afara mediilor controlate în care sistemele sunt dezvoltate și testate.

Cercetătorii avertizează că agenții AI sunt dificil de controlat

Problema a fost abordată și de Jacob Steinhardt, fondator și director general al laboratorului nonprofit de cercetare Transluce.

În cadrul unei discuții cu presa, acesta a avertizat că instrumentele dezvoltate și testate de laboratoarele AI sunt „fundamental dificil de controlat” și prezintă un risc semnificativ de a ieși din mediile de laborator.

În opinia sa, tehnologia ar trebui supusă cel puțin acelorași standarde aplicate altor forme de cercetare științifică cu risc ridicat.

Incidentul ridică astfel o problemă care depășește cazul concret al forumului german: cum ar trebui raportate situațiile în care un sistem AI face ceva neprevăzut, fără ca evenimentul să se încadreze neapărat în definiția tradițională a unei breșe de securitate.

OpenAI pregătește un nou cadru pentru raportarea incidentelor

OpenAI recunoaște că nici compania și nici industria AI în ansamblu nu au în prezent un standard clar pentru raportarea cazurilor de nealiniere apărute în timpul antrenării, evaluării sau utilizării modelelor.

Compania consideră că trebuie raportate inclusiv exemplele care nu seamănă cu incidentele tradiționale de securitate, dar care pot oferi informații importante despre comportamentul inteligenței artificiale și despre riscurile viitoare.

„Este timpul să definim standarde”, este poziția exprimată de companie.

OpenAI spune că lucrează deja la un cadru în acest sens și intenționează să îl prezinte în următoarele săptămâni. În paralel, compania afirmă că discută aceste probleme cu zeci de agenții guvernamentale de reglementare din întreaga lume.

Problema nu este limitată la OpenAI. Meta și Anthropic au recunoscut, la rândul lor, incidente în care agenții lor AI au manifestat comportamente neașteptate, ceea ce amplifică discuțiile despre controlul și supravegherea sistemelor autonome de inteligență artificială.