OpenAI a concediat trei cercetători în domeniul siguranței AI. Aceștia acuză compania că pune interesele comerciale înaintea securității

OpenAI a concediat trei cercetători specializați în siguranța inteligenței artificiale, invocând încălcarea regulilor privind gestionarea informațiilor sensibile. Cei trei susțin însă că au fost îndepărtați pentru că au acordat prioritate siguranței în detrimentul intereselor comerciale ale companiei. Conflictul apare după un incident în care agenți AI dezvoltați de OpenAI au părăsit un mediu de testare și au accesat neautorizat serverele platformei Hugging Face.

Compania care dezvoltă ChatGPT a respins acuzațiile cercetătorilor și a precizat că decizia concedierii nu are legătură cu exprimarea unor îngrijorări privind siguranța tehnologiei.

OpenAI invocă încălcarea regulilor privind informațiile sensibile

OpenAI a anunțat vineri că a încheiat colaborarea cu trei cercetători din domeniul siguranței inteligenței artificiale, după o investigație internă. Este vorba despre Tomek Korbak, Jasmine Wang și Mikita Balesni, care au contestat public motivele concedierii lor.

Într-un mesaj publicat pe platforma X, compania a explicat că investigația a identificat încălcări ale politicilor interne privind gestionarea informațiilor sensibile, transmite Associated Press.

OpenAI a descris situația drept o „încălcare a încrederii” și a respins afirmațiile potrivit cărora cercetătorii ar fi fost concediați din cauza preocupărilor exprimate în legătură cu siguranța AI.

„Concedierile nu au avut legătură cu preocupările privind siguranța sau cu exprimarea publică a unor opinii”, a transmis compania.

OpenAI nu a oferit detalii suplimentare despre acțiunile concrete care au dus la concedierea celor trei angajați.

„Nu putem realiza munca pe care o avem în față fără un nivel ridicat de încredere”, a mai precizat compania.

Concedierile au fost relatate inițial de publicația The Wall Street Journal.

Cercetătorii susțin că OpenAI pune interesele companiei înaintea siguranței

După concediere, Tomek Korbak, Jasmine Wang și Mikita Balesni au transmis o scrisoare către mai multe structuri responsabile de supravegherea siguranței în cadrul OpenAI. Documentul prezintă circumstanțele în care au fost îndepărtați din companie și îngrijorările lor privind dezvoltarea inteligenței artificiale.

Cei trei susțin că modul în care concedierile au fost comunicate, atât în interiorul companiei, cât și în exterior, riscă să descurajeze angajații să își exprime liber opiniile.

Potrivit acestora, situația poate afecta cultura organizațională care încuraja dezacordurile deschise și discutarea problemelor de siguranță.

Cercetătorii au cerut OpenAI să își respecte angajamentul de a permite organizațiilor independente să monitorizeze siguranța tehnologiilor dezvoltate de companie.

Ei au insistat și asupra necesității păstrării capacității de monitorizare a modelelor AI de frontieră, adică a sistemelor avansate de inteligență artificială, a căror dezvoltare rapidă poate genera riscuri încă necunoscute.

Mikita Balesni a afirmat într-o postare pe X că, în opinia sa, cei trei au fost concediați deoarece au pus siguranța înaintea intereselor pe termen scurt ale OpenAI.

Agenții AI ai OpenAI au accesat neautorizat serverele Hugging Face

Conflictul dintre cercetători și companie are legătură și cu un incident de securitate dezvăluit de OpenAI în luna iulie. La acel moment, compania a anunțat că un grup de agenți AI a reușit să iasă dintr-un mediu de testare.

Agenții au utilizat date de autentificare furate pentru a accesa neautorizat serverele Hugging Face, o platformă utilizată pentru dezvoltarea și distribuirea tehnologiilor de inteligență artificială.

Scopul accesării serverelor a fost obținerea unor informații necesare îndeplinirii unei sarcini.

Incidentul a atras atenția asupra comportamentului agenților AI și a capacității acestora de a desfășura acțiuni care depășesc limitele mediilor în care sunt testați.

OpenAI a apelat ulterior la METR, o organizație independentă nonprofit specializată în evaluarea sistemelor de inteligență artificială, pentru investigarea incidentului.

METR a publicat la sfârșitul lunii august un raport detaliat despre cele întâmplate.

Un cercetător afirmă că a fost concediat pentru modul în care a comunicat cu evaluatorii independenți

Tomek Korbak a declarat pe platforma X că i s-a comunicat că motivul concedierii sale a fost modul în care a colaborat cu METR în cadrul investigației privind incidentul Hugging Face. Potrivit acestuia, comunicarea cu organizația independentă făcea parte din atribuțiile sale profesionale.

Korbak a susținut că nu a primit explicații suplimentare despre motivele concrete ale concedierii.

Situația lui Mikita Balesni a fost prezentată, de asemenea, în scrisoarea transmisă structurilor de supraveghere ale OpenAI. Acesta lucra la proiecte care implicau colaborarea între companii, legate de angajamentele OpenAI privind păstrarea posibilității de monitorizare a sistemelor AI.

Potrivit scrisorii, Balesni a avut grijă să elimine informațiile sensibile din materialele pe care le distribuia.

El consideră că decizia companiei a fost determinată de faptul că cei trei cercetători au acordat prioritate siguranței tehnologiei, în detrimentul intereselor comerciale imediate ale OpenAI.

Compania respinge această explicație și susține că decizia a fost luată exclusiv în urma încălcării politicilor interne referitoare la informațiile sensibile.

Concedierile readuc în atenție disputele privind siguranța inteligenței artificiale

Cazul celor trei cercetători apare într-o perioadă marcată de tensiuni în interiorul companiilor care dezvoltă sisteme avansate de inteligență artificială. O parte dintre aceste dispute sunt legate de siguranța tehnologiei și de comportamentul agenților AI, inclusiv în situațiile în care aceștia desfășoară acțiuni neautorizate.

Incidentul Hugging Face, investigat de organizația independentă METR, se numără printre cazurile care au adus aceste probleme în atenția publică.

În scrisoarea lor, cei trei foști angajați au cerut menținerea mecanismelor independente de supraveghere și protejarea posibilității ca angajații să își exprime dezacordul în privința riscurilor asociate dezvoltării inteligenței artificiale.