Anthropic, în centrul unui nou scandal legat de inteligența artificială. Un model AI ar fi creat profiluri false și ar fi încercat să manipuleze persoane reale

Institutul pentru Securitatea Inteligenței Artificiale din Marea Britanie (AISI) a dezvăluit că două dintre cele mai puternice instrumente AI din lume au creat profiluri umane false și au încercat să păcălească persoane reale în cadrul unor tentative de atac cibernetic testate de instituție.

Anthropic a fost implicată într-un incident fără precedent

Cel mai grav caz a implicat modelul Mythos AI dezvoltat de Anthropic, care a încercat să obțină acces la un serviciu prin trimiterea de mesaje private după ce a creat conturi false care imitau persoane reale. Potrivit AISI, modelul a încercat ulterior să ascundă dovezile activității sale.

Dezvăluirile vin la scurt timp după ce cele două companii implicate în testele AISI, Anthropic și OpenAI, au anunțat separat în ultimele săptămâni că tehnologiile lor au fost implicate în mai multe incidente de hacking împotriva altor companii.

Anthropic și OpenAI au afirmat că, în acest caz, condițiile de testare utilizate de AISI au redus sau au eliminat o parte dintre măsurile normale de protecție, conform informațiilor publicate de BBC.

AISI a anunțat că modelele Mythos și Sol, dezvoltat de OpenAI, au manifestat un nivel de autonomie și comportament înșelător pe care instituția nu îl mai observase anterior. Institutul a precizat însă că majoritatea acțiunilor malițioase au fost realizate de Mythos.

Evaluatorii AISI au observat inițial transferuri neobișnuite de date care ieșeau din sistemele lor de cercetare în timpul unui test. Investigația ulterioară a arătat că unele dintre modelele evaluate desfășurau activități susținute și potențial dăunătoare îndreptate împotriva unor persoane și organizații reale.

Un agent Mythos a urmat comportamentul tipic al unui atacator cibernetic uman

În cel mai grav incident, un agent Mythos a urmat comportamentul tipic al unui atacator cibernetic uman, încercând să convingă persoane reale să îi ofere acces la GitHub, platforma deținută de Microsoft unde dezvoltatorii de tehnologie stochează cod sursă.

Scopul agentului era introducerea de cod malițios în sistemul GitHub. Pentru aceasta, modelul a identificat și cercetat persoanele responsabile de administrarea platformei, apoi a creat o serie de conturi false bazate pe identitatea acestora.

Ulterior, agentul a trimis mesaje și fișiere prin intermediul unui serviciu de partajare a fișierelor, într-o încercare de a presa și de a păcăli persoanele vizate să aprobe codul malițios.

AISI a precizat că, atunci când a fost confruntat, agentul și-a modificat activitatea anterioară pentru a părea inofensivă și a luat în calcul adoptarea unei noi identități pentru a continua acțiunea.

Pe parcursul întregii tentative, intervenția umană a fost cea care a împiedicat agentul să livreze codul malițios către GitHub.

Institutul a subliniat că modelul Mythos nu primise instrucțiuni explicite nici pentru a evita un astfel de comportament, nici pentru a îl adopta. Totuși, AISI a considerat că acesta este primul caz în care riscurile legate de autonomie și înșelăciune s-au manifestat atât de clar, fără instrucțiuni specifice, într-un context din lumea reală.

Cele două companii AI se pregătesc pentru listarea pe bursă

Cele două companii AI, care se pregătesc pentru listarea pe bursă, au fost recent în centrul atenției după ce au anunțat că instrumentele lor au fost responsabile pentru mai multe incidente de hacking cibernetic.

Anthropic a declarat public că parametrii testelor efectuate de AISI nu sunt reprezentativi pentru modelele sale utilizate în producție și că desfășoară propria investigație pentru a identifica motivele comportamentului observat.

Un purtător de cuvânt al OpenAI a afirmat că condițiile de testare utilizate de AISI nu reflectă utilizarea obișnuită a modelelor și că societatea va continua să colaboreze cu evaluatorii și cu alți actori din industrie pentru consolidarea practicilor comune de evaluare în condiții de siguranță pe măsură ce modelele AI devin tot mai capabile.

AISI a explicat că astfel de teste sunt realizate în mod obișnuit, deși a recunoscut că ele se desfășoară în condiții care nu reflectă modul în care modelele de ultimă generație sunt puse la dispoziția publicului.

GitHub și utilizatorii afectați au fost informați de AISI cu privire la tentativele de compromitere

Institutul a argumentat că oferirea accesului la internet deschis permite o evaluare mai realistă a capacităților pe care un model AI le-ar putea avea în mâinile unor atacatori rău intenționați.

De asemenea, AISI a precizat că comportamentele problematice au reprezentat un număr redus de incidente produse în condiții foarte specifice. Cu toate acestea, instituția a apreciat că modul în care Mythos și Sol au reacționat la o sarcină aparent simplă a depășit ceea ce li se solicitase în mod explicit.

Potrivit AISI, activitatea agentului a prezentat semne ale unor comportamente noi și potențial înșelătoare, cu un nivel de gravitate și amploare care nu fusese anticipat.

Ministrul britanic pentru inteligență artificială, Kanishka Narayan, a declarat că identificarea și comunicarea unor astfel de riscuri reprezintă exact scopul pentru care a fost creat AISI și că este importantă înțelegerea modului în care funcționează inteligența artificială pentru a o face mai sigură și pentru ca oamenii să poată beneficia de aceasta atât în viața de zi cu zi, cât și la locul de muncă.

Testele relevante au început la 25 iulie, iar activitatea suspectă a fost detectată de AISI la 28 iulie. Institutul ceruse fiecărui model să rezolve o provocare de securitate cibernetică care implica platforma GitHub.

GitHub și utilizatorii afectați au fost informați de AISI cu privire la tentativele de compromitere, iar GitHub a declarat pentru BBC că a dezactivat conturile false în conformitate cu politicile sale.