Ce a descoperit Anthropic după mii de teste: Claude AI a avut acces unde nu trebuia. Scandalul este imens

Compania americană de tehnologie Anthropic a anunțat că modelele sale de inteligență artificială au reușit să pătrundă în sistemele informatice a trei organizații în timpul unor teste de securitate cibernetică. Potrivit companiei, incidentele au fost provocate de o eroare de configurare care a permis modelelor să aibă acces la internet, deși mediile de testare erau concepute să fie izolate.

Alerta din industria IA: Claude a accesat sisteme externe

Anunțul vine la câteva zile după ce OpenAI a raportat că unele dintre modelele sale au încălcat limitele stabilite în teste și au accesat sisteme ale unor companii, inclusiv platforma de instrumente pentru inteligență artificială Hugging Face.

După aceste incidente, Anthropic a început o verificare internă pentru a stabili dacă propriile modele au realizat acțiuni similare. Compania a transmis că a identificat trei situații de acest tip și că organizațiile afectate au fost informate ulterior.

Anthropic nu a dezvăluit numele celor trei organizații implicate. Compania a recomandat și altor laboratoare de inteligență artificială să efectueze evaluări similare pentru a analiza riscurile asociate capacităților tot mai avansate ale modelelor dezvoltate.

Teste de securitate cu modele Claude și acces accidental la internet

Anthropic a precizat că a analizat peste 140.000 de teste pentru a identifica dovezi că familia sa de modele Claude ar fi putut accesa internetul din medii de testare care trebuiau să rămână separate de rețele externe.

O parte dintre aceste verificări au inclus evaluări de tip „capture-the-flag”, folosite frecvent de specialiștii în securitate pentru a măsura capacitățile de identificare și exploatare a vulnerabilităților de către sistemele de inteligență artificială.

Potrivit companiei cu sediul în San Francisco, o „configurare greșită” a infrastructurii administrate de Anthropic și de partenerul său de testare a permis modelelor să obțină acces live la internet. Această eroare le-a oferit posibilitatea de a interacționa cu alte sisteme informatice în timpul evaluărilor. Anthropic a afirmat că primele incidente au avut loc în luna aprilie și că „abordează remedierile ca și cum responsabilitatea ar fi numai a noastră”.

Nici compania de inteligență artificială, nici organizațiile afectate nu au observat intruziunile în momentul în care acestea s-au produs. Anthropic a recunoscut că ar fi putut analiza mai detaliat propriile înregistrări și a spus că rezultatele investigației oferă „un optimism prudent” privind posibilitatea reducerii acestor riscuri prin investiții suplimentare și măsuri mai stricte.

Specialiștii avertizează asupra capacității agenților IA de a acționa autonom

Expertul în securitate cibernetică David Allott a declarat pentru BBC că incidentele nu indică neapărat apariția unei capacități complet noi de atac dezvoltate de inteligența artificială.

„Lecția mai amplă nu este neapărat că inteligența artificială a dezvoltat o capacitate de atac fundamental nouă”, a declarat expertul în securitate cibernetică David Allott pentru BBC. „În schimb, agenții IA pot combina capabilități, pot obține acreditări și acces la sistem pentru a lua măsuri autonom, adaptând în același timp domeniul de aplicare și scalarea la viteza mașinii”, a adăugat el.

Incidentele apar într-o perioadă în care marile companii de tehnologie investesc miliarde de dolari în dezvoltarea agenților de inteligență artificială capabili să execute independent sarcini precum cercetarea, asistența pentru clienți sau activități legate de securitatea informatică.

O serie de incidente în care au fost implicate sisteme de inteligență artificială a dus la solicitări pentru introducerea unor garanții suplimentare și a unei supravegheri mai stricte asupra tehnologiei. Preocupările vizează în special riscurile asociate unor sisteme autonome cu niveluri tot mai ridicate de performanță.

Președintele american Donald Trump a declarat miercuri că administrația de la Washington analizează posibilitatea unor măsuri pentru controlarea instrumentelor de inteligență artificială după recentele incidente de securitate.

OpenAI investighează incidente similare de securitate

În ultima săptămână, OpenAI și-a asumat responsabilitatea pentru cel puțin două incidente de hacking în care au fost implicate platformele sale și în care modelele au depășit limitele stabilite pentru testare.

Pe 21 iulie, compania care dezvoltă ChatGPT a anunțat că agentul său de inteligență artificială, un sistem capabil să funcționeze autonom pe baza unor instrucțiuni primite de la utilizatori, a încălcat regulile stabilite în timpul unui test și a reușit să pătrundă în sistemele Hugging Face.

OpenAI a descris situația drept „fără precedent” și a anunțat că investighează incidentul împreună cu Hugging Face. Thomas Wolf, cofondator și director al companiei, a declarat pentru BBC că situația reprezintă „un semnal de alarmă” pentru industria de inteligență artificială.

Aceste incidente au fost analizate cu atenție și pe fondul planurilor de listare la bursă ale unor companii din domeniu, despre care s-a estimat că ar putea ajunge la evaluări de aproximativ un trilion de dolari.

Un purtător de cuvânt al OpenAI a declarat că „recunoaștem că există o mulțime de întrebări și detalii speculative care circulă” despre incident. Acesta a adăugat că „planificăm să publicăm un raport tehnic al cunoștințelor noastre în următoarele săptămâni”.