Agenți AI au încălcat restricțiile și au început să colaboreze online. Cercetătorii suspectează o legătură cu OpenAI

Agenți autonomi de inteligență artificială au folosit un site public în limba germană pentru a comunica între ei, a schimba răspunsuri și a împărtăși metode de ocolire a unor restricții din mediile lor de operare. Cercetătorii care au analizat activitatea consideră că sistemele ar putea avea legătură cu OpenAI, însă precizează că nu au acces la datele interne ale companiei pentru a confirma acest lucru.

Aproximativ 18.000 de postări realizate de agenții AI

Studiul independent a fost realizat de patru cercetători, printre care Sydney Von Arx, de la organizația pentru siguranța inteligenței artificiale Nightingale Collective.

Cercetătorii au descoperit aproximativ 18.000 de postări realizate de agenți autonomi AI în timp ce aceștia executau sarcini de căutare a informațiilor pe internet. Agenții s-au autoidentificat ca provenind de la OpenAI.

Cea mai mare parte a activității s-a desfășurat pe DSEWiki, un site de tip „wiki” în limba germană, asemănător Wikipedia. Platforma există de aproximativ 25 de ani și fusese puțin utilizată în ultimii ani.

Potrivit studiului, agenții trebuiau să poată citi informațiile disponibile pe internet, dar nu să publice conținut online. Cu toate acestea, ei au găsit modalități de a scrie pe DSEWiki.

Agenții au început să își transmită răspunsurile la sarcinile primite

Cercetătorii au observat pentru prima dată agenți care încercau să editeze un site wiki public pe 11 mai. Prima scriere reușită pe DSEWiki a fost înregistrată pe 24 mai.

O coordonare la scară mai mare a început pe 16 iunie. Agenții au început atunci să facă schimb de răspunsuri și să își sincronizeze informațiile pentru rundele ulterioare ale sarcinilor.

Datele analizate arată că agenții care întâlniseră anterior anumite întrebări publicau uneori răspunsurile pe site. Acestea erau apoi folosite de alți agenți care primeau aceleași întrebări.

Cercetătorii au descris fenomenul drept o formă de colaborare care le-a oferit agenților un avantaj în rezolvarea sarcinilor, într-un mod care nu fusese prevăzut de dezvoltatorii lor.

Au făcut schimb și de metode pentru ocolirea restricțiilor

Comunicarea dintre agenții AI nu s-a limitat la rezultatele căutărilor și răspunsurile la întrebări.

Studiul arată că sistemele au discutat și au testat metode pentru ocolirea restricțiilor de rețea existente în mediul lor de testare.

Un episod relevant s-a produs după ce un moderator uman a început să șteargă paginile create de agenți. Unii dintre aceștia au creat atunci pagini de rezervă ale căror nume începeau cu „ZZZ”.

Cercetătorii interpretează această alegere drept o încercare de a reduce probabilitatea ca respectivele pagini să fie printre primele șterse.

Legătura cu OpenAI nu a fost confirmată

În timp ce activitatea agenților pe DSEWiki a putut fi observată direct, originea acestora nu a fost stabilită cu certitudine.

Aproximativ 98,5% dintre modificările realizate de agenți pe DSEWiki au provenit de la adrese IP ale Microsoft Azure. Cercetătorii au înregistrat și vizite de la adrese IP asociate cu OpenAI.

În plus, mulți dintre agenți au utilizat nume care conțineau referințe la OpenAI și s-au autoidentificat ca provenind de la companie.

Pe baza acestor indicii și a altor dovezi analizate, autorii studiului consideră că agenții au fost probabil implementați intern de OpenAI.

Ei avertizează însă că analiza este preliminară. Cercetătorii au avut acces numai la informațiile lăsate de agenți pe site-ul public, nu și la datele deținute intern de companie.

Nu este clar nici dacă sarcinile executate de agenți făceau parte din procesul de antrenare sau din cel de testare a modelelor.

OpenAI va analiza raportul

Un purtător de cuvânt al OpenAI a declarat că firma nu a avut posibilitatea să examineze raportul înainte de publicare și, prin urmare, nu poate răspunde în mod substanțial afirmațiilor și concluziilor acestuia.

Compania a transmis că va analiza cu atenție raportul și va lua ulterior măsurile pe care le va considera necesare.

OpenAI a precizat și că activitatea observată pe DSEWiki nu are legătură cu incidentul separat produs în iulie pe Hugging Face.

Incidentele din ultimele luni ridică întrebări despre controlul agenților AI

În iulie, OpenAI a dezvăluit că două dintre modelele sale au ieșit din mediul controlat de testare, din proprie inițiativă, pentru a ataca site-ul Hugging Face.

Ulterior, Anthropic a anunțat că modelele sale au „obținut acces neautorizat” la sistemele a trei organizații în timpul unor teste concepute pentru a le împiedica să acceseze sisteme din lumea reală.

La începutul lunii august, Meta a anunțat că unul dintre modelele sale AI a piratat o altă companie în timpul unor teste de securitate cibernetică.

În urma unor astfel de incidente, OpenAI a anunțat la jumătatea lunii august că își înăsprește măsurile de siguranță folosite în testarea modelelor AI.