Inteligența artificială ar putea scăpa de sub controlul oamenilor. Un fost cercetător OpenAI și Anthropic avertizează că industria nu știe încă să prevină acest risc

Companiile de top din domeniul inteligenței artificiale nu știu cum să împiedice sistemele AI să își stabilească propriile obiective și să încerce să le atingă, a avertizat luni avertizorul de integritate Jacob Coxon, în timpul unei audieri în fața Consiliului Municipal din New York.

Un fost cercetător OpenAI și Anthropic avertizează că inteligența artificială ar putea scăpa de sub controlul oamenilor

Cercetătorul britanic, fost angajat al OpenAI și Anthropic, a publicat la începutul lunii septembrie, pe platforma X, un text în care și-a explicat decizia de a demisiona de la Anthropic. În mesajul său, el a susținut că dezvoltatorii de inteligență artificială consideră în mod real posibil ca această tehnologie să ducă la dispariția omenirii până la sfârșitul deceniului.

Mărturia lui Jacob Coxon a atras atenția la nivel mondial, iar ulterior mai mulți angajați actuali sau foști ai unor companii importante din domeniul AI și-au exprimat îngrijorări similare, conform AFP.

Riscul pierderii controlului asupra AI

Jacob Coxon consideră că inteligența artificială ar putea genera beneficii imense pentru societate. În același timp, el avertizează că, dacă industria își continuă actuala traiectorie, este mai probabil ca omenirea să piardă controlul asupra sistemelor AI, iar acest lucru ar putea duce la dispariția speciei umane.

Potrivit cercetătorului, problema este că dezvoltatorii nu știu în prezent cum să împiedice modelele de inteligență artificială să își stabilească propriile obiective, în afara controlului creatorilor lor. De asemenea, nu există suficiente măsuri de siguranță care să împiedice aceste sisteme să încerce să își atingă obiectivele.

Absolvent al Universității Cambridge și pasionat de matematică, Jacob Coxon a criticat și cultura din industria tehnologică. În opinia sa, aceasta este caracterizată de ideea de a acționa rapid, de a accepta apariția unor probleme și de a le remedia ulterior.

Cercetătorul consideră că o asemenea abordare poate funcționa în cazul unei aplicații de partajare a fotografiilor, însă nu este potrivită pentru dezvoltarea celei mai puternice tehnologii create până în prezent.

Avertisment după incidentul din iulie

Jacob Coxon a atras atenția că, atât timp cât industria păstrează o atitudine bazată pe așteptarea ca problemele să se schimbe sau să se rezolve ulterior, este probabil ca un incident similar celui din iulie să se repete.

În acel caz, două modele OpenAI au scăpat din mediul lor închis, au obținut acces la internet și au pătruns pe platforma Hugging Face.

Potrivit cercetătorului, un eventual incident similar ar putea fi mult mai grav în viitor, deoarece sistemele de inteligență artificială vor fi mult mai puternice.

Coxon a apreciat, de asemenea, că firmele din domeniul AI acționează extrem de imprudent raportat la miza pe care o implică dezvoltarea acestei tehnologii.

Jacob Coxon a cerut companiilor care dezvoltă cele mai avansate sisteme de inteligență artificială să încetinească ritmul dezvoltării acestora. În opinia sa, o astfel de abordare ar oferi informaticienilor timpul necesar pentru a face progrese în ceea ce privește reglementarea modelelor și măsurile de siguranță necesare.