Producătorul de chatboturi cu inteligență artificială din San Francisco, Replika – care operează un serviciu de „prietenie virtuală” freemium bazat pe avataruri digitale personalizabile ale căror răspunsuri „personalizate” sunt alimentate de inteligența artificială (și concepute, conform discursului său, pentru a-i face pe utilizatorii umani să se simtă mai bine) – a primit ordin de la autoritatea de supraveghere a confidențialității din Italia să înceteze procesarea datelor utilizatorilor locali.

Garante a declarat că este îngrijorat de faptul că tehnologia chatbot a companiei Replika prezintă riscuri pentru minori și, de asemenea, că firma nu are un temei juridic adecvat pentru prelucrarea datelor copiilor în conformitate cu normele UE privind protecția datelor.

În plus, autoritatea de reglementare este îngrijorată de riscul pe care chatbots cu inteligență artificială l-ar putea reprezenta pentru persoanele vulnerabile din punct de vedere emoțional. De asemenea, aceasta acuză Luka Inc, dezvoltatorul din spatele aplicației Replika, că nu a îndeplinit cerințele legale regionale de a comunica în mod clar modul în care utilizează datele oamenilor.

Ordinul de încetare a prelucrării datelor italienilor intră în vigoare imediat

Într-un comunicat de presă în care își anunță intervenția, organismul de supraveghere a declarat: „Chatbotul cu inteligență artificială, care generează un „prieten virtual” folosind interfețe text și video, nu va putea prelucra deocamdată datele personale ale utilizatorilor italieni. O limitare provizorie a prelucrării datelor a fost impusă de Garante-ul italian companiei cu sediul în SUA care a dezvoltat și operează aplicația; limitarea va intra în vigoare imediat.”

„Rapoartele recente din mass-media, împreună cu testele pe care SA (autoritatea de supraveghere) le-a efectuat pe „Replika” au arătat că aplicația prezintă riscuri faptice pentru copii – în primul rând, faptul că li se servesc răspunsuri absolut nepotrivite pentru vârsta lor”, a adăugat aceasta.

Replika a fost unul dintre primii parteneri API pentru tehnologia de generare de text cu model lingvistic mare a OpenAI, GPT-3 – deși serviciul său nu rulează pe o copie fidelă a GPT-3 (și nici nu este aceeași tehnologie ca și ChatGPT de la OpenAI). Mai degrabă, start-up-ul susține că a „pus la punct” GPT-3, folosind un model de învățare automată în rețea antrenat pe dialog, pentru a perfecționa tehnologia generativă pentru cazul său de utilizare specific: însoțitori AI conversaționali (și susține că „empatici”).

Cu toate acestea, au fost exprimate deja îngrijorări cu privire la riscurile pe care tehnologia le-ar putea prezenta pentru copii – de la îngrijorări legate de expunerea copiilor la conținuturi nepotrivite până la îngrijorări mai generale, cum ar fi faptul că ar putea deveni dependenți de interacțiuni sau că ar putea fi încurajați să cheltuiască mulți bani pentru a-și personaliza avatarele sau pentru a avea acces la alte conținuturi plătite. Însă organismul de supraveghere italian pare a fi primul organism de reglementare care ia măsuri oficiale în ceea ce privește siguranța copiilor.

Ordinul Garante notează că mai multe recenzii ale utilizatorilor despre această aplicație au raportat conținut sexual nepotrivit. De asemenea, acesta notează că, deși aplicația este listată ca fiind pentru categoria 17+, în magazinele de aplicații iOS de la Apple și Android de la Google, termenii de utilizare ai dezvoltatorului interzic doar utilizarea ei de către persoanele sub 13 ani. Și, deși cei sub 18 ani trebuie să obțină autorizația unui părinte sau tutore, organizația de supraveghere subliniază că aplicația nu încearcă să verifice vârsta utilizatorilor și nici nu blochează minorii care furnizează informații despre vârsta lor – de aici și opinia sa că Replika nu reușește să protejeze copiii.

„De fapt, nu există niciun mecanism de verificare a vârstei: niciun mecanism de blocare pentru copii, niciun mecanism de blocare a aplicației dacă un utilizator declară că este minor. În timpul creării unui cont, platforma solicită doar numele utilizatorului, contul de e-mail și sexul acestuia”, se observă în raport. „Iar „răspunsurile” servite de chatbot sunt adesea în mod clar în conflict cu garanțiile sporite la care au dreptul copiii și persoanele vulnerabile. Mai multe recenzii de pe cele două magazine principale de aplicații includ comentarii ale utilizatorilor care semnalează conținuturi nepotrivite din punct de vedere sexual.”

„‘Replika’ încalcă regulamentul UE privind protecția datelor: Nu respectă cerințele de transparență și prelucrează date cu caracter personal în mod ilegal, deoarece executarea unui contract nu poate fi invocată ca temei juridic, nici măcar implicit, având în vedere că copiii sunt incapabili de a încheia un contract valabil în conformitate cu legislația italiană”, a adăugat Garante, precizând că a ordonat dezvoltatorului său cu sediul în SUA să înceteze prelucrarea datelor referitoare la utilizatorii italieni – acordându-i 20 de zile pentru a comunica măsurile luate pentru a se conforma ordinului.

Nerespectarea ordinului atrage o amendă de până la 20 de milioane de euro sau 4% din cifra de afaceri anuală totală la nivel mondial

Regulamentul general al UE privind protecția datelor (GDPR) pune un accent puternic pe protejarea informațiilor și a vieții private a copiilor – sugerând, de exemplu, că serviciile care ar putea avea ca utilizatori minori ar trebui să se gândească la încorporarea unui design prietenos pentru copii și să fie proactivi în ceea ce privește efectuarea de evaluări ale riscurilor pentru a se asigura că identifică potențialele probleme legate de siguranță și de alte drepturi.

Organismele de supraveghere din regiune s-au arătat dispuse să acorde atenție încălcărilor în acest domeniu.

Toamna trecută, de exemplu, Instagram a fost sancționată cu o amendă de aproape 440 de milioane de dolari pentru încălcarea confidențialității copiilor. Autoritățile de protecție a consumatorilor din Europa și-au exprimat, de asemenea, îngrijorarea cu privire la siguranța copiilor pe TikTok – deși în Irlanda este încă în curs de desfășurare o anchetă privind modul în care TikTok gestionează datele copiilor.

În ultimii ani, autoritatea italiană de supraveghere a protecției datelor s-a dovedit a fi deosebit de sensibilă la preocupările legate de siguranța copiilor – în urmă cu doi ani, în urma unei intervenții de urgență, a ordonat TikTok să blocheze utilizatorii pentru care nu putea verifica vârsta, ca răspuns la moartea unui copil despre care se spunea că ar fi participat la o provocare riscantă pe platformă. Acest lucru a dus la o epurare a peste o jumătate de milion de conturi.

Cu toate acestea, în ciuda unei anumite aplicări a GDPR (și a legilor privind protecția consumatorilor) în ceea ce privește aspectele legate de siguranța copiilor, grupurile de campanie au susținut că aceștia nu sunt încă protejați în mod corespunzător și au continuat să facă presiuni pentru legi mai stricte. Așadar, este posibil ca restricțiile să fie din ce în ce mai stricte.

În Regatul Unit, în toamna anului 2021 a intrat în vigoare un cod de proiectare adecvată vârstei, axat pe protecția minorilor împotriva riscurilor de siguranță și de confidențialitate. În timp ce organismul de supraveghere a protecției datelor din Franța a publicat, de asemenea, un set de recomandări pentru a se asigura că drepturile digitale ale copiilor sunt protejate.

De asemenea, Regatul Unit depune eforturi pentru a adopta proiectul de lege privind siguranța online, axat pe siguranța copiilor, ca răspuns la preocupările publicului cu privire la ceea ce sunt expuși copiii online.

În ultimele luni, legislatorii UE au convenit, de asemenea, asupra interzicerii totale a prelucrării datelor minorilor în scopul direcționării publicității, în cadrul a două actualizări importante ale regulamentului digital al blocului comunitar: Legea privind serviciile digitale și Legea privind piețele digitale, care urmează să înceapă să se aplice de la sfârșitul acestui an, scrie Tech Crunch.