EXCLUSIV. Bogdan Tudor, fondator StarTech Team: Costurile utilizării inteligenței artificiale ar putea crește de câteva ori. Schimbările care ar putea ieftini tehnologia

Bogdan Tudor, fondator și președinte StarTech Team, a explicat, în podcastul „Picătura de Business”, realizat de Radu Preda, de ce utilizarea inteligenței artificiale ar putea deveni mai scumpă în perioada următoare. Acesta susține că prețurile actuale sunt subvenționate, iar costurile reale sunt de patru-cinci ori mai mari. Concurența dintre companiile occidentale și cele asiatice ar putea menține însă tarifele sub control.

Costurile reale ale inteligenței artificiale sunt de patru-cinci ori mai mari decât prețurile plătite de utilizatori

Bogdan Tudor consideră că actualele prețuri pentru utilizarea inteligenței artificiale nu reflectă costurile reale de funcționare a modelelor. Potrivit acestuia, abonamentele practicate de marii furnizori subvenționează consumul, iar tarifele ar putea crește în perioada următoare.

O eventuală reducere semnificativă a costurilor ar putea veni din îmbunătățirea software-ului și din dezvoltarea unor cipuri mai performante.

În discuția difuzată pe canalul de YouTube „HAI România!” despre dependența utilizatorilor de inteligența artificială și despre sustenabilitatea modelului economic al companiilor care dezvoltă aceste tehnologii, fondatorul StarTech Team a atras atenția că prețurile actuale sunt mult sub nivelul cheltuielilor efective.

Radu  Preda: Ce facem cu dependența asta de inteligență artificială? Că ne-au dat jucăria, am început să ne jucăm cu ea, ne place, ne place din ce în ce mai mult. Suntem foarte aproape sau unii chiar sunt în punctul în care nu mai pot fără ea. Și, deocamdată, e această jucărie foarte prietenoasă, din punct de vedere al costurilor. Dar va veni un moment când s-ar putea să nu mai fie, mai ales că dacă ne uităm un pic la cifre, toate aceste mari companii care dezvoltă modelele arhicunoscute au o balanță foarte înclinat negativă. Și ne gândim că nu poate să dureze la nesfârșită această situație.

Bogdan  Tudor: Nu va dura. Costurile reale sunt de 4-5 ori mai mari în acest moment. Nu vorbim de subvenția prin abonament. Vorbim de costurile reale prin token. Deci, folosirea prin consum, nu prin abonament, are un cost încă de 4-5 ori mai mare decât ne este vândută această tehnologie. Iar din ceea ce văd eu, lucrurile nu vor face decât să ducă în sus.

Bogdan Tudor a arătat că o eventuală schimbare de direcție ar putea veni dintr-un salt tehnologic care să reducă semnificativ resursele necesare funcționării modelelor. Un exemplu în acest sens este DeepSeek, companie care a contribuit la popularizarea arhitecturii „mixture of experts”.

Această abordare presupune activarea doar a unei părți dintre parametrii unui model, în funcție de solicitarea primită, în locul utilizării tuturor resurselor disponibile pentru fiecare răspuns. Potrivit lui Tudor, această soluție a permis creșterea de 12 ori a capacității de inferență și reducerea corespunzătoare a costurilor de rulare.

El consideră că următoarele progrese importante ar putea apărea atât în dezvoltarea software-ului, cât și în cea a componentelor hardware, însă schimbările din prima categorie ar putea veni mai repede.

Bogdan  Tudor: E adevărat că ingeniozitatea minții umane și orientarea către eficiență poate să ducă la un breakthrough, adică la un salt prin care costurile se scadă foarte mult. Cum se poate întâmpla acest lucru? Sperăm la un moment și toată lumea se roagă să existe un moment DeepSeek. Ce s-a întâmplat cu DeepSeek?

Ingeniozitatea venită din Asia a dus la o evoluție care se numea la momentul ăla „mixture of experts”, prin care nu mai erau folosiți toți parametrii unui model în același timp, ci mult mai puțini, aceia de care era nevoie. Și atunci capacitatea de inferență a crescut de 12 ori, adică costul de a rula modelul a scăzut de 12 ori dintr-o dată.

Radu  Preda: Practic, nu mai trăgeai cu tunul după vrăbii.

Bogdan  Tudor: Și folosim doar ceea ce avem nevoie. Toată lumea speră la această evoluție, care poate să vină din două direcții. Din software, ceea ce eu cred că se va întâmpla mai repede, și din hardware. Sunt foarte multe companii care investesc sume fabuloase de bani în a dezvolta cipuri doar pentru rularea modelului.

Până când se va întâmpla acest lucru, trebuie să ne așteptăm însă ca acest cost pe care noi îl plătim astăzi să crească într-o perioadă foarte scurtă. Și doar concurența între vest și est, ține costul AI-ului într-un echilibru. Altfel, dacă am depinde doar de vest, de acum șase luni am plăti de câteva ori mai mult.

Nvidia își mărește puterea de procesare, iar Legea lui Moore a devenit supra-depășită

Pe termen scurt, Bogdan Tudor se așteaptă ca prețurile utilizării inteligenței artificiale să crească, chiar dacă performanța procesoarelor și a acceleratoarelor specializate avansează într-un ritm accelerat. Acesta a explicat că dezvoltarea hardware-ului nu înseamnă automat și o creștere proporțională a costurilor, iar o altă oportunitate importantă de eficientizare este folosirea memoriei cache pentru solicitările frecvente.

Întrebat de Radu Preda dacă există un competitor capabil să concureze cu Nvidia în domeniul cipurilor, Bogdan Tudor a răspuns că, în prezent, compania nu are un rival comparabil.

Pentru a ilustra ritmul progresului tehnologic, acesta a comparat mai multe generații de acceleratoare Nvidia și a explicat că noile produse aduc creșteri importante ale puterii de procesare.

Radu  Preda: Totuși, cum s-ar putea ajunge la acest echilibru? Pentru că raportul între costurile efective și venituri sunt încă foarte defavorabile. Unde se mai poate umbla la reducerea costurilor? Mă îndoiesc că se pot reduce costurile foarte mult. Eu mă aștept ca, dimpotrivă, ele să crească.

Bogdan  Tudor: În următoarea perioadă, pe termen scurt, vor crește.

Radu  Preda: Vorbeai de cipuri, da? Păi stă cineva în fața Nvidia la capitolul ăsta?

Bogdan  Tudor: Nimeni. La momentul ăsta nimeni.

Radu  Preda: Ai văzut? Tocmai ce au pierdut ieri 350 de miliarde de dolari la capitalizare bursieră, mai mult decât bugetul României.

Bogdan  Tudor: Placa de referință H100, în momentul în care a apărut generația actuală, Blackwell B300, a fost de 5 ori mai rapidă pe hârtie, cu „mixture of experts” a fost de 25 de ori mai rapidă. Și apare noua tehnologie, Vera Rubin, care se așteaptă să fie de trei ori mai rapidă.

Bogdan Tudor a susținut că ritmul actual de dezvoltare depășește inclusiv evoluția descrisă de legea lui Moore, potrivit căreia puterea de procesare se dubla aproximativ la fiecare 18 luni. În cazul tehnologiilor de ultimă generație, creșterea ar ajunge la 2,5 ori pe an.

Fondatorul StarTech Team a făcut însă o distincție între modelele de frontieră, dezvoltate pentru atingerea unor capacități avansate de inteligență artificială, și modelele folosite pentru sarcini obișnuite. În opinia sa, utilizarea celor mai scumpe sisteme pentru întrebări simple reprezintă o risipă de resurse.

Acesta a comparat situația cu folosirea unor echipamente industriale foarte puternice pentru activități care nu necesită asemenea capacități.

Bogdan Tudor: Atenție! Costurile nu cresc în același ritm. Legea lui Moore, care spunea că tehnologia se dublează la fiecare 18 luni și a funcționat o lungă perioadă de timp… până când a început să crească de la 18 luni la 2 ani și ceva. Însă acum este acum supra-depășită. De 2,5 ori crește puterea de procesare în fiecare an.

Când e vorba de tehnologiile frontier, de plăcile de ultimă generație. Însă, vreau să facem o diferență pentru că avem odată AGI, superinteligență, modelele frontier care trebuie pregătite și în care se investesc foarte mulți bani și rularea unor modele care să ofere niște rezultate.

Ceea ce se întâmplă astăzi nu e normal, nu e natural. Oamenii folosesc modele frontier să rezolve probleme non-frontier, cu ceea ce numesc eu – batem cuie cu ciocane hidraulice. Întrebăm despre rețete, despre cum e vremea, despre căutat pe internet. Fable 5.2, Opus 5.5, Sol 6.1, Astra, modele frontier. Nu e normal. Foarte scumpe.

Modelele AI ar putea deveni mai eficiente prin folosirea memoriei cache

O altă soluție de reducere a costurilor ar putea fi folosirea memoriei cache, un mecanism care permite reutilizarea unor răspunsuri deja generate pentru solicitări similare. Tudor a explicat că această metodă este asemănătoare sistemelor de proxy și cache utilizate în industria internetului, inclusiv în perioada de dezvoltare a pieței românești.

El a amintit că, în acea perioadă, companiile cumpărau din străinătate o anumită capacitate de bandă și o revindeau utilizatorilor din România la un volum de până la 25 de ori mai mare, prin intermediul acestor mecanisme.

În prezent, furnizorii de inteligență artificială urmăresc inclusiv rata de utilizare a memoriei cache, pentru a identifica solicitările la care pot livra răspunsuri deja apreciate de alți utilizatori, fără să fie necesară folosirea integrală a unui model avansat.

Bogdan Tudor: Am trăit perioada internet, boom-ul internet și am și contribuit la boom-ul internet, știu că atunci vindeam de 25 de ori banda contractată. Adică, cumpăram din vest o capacitate pe care o vindeam în România la utilizatori de 25 de ori.

Radu  Preda: În speranța că nu o să  intre toți deodată.

Bogdan  Tudor: Cum făceam acest lucru? Prin proxy sau cache. Nu știu dacă ați remarcat, acum modelele măsoară și rata de cache hit. Adică când tu întrebi despre cea mai bună rețetă de mâncărică de cartofi, în mod normal un model se duce și își folosește toată inteligența să-ți dea ție un răspuns.

Ce fac producătorii azi? Și de aici va veni un mare potențial de eficiență – se duc în cache. Care e răspunsul care a fost cel mai apreciat de utilizatori? Acesta. Ți-l livrează fără ca tu să-ți dai seama că a fost folosit doar într-o mică parte un adevărat model AI. Și atunci de aici va apărea o mare oportunitate de reducere a costului.