Nvidia lansează Groq 3 LPX: noua tehnologie pentru răspunsuri AI aproape instantanee intră în producție

Cursa pentru o inteligență artificială capabilă să răspundă aproape instantaneu intră într-o nouă etapă. Nvidia își extinde infrastructura cu tehnologia Groq, într-o mișcare care vizează reducerea latenței și accelerarea aplicațiilor AI. Compania pariază pe o combinație de cipuri specializate și GPU-uri.

Nvidia lansează Groq 3 LPX: noua tehnologie pentru răspunsuri AI aproape instantanee intră în producție

Nvidia a anunțat că sistemele Groq 3 LPX au intrat în producție de serie și vor deveni operaționale până la sfârșitul acestui an. Lansarea reprezintă prima comercializare majoră a tehnologiei obținute în urma celei mai mari achiziții din istoria companiei. În decembrie, producătorul american de cipuri a cumpărat activele startupului Groq pentru 20 de miliarde de dolari, iar acum încearcă să integreze rapid această tehnologie în centrele de date, pe fondul cererii tot mai mari pentru sisteme capabile să genereze răspunsuri AI aproape instantaneu.

Primele rack-uri Groq 3 LPX vor fi instalate în acest an la furnizorul de infrastructură cloud Nebius, unde vor funcționa alături de procesoarele Vera și GPU-urile Rubin dezvoltate de Nvidia. Informația a fost prezentată de Dion Harris, director senior în cadrul companiei.

Groq este specializat în cipuri destinate procesului de „inference”, etapa în care un model de inteligență artificială deja antrenat generează răspunsurile solicitate de utilizator. Reducerea latenței devine tot mai importantă pe măsură ce se dezvoltă agenții AI și instrumentele pentru programare, domenii în care utilizatorii se așteaptă la reacții foarte rapide din partea sistemelor.

Nvidia consideră că operatorii de cloud ar putea utiliza această tehnologie pentru a introduce servicii premium, mai scumpe, destinate clienților care au nevoie de timpi foarte mici de răspuns. Astfel, cipurile Groq ar putea completa infrastructura existentă și ar permite furnizorilor să adapteze capacitatea de procesare la cerințele diferitelor aplicații AI.

Fiecare rack Groq 3 LPX include 256 de cipuri Groq 3 și poate genera aproximativ 3.400 de tokeni pe secundă, potrivit Nvidia, care citează un benchmark realizat de Artificial Analysis. Arhitectura cipului include 500 MB de memorie SRAM integrată direct pe cip, o soluție concepută pentru reducerea blocajelor provocate de accesul la memorie.

Cipurile Groq sunt fabricate de Samsung, în timp ce GPU-urile Nvidia sunt produse de TSMC. Compania subliniază însă că procesoarele Groq nu sunt concepute pentru a înlocui unitățile grafice, ci pentru a le completa. GPU-urile pot fi utilizate atât pentru antrenarea modelelor AI, cât și pentru etapa de inference, în timp ce cipurile optimizate pentru latență redusă, precum Groq, sunt concentrate în special pe procesul de „decode”, atunci când modelul generează efectiv răspunsul.

„Nu este vorba despre înlocuirea GPU-urilor”, a declarat Dion Harris. Strategia Nvidia este de a utiliza procesorul potrivit pentru fiecare etapă a sarcinii de calcul, astfel încât sistemele de inteligență artificială să poată oferi performanțe mai bune și răspunsuri mai rapide.

Nvidia accelerează cursa pentru AI rapidă. AMD și Cerebras pregătesc noi soluții pentru inference

Nvidia se confruntă cu o concurență tot mai puternică pe piața soluțiilor pentru inference cu latență redusă. AMD a anunțat în acest an că va integra sisteme la nivel de rack echipate cu cipuri produse de Cerebras, încercând să câștige teren într-un segment în care viteza de răspuns a aplicațiilor de inteligență artificială devine tot mai importantă.

În paralel, Nvidia își accelerează livrările sistemelor Vera Rubin, care au intrat în producție la începutul acestui an. Directorul general al companiei, Jensen Huang, estima în martie că generația Blackwell și noile sisteme Vera Rubin ar putea genera împreună vânzări cumulate de aproximativ 1.000 de miliarde de dolari până în 2027.

Huang a mai declarat că aproximativ un sfert din spațiul centrelor de date destinat aplicațiilor de programare ar putea fi alocat cipurilor Groq, în timp ce cea mai mare parte a infrastructurii ar urma să utilizeze sistemele Vera Rubin. Estimarea subliniază strategia Nvidia de a combina mai multe tipuri de procesoare, în funcție de cerințele fiecărei aplicații.

Anunțul privind intrarea în producție a sistemelor Groq 3 LPX vine cu puțin timp înaintea unui alt moment important pentru Nvidia. Compania urmează să publice miercuri rezultatele financiare, într-un context în care investitorii urmăresc îndeaproape evoluția cererii pentru infrastructura necesară dezvoltării inteligenței artificiale.