Stații de lucru AI în oferta Senetic
Stațiile de lucru AI sunt computere proiectate pentru a lucra cu modele de inteligență artificială: antrenare (învățarea modelelor de la zero), fine-tuning (adaptarea modelelor existente la propriile date) și inferență (rularea modelelor antrenate). Se deosebesc de computerele obișnuite prin memoria rapidă de capacitate mare și unitățile de calcul optimizate pentru AI. Acestea stau la biroul echipei, nu într-un centru de date.
În această categorie vei găsi stații bazate pe platforma NVIDIA DGX Station, cu unitatea GB300 Grace Blackwell Ultra. Aceasta combină un procesor Grace cu 72 de nuclee și un GPU Blackwell Ultra într-un singur modul, iar ambele unități folosesc o memorie coerentă comună. Astfel, modelele lingvistice de mari dimensiuni (LLM, Large Language Models) pot fi rulate local, fără a trimite datele în cloud.
Cum să alegi o stație de lucru AI
Alegerea se reduce la patru aspecte: capacitatea memoriei, unitățile de stocare, conectivitatea și dacă este suficientă o stație de lucru sau este necesar un server.
Memoria coerentă CPU și GPU
Un model AI trebuie să încapă în memorie, așadar capacitatea acesteia determină cât de mare poate fi modelul pe care îl rulezi. Memoria coerentă înseamnă că procesorul și GPU-ul au un spațiu de adrese comun, astfel încât GPU-ul poate accesa memoria procesorului fără a copia datele. În stațiile din această categorie, memoria coerentă totală este de 748 GB: 252 GB de memorie HBM rapidă lângă GPU și 496 GB de memorie de sistem mai lentă a procesorului.
Orientativ, un model la precizie completă de 16 biți necesită aproximativ 2 GB pentru fiecare miliard de parametri. După cuantizare (reducerea preciziei numerelor) la 8 biți, necesarul este de aproximativ 1 GB pentru fiecare miliard de parametri, plus spațiu suplimentar pentru datele de lucru.
Unități de stocare și spațiu pentru date
Antrenarea și fine-tuning-ul necesită acces rapid la seturi mari de date și la stările salvate ale modelelor. De aceea, se folosesc unități NVMe, adică SSD-uri conectate direct la magistrala PCIe, de multe ori mai rapide decât unitățile SATA. Oferta include configurații cu capacități diferite, inclusiv versiuni fără unitate de stocare, pentru a putea adăuga propriile unități.
Conectivitate și extindere
Stațiile dispun de rețea LAN 10 GbE (10 Gb/s) pentru transferul de date și de porturi USB, inclusiv USB-C 3.2 Gen 2. Placa de rețea ConnectX-8, cu două porturi QSFP112 (2 x 400 Gb/s), permite conectarea a două stații și creșterea puterii de calcul și a memoriei disponibile pentru modele. Unitatea GB300 nu are ieșire video, prin urmare este necesară o placă grafică suplimentară NVIDIA RTX PRO într-un slot PCIe pentru conectarea unui monitor. Unele configurații sunt oferite cu o astfel de placă.
Stație de lucru sau server GPU
Alegerea depinde de numărul de utilizatori și de modul de lucru:
- stație de lucru: un singur utilizator sau o echipă mică, lucru local, prototipare, fine-tuning și inferență pentru modele,
- server GPU: mai mulți utilizatori, instalare într-un rack, funcționare continuă într-un centru de date și scalare prin adăugarea mai multor plăci.
Utilizările stațiilor de lucru AI
Stațiile din această categorie sunt potrivite pentru situațiile în care modelele și datele trebuie să rămână în companie:
- antrenarea și fine-tuning-ul modelelor pe date proprii, de exemplu documente, cod sau date despre produse,
- inferență LLM locală, adică asistenți AI, generare de cod și căutare în documente (RAG, Retrieval-Augmented Generation), fără a trimite datele în afara organizației,
- analiza datelor și viziune computerizată, adică procesarea unor seturi mari de date și imagini, accelerată de GPU,
- prototiparea modelelor pe stație înainte de mutarea acestora într-o infrastructură mai mare, deoarece stația folosește arhitectura și software-ul NVIDIA utilizate și în centrele de date,
- lucrul cu date sensibile, când este important să deții controlul asupra locului în care sunt procesate, de exemplu date protejate de GDPR sau de secretul comercial (on-premise, adică în propria infrastructură).
Producători de stații de lucru pentru inteligență artificială
Oferta include stații de la trei producători, construite pe aceeași platformă NVIDIA. Prin urmare, acestea diferă în principal în ceea ce privește configurația unităților de stocare, echiparea și condițiile de garanție:
- ASUS: cea mai variată gamă de configurații, cu unități NVMe de diferite capacități,
- HP: configurații cu placă grafică suplimentară NVIDIA RTX PRO,
- MSI: stații cu unități NVMe, inclusiv o versiune cu unitate de 4 TB.
FAQ – Întrebări frecvente despre stațiile de lucru AI
La ce folosește o stație de lucru AI?
O stație de lucru AI este utilizată pentru antrenarea, adaptarea și rularea locală a modelelor AI, fără a folosi cloud-ul. Este potrivită pentru echipele de data science, departamentele IT și cele de cercetare și dezvoltare (R&D) care lucrează cu propriile date.
Ce este NVIDIA DGX Station?
Este o stație de lucru NVIDIA destinată AI. Versiunea GB300 combină un procesor Grace cu 72 de nuclee și un GPU Blackwell Ultra într-un modul comun, cu memorie coerentă. Stații bazate pe această platformă sunt oferite, printre alții, de ASUS, HP și MSI.
De câtă memorie este nevoie pentru a rula local modele LLM?
Depinde de numărul de parametri ai modelului și de precizia calculelor. Orientativ, un model necesită aproximativ 2 GB de memorie pentru fiecare miliard de parametri la precizie de 16 biți, aproximativ 1 GB la 8 biți și aproximativ 0,5 GB la 4 biți, plus spațiu suplimentar pentru context și datele de lucru. Prin urmare, un model cu 70 de miliarde de parametri la precizie de 16 biți ocupă aproximativ 140 GB. Stațiile din această categorie au 748 GB de memorie coerentă.
Stație de lucru AI sau server GPU – ce să alegi?
O stație de lucru este suficientă pentru un singur utilizator sau o echipă mică, care prototipează, adaptează și rulează modele local. Un server GPU este o alegere mai bună atunci când resursele sunt folosite de mai mulți utilizatori, sistemul funcționează continuu într-un centru de date, iar puterea de calcul trebuie extinsă prin adăugarea mai multor plăci.
Care este diferența dintre DGX Station și DGX Spark?
DGX Spark este un mini PC compact pentru prototipare și modele mai mici, cu 128 GB de memorie. DGX Station este o stație de dimensiuni standard, cu o capacitate de memorie de câteva ori mai mare, un procesor cu 72 de nuclee și spațiu pentru plăci suplimentare, destinată modelelor mai mari și antrenării.
Se poate adăuga o placă grafică suplimentară la o stație de lucru AI?
Da, stațiile au sloturi PCIe 5.0 pentru plăci suplimentare. Platforma acceptă plăci NVIDIA RTX PRO 2000, 4000 (SFF) și 6000 (Workstation și Max-Q), iar numărul și tipul plăcilor depind de producător și de configurație. Unitatea GB300 nu are ieșire video, așadar este necesară și o placă RTX PRO pentru conectarea unui monitor.
Se pot conecta două stații de lucru AI?
Da, două stații de lucru pot fi conectate prin placa ConnectX-8, care are două porturi QSFP112 (2 x 400 Gb/s). Astfel, crește puterea de calcul și memoria disponibile pentru modele.
De ce multe stații de lucru AI au prețul disponibil la cerere?
Prețul depinde de configurație (unități de stocare, GPU suplimentar, garanție) și de disponibilitate, de aceea stabilim individual prețul pentru majoritatea stațiilor. Contactează un consultant pentru a primi o ofertă pentru configurația dorită.