La mia Workstation AI
Questa è la configurazione hardware della mia Workstation personale interamente dedicata all'AI:
SCHEDA MADRE: ASUS Pro WS WRX90E-SAGE SE
CPU: AMD Ryzen Threadripper PRO 9955WX 16 core
GPU: 4x RTX PRO 6000 MAX-Q (96GB VRAM x4)
RAM: 256 GB RAM RDDR5 ECC 5600 CL28 (32GB x8)
STORAGE: 32TB (8TB x4) Samsung 9100 PRO NVMe PCIe 5.0
PSU: ASUS Pro WS 2200W PCIe 5.1 80+ Platinum
RAFFREDDAMENTO CPU: SilverStone XE360-TR5 360mm Liquid AIO
VENTOLE: 4x Noctua NF-A14 PWM 140mm
CASE: Fractal Design Define 7 XL
8TB sono interamente dedicati a OS Linux Ubuntu
8TB sono interamente dedicati a OS Windows 11
16TB sono condivisi per dati e modelli
L'utilizzo che ne faccio è ovviamente rivolto alla sfera professionale, principalmente dedicato all'addestramento di modelli di intelligenza artificiale di varia natura sia per conto dei miei clienti, che per miei progetti personali.
Lato inferenza lo utilizzo sia per testare modelli LLM aperti, sia per generare localmente contenuti multimediali (immagini, video, audio).
Qualche anno fa per i miei lavori legati all'AI utilizzavo unicamente le infrastrutture cloud. Mi sono avvicinato all'utilizzo in locale tramite una RTX 4090, poi sono passato a una RTX 5090 e infine il salto verso le RTX PRO 6000 MAX-Q.
Non ho acquistato 4 RTX PRO 6000 MAX-Q tutte assieme, ma una alla volta nel corso dei mesi. Se qualcuno volesse percorrere questa strada, il consiglio che offro è quello di puntare subito a una scheda madre e ad una CPU in grado di supportare il lavoro del multi-gpu a pieno regime con la massima velocità di scambio dati. Non vanno bene schede madri e CPU consumers, servono le versioni professionali come quelle che ho inserito io. In particolare CPU dotata di 128 linee PCIe e una scheda madre che supporti il tutto.
Se avete ambizioni nel campo dell'addestramento AI vi sconsiglio di acquistare una RTX PRO 6000 che non sia la versione MAX-Q. Consuma 600W anzichè 300W a fronte di un incremento di prestazioni minimo. Anche se può essere depotenziata e portata a 300W (come la MAX-Q), il suo sistema di dissipazione del calore, non è pensato per l'utilizzo con altre GPU affiancate. Sarete quindi costretti ad utilizzarne solo una per workstation o ad assumervi rischi seri di surriscaldamento. Anche se una sola di quelle GPU potrebbe sembrarvi il TOP assoluto, non esiste mai un top assoluto, e sopratutto in ambito professionale, se sarete bravi, l'asticella si andrà sempre ad alzare.
Se avete domande sarò felice di rispondervi.
Fabio