Nel panorama sempre più competitivo dell’intelligenza artificiale, GEEKOM sta facendo un passo avanti significativo con la sua ultima innovazione. L’azienda taiwanese ha implementato con successo il modello DeepSeek V4 Flash su quattro sistemi Mini PC A9 Mega, creando un cluster distribuito che promette di rivoluzionare l’uso dell’IA nelle aziende.
Questa soluzione rappresenta un’alternativa concreta ai tradizionali server di data center, offrendo alle imprese la possibilità di sfruttare l’IA mantenendo il controllo completo sui dati sensibili.
Un cluster distribuito per l’IA aziendale
Il cuore di questa innovazione è il cluster composto da quattro Mini PC GEEKOM A9 Mega, collegati tra loro tramite USB4 per formare una piattaforma distribuita. Ogni A9 Mega è equipaggiato con un processore AMD Ryzen AI Max+ 395, che combina 16 core CPU Zen 5, grafica Radeon 8060S e memoria unificata, il tutto in un design compatto.
La distribuzione del modello DeepSeek V4 Flash è resa possibile grazie a una combinazione di Ubuntu, ROCm e DwarfStar. Un’API compatibile con OpenAI consente l’integrazione con applicazioni e agenti IA, mentre la connessione USB4 elimina la necessità di switch ad alta velocità o rack server dedicati.
Privacy e controllo dei dati
Uno degli aspetti più rilevanti di questa soluzione è la possibilità per le aziende di utilizzare l’IA avanzata mantenendo i dati sensibili all’interno della propria infrastruttura. Prompt, documenti, codice sorgente, credenziali e risultati intermedi possono essere elaborati localmente, senza doverli inviare a cloud pubblici.
Questa configurazione permette di creare assistenti di conoscenza privati che possono cercare e analizzare documenti interni come politiche, manuali, contratti e report. Inoltre, la piattaforma supporta la revisione di documenti, l’analisi del codice sorgente, la generazione aumentata da recupero locale, la ricerca multi-sorgente e l’automazione controllata dei flussi di lavoro.
Prestazioni e scalabilità
Il cluster ha dimostrato prestazioni impressionanti nei test di benchmark. Con una singola concorrenza, il sistema ha raggiunto circa 14,61 token al secondo e un tempo P95 per il primo token di circa 0,42 secondi nei test a 32 e 128 token. Ma le vere potenzialità emergono nella gestione di prompt lunghi, offrendo maggiore capacità e accelerazione rispetto alle soluzioni tradizionali.
La flessibilità è un altro punto di forza: le organizzazioni possono iniziare con uno o due sistemi e scalare fino a quattro man mano che le esigenze crescono. Ogni A9 Mega può funzionare in modo indipendente o contribuire all’inferenza distribuita, massimizzando la flessibilità e il valore a lungo termine.
L’evoluzione dei modelli DeepSeek
Mentre GEEKOM fa progressi con la sua soluzione hardware, DeepSeek continua a sviluppare i suoi modelli di intelligenza artificiale. La versione definitiva di DeepSeek V4 Pro è stata recentemente rilasciata, chiudendo la fase di anteprima iniziata ad aprile. Questo modello mostra miglioramenti significativi nelle capacità agentiche, ottenendo un punteggio di 87,9 su Terminal Bench 2.1 e 83,3 su Cybergym.
Tuttavia, i benchmark indipendenti rivelano una performance meno impressionante, con Artificial Analysis che assegna a V4 Pro 53 punti sul proprio indice di intelligenza, contro i 60 di Kimi K3 di Moonshot. Nonostante ciò, DeepSeek V4 Pro si posiziona al secondo posto su SWE-bench Verified con il 96,40%, dietro solo a Kimi K3.
Un aspetto interessante è che il modello DeepSeek V4 Flash, con un numero di parametri circa cinque volte inferiore, ottiene un punteggio quasi identico su Artificial Analysis, dimostrando l’efficienza del modello più leggero.
L’innovazione di GEEKOM rappresenta un passo significativo verso l’adozione diffusa di soluzioni IA locali nelle aziende. La combinazione di hardware compatto e modelli IA avanzati offre un’alternativa valida ai tradizionali server di data center, con il vantaggio aggiuntivo di mantenere il controllo completo sui dati sensibili.
Mentre DeepSeek continua a perfezionare i suoi modelli, l’alleanza con GEEKOM potrebbe aprire nuove possibilità per l’uso dell’IA nelle imprese, offrendo prestazioni elevate in un formato compatto e scalabile.
