Domino IQ: l’intelligenza artificiale integrata in HCL Domino

Come avevo scritto in altri articoli, Domino IQ è la piattaforma di intelligenza artificiale integrata da HCL all’interno dei server Domino. A differenza di molte soluzioni basate su servizi cloud esterni, Domino IQ esegue il motore di inferenza direttamente sul server, consentendo l’elaborazione dei dati interamente all’interno dell’infrastruttura aziendale.

In questo modo le informazioni non devono mai essere trasferite verso servizi di IA di terze parti, con evidenti vantaggi in termini di sicurezza, privacy e conformità.

La funzionalità è stata introdotta con Domino 14.5, in un periodo in cui il paradigma RAG (Retrieval-Augmented Generation) non era ancora disponibile. L’obiettivo iniziale era integrare nel processo del server Domino un motore di inferenza, ovvero il componente software incaricato di eseguire un modello di intelligenza artificiale già addestrato. In pratica, il motore riceve un prompt, lo elabora attraverso il modello e genera la risposta corrispondente.

Domino 14.5.1 : RAG (Retrieval-Augmented Generation)

La vera innovazione arriva con Domino 14.5.1 grazie all’introduzione del supporto per RAG.

Nelle versioni precedenti, Domino IQ poteva produrre risposte esclusivamente utilizzando le conoscenze acquisite durante l’addestramento del modello linguistico. Di conseguenza, il modello non aveva alcuna visibilità sui database Domino dell’azienda né sulle informazioni in essi contenute.

La tecnica Retrieval-Augmented Generation supera questo limite consentendo al modello di utilizzare informazioni esterne al proprio addestramento. Prima che venga generata una risposta, il sistema ricerca nei dati aziendali i contenuti più pertinenti alla richiesta dell’utente e li inserisce come contesto aggiuntivo nel prompt inviato al modello. In questo modo le risposte vengono costruite sulla base delle informazioni realmente presenti nei database aziendali, riducendo il rischio di risposte imprecise o basate esclusivamente sulle conoscenze generali del modello.

Con Domino 14.5.1 è possibile configurare un database Domino come origine dati RAG. I campi selezionati vengono trasformati in una rappresentazione che il sistema può analizzare semanticamente, cioè in base al significato del contenuto e non alla semplice corrispondenza di parole chiave.

Durante questo processo, i documenti vengono suddivisi in blocchi di dimensioni ridotte (chunk). Ogni blocco viene convertito in un embedding, cioè in un vettore numerico che rappresenta matematicamente il significato del testo. Gli embedding vengono quindi memorizzati in un database vettoriale (vector database), una tipologia di database progettata specificamente per archiviare vettori e individuare rapidamente quelli semanticamente più vicini a una determinata richiesta. (troverete il database vettoriale nel folder llm_vector all’interno della data directory del server Domino)

Quando un utente invia una domanda tramite un comando di IA configurato in Domino IQ, anche la domanda viene trasformata in un embedding. Il sistema confronta questo vettore con quelli presenti nel database vettoriale per individuare i contenuti più pertinenti. I documenti corrispondenti vengono recuperati dal database Domino originale e inseriti nel prompt destinato al Large Language Model (LLM), ossia il modello linguistico (ad esempio Llama o modelli equivalenti) che interpreta il prompt e genera la risposta finale.

Requisiti hardware

Molte guide di installazione tendono a trattare rapidamente i requisiti hardware, ma in realtà rappresentano uno degli aspetti più importanti da valutare prima di pianificare un’implementazione di DominoIQ.

Nella versione 14.5.1 la modalità Local, unica modalità che supporta RAG, richiede una configurazione hardware dedicata composta da:

• almeno 4 CPU e 8 GB di RAM sul server;
• una GPU NVIDIA con almeno 8 GB di memoria video e Compute Capability 5.2 o superiore (HCL raccomanda una Compute Capability 8.0 o superiore per ambienti di produzione);
• un server Domino a 64 bit installato su Windows oppure Linux.

Il requisito relativo alla GPU non può essere considerato facoltativo, soprattutto quando si utilizza RAG.

La modalità Local, e di conseguenza l’intera pipeline RAG, richiede una GPU NVIDIA compatibile con CUDA, il toolkit software sviluppato da NVIDIA che permette di eseguire i calcoli di inferenza direttamente sulla scheda grafica anziché sul processore principale, garantendo prestazioni adeguate.

Prima di pianificare l’adozione di Domino IQ è quindi fondamentale verificare la disponibilità dell’hardware richiesto: il supporto alla GPU rappresenta attualmente uno dei principali vincoli dell’intera piattaforma.

Fino a pochi anni fa i server destinati a eseguire applicazioni aziendali venivano quasi sempre installati senza schede grafiche dedicate, poiché queste erano considerate irrilevanti in un contesto server.

L’introduzione dell’intelligenza artificiale ha completamente cambiato questo scenario. Oggi la presenza di una GPU NVIDIA compatibile non è più un elemento accessorio, ma un prerequisito indispensabile per sfruttare Domino IQ e le funzionalità RAG. Prima ancora di definire la strategia di implementazione, è quindi opportuno verificare che l’infrastruttura hardware sia effettivamente in grado di supportare questa tecnologia.