Dopo aver installato il server Domino 14.5 o superiore ci sono alcuni passi ulteriori da eseguire per sfruttare le funzionalità di DominoIQ.
Innanzitutto dovete scaricare il pacchetto llama.zip dal portale My HCLSoftware (contiene sia i file binari del server di inferenza AI sia i componenti NVIDIA necessari) e poi decomprimere il contenuto nella directory di Domino (com il server Domino inattivo)
Su Linux, sarà inoltre necessario impostare la proprietà corretta dei file binari estratti
Una volta riavviato il server Domino è necessario modificare il profilo del names.nsf : nella scheda DominoIQ, scegliere quale server (o gruppo di server) eseguirà DominoIQ.
All’avvio, Domino crea automaticamente un database di configurazione chiamato dominoiq.nsf sul server di amministrazione, che viene poi replicato sugli altri server Domino IQ. Sul server viene anche creata una nuova cartella llm_models nella data directory dei dati il cui scopo è contenere il/i file del modello di IA.
Scaricare e posizionare un modello di IA
Domino IQ necessita di un file di modello di IA in formato GGUF per funzionare.
Per iniziare potete scegliete qualcosa di modesto: un modello compatto da 3 miliardi di parametri come Llama-3.2-3B-Instruct è un punto di partenza ragionevole e a basso rischio. I modelli più grandi generalmente forniscono risultati migliori, ma richiedono molta più memoria e una GPU più potente per funzionare correttamente. Scaricate il file .gguf (Hugging Face è la fonte più comune) e posizionatelo nella cartella llm_models sotto la data directory di Domino.
Questo è uno dei punti su cui ho avuto più dubbi: quale modello scegliere ? In base a che valutazioni ?
Hugging Face contiene centinaia (se non migliaia) di modelli GGUF e, per chi inizia a muoversi in questo mondo, la scelta non è scontata né chiara .
Ovviamente la grandezza del file è un punto di partenza ma anche la valutazione della “famiglia” di modelli ha un suo peso .
Infatti una volta scelto il modello troverete una serie di file diversi con una naming convention che descrive le caratteristiche del singolo file come potete capire da questa tabella:
| Parte del nome | Significato | In altre parole |
| qwen3 | Famiglia / generazione | Architettura e “linea” del modello |
| embedding | Tipo di modello | Serve a fare vettori, non testo generato |
| 8b | 8 miliardi di parametri | Quanto è “grosso” il cervello del modello |
| q8_0 | Quantizzazione 8-bit | Quanto è compresso / fedele / pesante |
| .gguf | Formato file | Compatibile con Ollama / llama.cpp |
Tra tutte queste sigle, le 3 che contano di più sono:
1) embedding → ti dice che lavoro fa
2) 8b → ti dice quanto è grosso
3) q8_0 → ti dice quanto è compresso
Quindi se vedi un nome tipo:
[famiglia]-[funzione]-[dimensione]-[precisione/formato].gguf
puoi sempre leggerlo così:
- Che famiglia è?
- Che cosa fa?
- Quanto è grosso?
- Quanto è compresso?
- In che formato gira?
Ma queste sono considerazioni tecniche, ben diverso è optare per una famiglia o l’altra.
Tenete anche presente che se volete fare RAG in realtà dovrete scaricare due modelli: il Large Language Model e l’Embedding Model ; il primo servirà per generare le risposte mentre il secondo servirà per fare la RAG vera e propria e cioè il processo di embedding e qui credo sia assolutamente preferibile usare due modelli della stessa famiglia ( io attualmente uso Qwen3 )
In teoria c’è anche la possibilità di avere un Guard Model per filtrare le domande e le risposte ma questo ho preferito evitarlo.
Una volta scelti e scaricati i modelli dovrete andare nel database di configurazione dominoiq.nsf e registrarli negli appositi documenti.
0 commenti