Una delle novità più importanti ed anche interessanti della versione 14.5 di Domino è senz’altro l’apertura verso il mondo dell’AI con DominoIQ.
Però intendiamoci subito: Domino non diventa un motore di AI. Diciamo piuttosto che si pone come una sorta di proxy fra le sue applicazioni e un motore di AI come può essere ChatGpt o simili.
|
Click here to read the english version |
Come viene riportato nella documentazione “Il server Domino, se configurato per Domino IQ, avvia un inference engine dal processo Dbserver. Il motore dell’AI viene eseguito localmente, in ascolto sulla porta configurata insieme ai processi principali del server Domino, e gestisce le query AI localmente all’interno del server Domino.”
La prima cosa importante da sottolineare è che in LotusScript vengono fornite due nuove classi con relativi metodi per interfacciarsi ai motori di AI : NotesLLMRequest e NotesLLMResponse .
Un secondo aspetto è la possibilità di configurare dei prompt predefiniti tramite l’apposito db di configurazione.
Ovviamente parlando di AI c’è un primo aspetto importante da considerare : l’hardware su cui far girare il tutto che deve essere abbastanza potente da gestire l’elaborazione del motore di AI ed avere una GPU Nvidia installata. Questo può essere un primo scoglio da superare in quanto è ben difficile che l’hardware su cui funziona un server Domino sia equipaggiato con un scheda Nvidia.
Ci sono però altre opzioni: sebbene di default il motore AI venga installato sul server Domino (vedi qui per la procedura) è in realtà possibile utilizzare un motore presente altrove , così come descritto in questo interessante articolo di Serdar Basegmez .
Avendo un PC con un scheda Nvidia (non il top di gamma ma comunque sufficiente per qualche test) ho quindi deciso di seguire questa strada. A differenza però dell’articolo ho installato su questo la versione di Ollama per Windows . E qui già ci sono alcuni punti da tenere presente : l’installazione di Ollama in sé è abbastanza facile ed anche la sua configurazione non è un problema ma provando ad interrogarlo ho notato che non usava affatto la GPU Nvidia ma solo la Cpu . Mistero presto svelato, avevo dei driver per la scheda grafica un po’ datati , è stato sufficiente scaricare ed installare quelli nuovi per risolvere il problema in modo da avere le corrette impostazione, specialmente per quanto riguarda la parte CUDA (Nota: non serve installare tutto il toolkit ma se volete più informazioni su CUDA le trovate qui ).
A questo punto ho potuto lavorare sulle impostazioni del server Domino e quindi :
Nel directory Profile del names.nsf ho dichiarato il nome del server Domino che gestisce IQ

Ho creato il database Domino IQ Configuration
(il template viene installato la versione 14.5) ed al suo interno ho impostato la connessione con il PC su cui gira Ollama:

ovviamente dove dichiaro il modello che voglio usare (nel mio caso deepseek) devo inserire un nome di modello che ho già scaricato su Ollama. Qui si aprirebbe un lungo discorso su qual’è il modello migliore da usare sia in termini di qualità delle risposte che di performance ma credo non ci siano risposte univoche.
Ultima parte è stata le verifica dei comandi disponibili e dei relativi prompt , sempre nel database Domino IQ Configuration .
Questi sono i comandi :

e questi sono i relativi prompt:

Diciamo che dovrebbe esserci una corrispondenza 1:1 fra comando e prompt . Il concetto è che un comando è come uno shortcut che viene richiamato da LotusScript e Domino si occupa poi di trasformarlo nel prompt collegato e di passarlo al motore dell’ AI .
Ma qui entraimo in un altro discorso, quello di come usare LotusScript per effettuare le chiamate all’AI e ricavarne le risposte e su questo scriverò a breve un altro articolo…


0 commenti