Sernicola AI Evaluation Framework
Il percorso per rendere i sistemi di intelligenza artificiale più sicuri, affidabili, etici e antropocentrici.
L'AI Act fornisce numerose linee guida, molte delle quali difficili da valutare in fase di sviluppo. Per questo il nostro audit studia la tecnica costruttiva, la qualità delle risposte, l'impostazione etica e l'adeguatezza cyber psicologica del tuo sistema AI.
A CHI CI RIVOLGIAMO
Perché usare il framework?
- Testare la qualità dei tuoi servizi AI, dedicati a clienti o dipendenti, in diversi ambiti e casi limite
- Verificare a quale classe di rischio il tuo sistema ai appartiene
- Assicurarsi che nel sistema non emergano comportamenti vietati dalle linee guida internazionali
- Svolgere i test e gli audit richiesti dall’AI Act e dalle linee guida internazionali
- Identificare e mitigare i possibili rischi, anche nei casi di uso improprio da parte degli utenti
- Redigere un codice di condotta per la tua azienda
È esattamente la verifica che l'AI Act presuppone. Il risultato dell'audit però va oltre l'adempimento: serve a costruire sistemi migliori.
Il framework produce quelle evidenze e, insieme ai moduli aggiuntivi di conformità, porta l'azienda alla piena compatibilità con il regolamento, riducendo concretamente l'esposizione al rischio sanzionatorio.
UN APPROCCIO PRATICO E SPERIMENTALE
Si valuta il sistema, non solo i documenti
È il principio fondante del framework, ed è anche il motivo per cui i test di laboratorio sui modelli linguistici non bastano a dirvi se il vostro sistema funziona.
L’AI Act parla di spigabilità e trasparenza, per un sistema che per definizione è una black box. Dunque l’adeguamento non può esaurirsi con linee guida da tenere presenti al momento della costruzione (cosa che funzionerebbe per un algoritmo classico). Deve invece prevedere una fase di analisi empirica tramite test sul sistema sviluppato, basato su casi reali di utilizzo e adeguato al pubblico che andrà ad usarlo nel quotidiano.
L'AI spesso non può essere spiegabile, ma può essere verificabile.
IL MANIFESTO
Una bicicletta per la mente oppure un meccanismo che la ingabbia?
L'AI deve essere antropocentrica e non antropomorfa. L’AI deve migliorare la vita delle persone, migliorarne il lavoro, non limitarsi a renderle più efficienti, veloci, produttive. Deve rendere il lavoro più giusto, più equo, più sostenibile per gli esseri umani, senza danneggiare l'ambiente. L’AI deve aiutare a raggiungere i KPI, ma sono gli esseri umani che scelgono gli obiettivi e da questa scelta deriva la direzione che prenderà l'intelligenza artificiale: una bicicletta per la mente o un meccanismo che la ingabbia.
La qualità di un sistema AI non dipende solo dal modello linguistico che lo alimenta, come ChatGPT, Claude, Gemini o altri. Il modello è il motore, ma gli ingranaggi determinano il risultato finale: l'architettura software, le istruzioni, le fonti da cui attinge le informazioni, i dati aziendali, le integrazioni con altri strumenti, l'interfaccia, le procedure di supervisione umana. La qualità finale emerge dall'interazione di tutti questi elementi, e ogni elemento può essere un punto di rottura.
Ogni elemento può essere un punto di rottura.
IL VUOTO CHE COLMIAMO
Un approccio interdisciplinare e collaborativo
La parte difficile è verificare il sistema reale. Il sistema ha bias? È antropomorfizzato in modo inappropriato? Spinge gli utenti verso comportamenti o decisioni? Funziona in modo tecnicamente adeguato? È robusto quando qualcuno prova a forzarlo?
Il confine tra rischio basso, alto e inaccettabile non è così definito né così semplice da identificare senza un test concreto dei casi limite non facilmente prevedibili in fase di prompting. Anche perché in alcuni casi si coinvolge la sfera psicologica dell’utilizzatore.
GLI STEP DEL FRAMEWORK
I quattro pilastri della valutazione
È l'esame sotto il cofano, condotto da un team di sviluppatori e ingegneri del software: persone che i sistemi li costruiscono ogni giorno e sanno esattamente dove guardare.
Analizziamo come il sistema è progettato e assemblato: l'architettura software, la scelta dei modelli AI e di embedding, la struttura dei prompt, i sistemi RAG, la qualità e l'aggiornamento delle fonti informative, la documentazione tecnica, la manutenibilità nel tempo.
Tracciamo i flussi di dati strumento per strumento: i dati restano in azienda o escono? Vengono usati per addestrare i modelli? Vengono memorizzati, dove e per quanto tempo?
Qui si passa dal progetto alla prova dei fatti. Misuriamo l'accuratezza delle risposte, la robustezza di fronte a input imprevisti o malintenzionati, l'affidabilità operativa, la capacità del sistema di spiegare le proprie risposte, la qualità del recupero delle informazioni, l'esperienza d'uso complessiva.
Soprattutto, cerchiamo attivamente i punti di rottura: le situazioni in cui il sistema sbaglia, inventa o si comporta in modo anomalo.
Documentiamo dove e come il sistema cede.
Valutiamo la trasparenza: l'utente sa di parlare con un'AI? Sa come vengono usati i suoi dati?
Verifichiamo la supervisione umana (human in the loop): c'è sempre un modo per raggiungere un membro del team? Le decisioni importanti passano da un essere umano? Analizziamo l'equità: il sistema tratta tutti allo stesso modo o discrimina alcune categorie? Ci soffermiamo sulla governance dei dati, sull'attribuzione delle responsabilità e sulla protezione degli utenti vulnerabili.
È il pilastro più innovativo e distintivo del framework. I sistemi conversazionali non sono strumenti neutri: influenzano il modo in cui le persone pensano, decidono e si fidano.
Analizziamo l'antropomorfizzazione, la calibrazione della fiducia (cioè se gli utenti si fidano troppo o troppo poco), l'autonomia decisionale (ovvero se il sistema suggerisce oppure decide al posto delle persone). Studiamo poi l'influenza emotiva e persuasiva, i rischi di dipendenza, i bias cognitivi indotti, l'impatto su minori e categorie fragili, gli effetti sull'ambiente di lavoro.
Il rigore scientifico di questa valutazione non è affidato alla sensibilità di chi la conduce: i test sull'impatto psicologico e comportamentale sono progettati, condotti e validati da psicologi iscritti all'albo.
I MODULI AGGIUNTIVI
Dalla qualità alla conformità legale
Modulo AI Act — compliance e governance
Unito ai quattro pilastri, permette di ottenere la piena compatibilità con l'AI Act: il framework verifica che il sistema reale si comporti come il regolamento richiede, il modulo produce e certifica la documentazione di governance che lo dimostra. È la combinazione che nessuno dei due mondi, quello legale e quello tecnico, può offrire da solo.
Cyber Security Module
Modulo GDPR
Modulo Formazione del personale
Sernicola AI Evaluation Framework
COSA OTTIENI
Niente burocrazia, mettiamo le mani in pasta
Il rischio è di scaturire nell’ennesimo processo burocratico privo di senso pratico. Al contrario il nostro approccio è estremamente pratico e fattuale: mettiamo le mani in pasta come amiamo fare, preferiamo smontare e studiare, piuttosto che guardare a distanza.
Inoltre l'AI Act incoraggia l’adozione di codici di condotta anche se non si è nella fascia ad alto rischio, perché rappresentano una garanzia della compliance normativa e perché lo scopo finale è di ottenere sistemi ai che funzionano meglio e rispettano gli utilizzatori.
DOVE SI APPLICA IL FRAMEWORK?
Qualsiasi sistema basato su AI generativa
Il nostro audit si basa sui principi che sono alla base delle norme e quindi si applica a qualsiasi sistema basato su modelli linguistici e intelligenza artificiale generativa.
Il rischio quando si parla di sistemi di frontiera è che le norme nascano già vecchie. L’AI Act è nata prima dell’AI generativa di oggi. Se i regolamenti tecnici faticano a stare al passo con l’evoluzione della tecnologia, i principi di base etici hanno una valenza più duratura e universale: rappresentano un investimento verso il futuro e non un mero tentativo di arginare una tecnologia che si evolve più velocemente di qualsiasi barriera.
La direzione che si dà ai sistemi al momento dello sviluppo è più importante delle limitazioni, così come la formazione e l’insegnamento sono più potenti dei divieti.
PERCHÉ SERNICOLA LABS
Dieci anni di sviluppo e di esperienze sul campo
IL TEAM DIETRO AL FRAMEWORK
Parliamo del tuo sistema
La qualità di un sistema di intelligenza artificiale non dipende soltanto da ciò che il modello sa fare, ma da come l'intero sistema è stato progettato, documentato, governato e integrato nell'esperienza umana.
DOMANDE FREQUENTI
Le domande che ci fanno più spesso
Il rapporto tra il framework e le regole va chiarito bene, perché è alla base del nostro approccio.
Il framework non è una certificazione, e nel suo percorso base non sostituisce la verifica legale: è uno strumento di ingegneria, che guarda al sistema e non alle carte. Ma trasparenza, supervisione umana, robustezza, governance dei dati e protezione degli utenti vulnerabili sono al tempo stesso principi dell'AI Act — e dei suoi equivalenti mondiali, dal NIST AI Risk Management Framework alla ISO/IEC 42001, dai Principi OCSE alla Raccomandazione UNESCO — e aree di valutazione del framework.
La logica è questa: le normative dicono cosa un sistema deve rispettare, il framework verifica se il vostro sistema — quello vero e non quello descritto nei documenti — è costruito per riuscirci. Chi ha bisogno anche della certificazione documentale la ottiene con il modulo AI Act, che si appoggia sulle evidenze già raccolte: è la combinazione dei due a produrre una conformità solida, non dichiarata. Un sistema che supera i quattro pilastri è inoltre allineato con i principi condivisi da tutti questi strumenti, europei, americani e internazionali, ed è quindi pronto ad affrontare qualsiasi contesto normativo, presente o futuro.
Vuoi capire cosa prevedono davvero l'AI Act, le sanzioni e le linee guida internazionali?
Naturalmente lo applichiamo anche ai nostri progetti: ogni sistema AI che sviluppiamo in Sernicola Labs passa attraverso il framework prima della consegna. È il nostro standard interno di qualità, prima ancora che un servizio.
Conoscenza del sistema
Analisi dei quattro pilastri
Moduli aggiuntivi, se richiesti
Sintesi e priorità
Restituzione
Piano di miglioramento
Hai altre domande? Contattaci
Ogni grande avventura inizia con una semplice domanda
Raccontaci la tua storia.
