AUTOMATIZZARE IL CAOS
Il limite degli agenti autonomi senza governance
Un sistema rileva un’anomalia nelle giacenze di magazzino. Interroga i contratti attivi con i fornitori, identifica quello con i termini più favorevoli per un riordino rapido, compila l’ordine e lo scrive direttamente nel gestionale. Tutto in pochi minuti, senza che nessuno abbia premuto un tasto.
Fin qui, la promessa.
Adesso la stessa scena con una variabile diversa: il contratto che il sistema ha interrogato era una versione precedente, non quella rinegoziata tre mesi fa. L’ordine è stato emesso a condizioni che l’azienda aveva già superato. È arrivato al fornitore, che lo ha accettato, prima che qualcuno se ne accorgesse.
Stessa architettura. Stesso agente. Risultato opposto.
Il cambio di paradigma
L’industria del software B2B sta attraversando una transizione silenziosa ma profonda. Il paradigma conversazionale, quello in cui un utente inserisce un prompt e attende una risposta, sta cedendo spazio ai flussi di lavoro agentici: sistemi che non si limitano a recuperare informazioni, ma che eseguono azioni, prendono decisioni intermedie, interagiscono con altri sistemi senza intervento umano continuo.
È un salto qualitativo significativo. Un chatbot sbaglia una risposta, e l’utente la ignora. Un agente sbaglia un’azione, e l’azione è già avvenuta.
La velocità, che è il principale vantaggio degli agenti autonomi, è anche la ragione per cui i loro errori sono strutturalmente diversi da quelli dei sistemi precedenti. Agiscono a velocità macchina, senza l’intuizione umana che rallenterebbe davanti a qualcosa di palesemente anomalo. Un operatore che vede un ordine da 400 unità quando il massimo storico è 40 si ferma a verificare. Un agente, in assenza di regole esplicite, non si ferma.
Il problema del collegamento diretto
Connettere un Large Language Model ai sistemi transazionali di un’azienda, il CRM, l’ERP, il gestionale degli acquisti, è un’operazione che i responsabili IT più esperti descrivono con una certa cautela. Non perché sia tecnicamente impossibile, ma perché questi sistemi sono stati progettati per essere stabili, e la stabilità si ottiene anche limitando i punti di accesso in scrittura.
Un agente AI che ha accesso in lettura è uno strumento di analisi. Un agente AI che ha accesso in scrittura è un attore operativo. La differenza non è tecnica, è concettuale, e richiede un livello di governance proporzionalmente diverso.
Le domande che raramente vengono poste prima dell’implementazione sono quelle più semplici. Cosa succede se l’agente agisce su dati non aggiornati? Chi viene notificato se un’azione automatica produce un risultato anomalo? Come si torna indietro? Esiste un log che permette di ricostruire esattamente quale documento ha consultato, quale regola ha applicato, quale azione ha eseguito?
In assenza di risposte strutturali a queste domande, l’autonomia dell’agente non è un vantaggio. È un rischio non quantificato.
Human in the loop, oltre lo slogan
Il concetto di Human in the Loop viene citato spesso nelle presentazioni sui sistemi agentici, quasi sempre come garanzia generica di controllo. Nella pratica, viene implementato raramente con la rigidità che richiederebbe.
Human in the Loop come principio architetturale significa qualcosa di preciso: esistono categorie di azioni che il sistema non può eseguire autonomamente, indipendentemente dal livello di confidenza con cui ha elaborato la decisione. L’agente analizza, recupera, prepara. L’essere umano autorizza.
Non è un limite alla potenza del sistema. È la condizione che rende il sistema utilizzabile in un contesto enterprise, dove le conseguenze di un errore non si misurano in un prompt da riformulare, ma in ordini emessi, record modificati, comunicazioni inviate.
La distinzione tra azioni reversibili e azioni irreversibili è il primo livello di questa architettura. Alcune cose si possono disfare, altre no. Un sistema che non distingue tra le due categorie e le tratta con la stessa autonomia è un sistema che non è pronto per la produzione.
La governance come obbligo, non come opzione
C’è un elemento che sta cambiando il perimetro della discussione, indipendentemente dalle posizioni di chi progetta questi sistemi.
L’EU AI Act, nella sua applicazione progressiva, sta rendendo la tracciabilità dei sistemi AI un requisito normativo per categorie crescenti di applicazioni. Non è più sufficiente che un sistema funzioni correttamente. Deve essere possibile dimostrare perché ha preso una certa decisione, su quali basi, con quale livello di confidenza.
Per gli agenti autonomi questo significa che l’auditability non è una funzionalità opzionale da aggiungere in un secondo momento. È un requisito di progettazione. Un sistema costruito senza log granulari, senza gerarchia dei permessi, senza traccia delle fonti consultate, dovrà essere rifatto, non aggiornato.
Quello che rimane
C’è una tensione reale nel modo in cui le organizzazioni si avvicinano agli agenti autonomi. Il ritardo ha un costo: chi non implementa perde efficienza, perde velocità, lascia spazio a chi si muove prima. Ma l’implementazione senza governance ha un costo diverso, meno visibile nell’immediato e più difficile da quantificare fino a quando non si materializza.
Il CTO che aspetta rischia di perdere competitività.
Il CTO che implementa senza un sistema di controllo rischia qualcosa di più difficile da recuperare.
La velocità è un vantaggio solo se sai dove stai andando.
Questo articolo è stato prodotto con l’AI. Le osservazioni, le scelte editoriali e la responsabilità del contenuto sono dell’autore.”
Sergio Caniatti, Creator & Architect, UBcore OS