Il professor Federico Faroldi, direttore di CERNAI, ha appena pubblicato un nuovo articolo sull’European Journal of Risk Regulation col titolo “Risk for AI agents”.
L’articolo si chiede se il concetto di rischio si applichi agli agenti AI. L’AI Act europeo, in vigore dal 2024, si fonda su un modello di rischio “da prodotto”: presuppone una finalità prevista, uno spazio circoscritto di usi impropri ragionevolmente prevedibili e una distribuzione trattabile dei danni potenziali. Secondo l’autore, queste tre premesse cadono per gli agenti sufficientemente generali, il cui spazio comportamentale è aperto per progettazione, i cui usi impropri possono includere sequenze nuove scoperte dall’agente stesso e la cui probabilità e gravità di danno cambiano con l’apprendimento e l’azione sull’ambiente. A venire meno, però, è l’operazionalizzazione del rischio in stile prodotto (per sistema, ex ante, ancorata alla finalità prevista), non il rischio in quanto tale.
L’articolo propone due strade complementari. La prima, conservativa, mantiene la definizione standard di rischio e la ricostruisce formalmente per gli agenti ristretti, come deviazione attesa da una traiettoria ideale o come somma ponderata per la probabilità delle violazioni di vincoli. La seconda, di governance, prende a modello i sistemi normativi con cui gestiamo gli agenti biologici e sostiene che gli agenti AI generali richiedano qualcosa di più vicino al rispetto della legge (law-following) che alla valutazione della sicurezza di prodotto. La prima è adatta al monitoraggio operativo del rischio in contesti circoscritti, la seconda all’architettura di governance che stabilisce quali agenti possano legittimamente essere impiegati.