Bias algoritmico nella selezione

Si parla di bias algoritmico quando uno strumento che aiuta a valutare le candidature tratta in modo sistematicamente diverso persone con le stesse capacità, senza che nessuno l’abbia deciso. Il NIST, nel rapporto SP 1270 del 15 marzo 2022, lo descrive come un problema diffuso nei processi tecnologici che può fare danni anche quando non è voluto.

Come entra nel processo

Un modello impara dai dati e dagli obiettivi che riceve. Se il bersaglio sono le persone assunte in passato, può imparare gli effetti della selezione di allora insieme agli indizi di rendimento, e le persone mai assunte non compaiono affatto nei dati. Il NIST distingue tre origini: statistiche e computazionali (algoritmi e dati di addestramento), umane (come le persone leggono e completano i dati) e sistemiche (le prassi delle istituzioni). Per questo, osserva, i soli rimedi tecnici difficilmente bastano: conta anche il contesto in cui lo strumento viene usato.

Un esempio: il segnale dell’università

Un esempio inventato per illustrare il meccanismo. Valorizzi una certa università perché ci si sono laureati diversi colleghi. Uno strumento addestrato a somigliare a quelle assunzioni può premiarla anche quando il ruolo richiede una competenza che si acquisisce in molti percorsi. Togliere i nomi dalle candidature non cambia nulla: la preferenza resta. Sostituire il segnale «università» con una prova di lavoro cambia ciò che il processo misura, anche se la prova va a sua volta verificata.

Non è solo un rischio teorico. Nell’audit pubblicato il 6 novembre 2024 sugli strumenti di selezione con IA, l’ICO britannico ha trovato strumenti che deducevano genere ed etnia dal nome e filtri che permettevano di escludere persone con caratteristiche protette. Chi approva un punteggio senza guardarne la base porta quell’errore dentro la decisione.

Come controllare gli errori, non solo i passaggi di fase

Scrivi che cosa il sistema dovrebbe prevedere, per quali candidature lo usi e come il risultato pesa sulla decisione. Poi guarda gli errori: le raccomandazioni sbagliate e le persone adatte che sono state scartate, non solo quante sono avanzate. Una precisione complessiva può nascondere errori diversi tra gruppi o ruoli. Una differenza negli esiti è un motivo per indagare e non ne spiega la causa; esiti simili non provano che ognuno sia stato valutato in modo equo.

Al fornitore chiedi che cosa è stato testato, su quale popolazione, con quali limiti e per quale versione, e rifai il controllo quando cambiano ruolo, dati o modello. L’ICO ha pubblicato domande utili proprio per questo colloquio con il fornitore.

Quanto alle regole, l’AI Act elenca tra i sistemi ad alto rischio quelli destinati a selezionare o valutare persone candidate (allegato III, punto 4, lettera a) e, tra questi, considera sempre ad alto rischio quelli che effettuano la profilazione di persone fisiche (art. 6, paragrafo 3). Nel testo consolidato del 27 luglio 2026, dopo il regolamento (UE) 2026/1744, gli obblighi per questi sistemi si applicano dal 2 dicembre 2027. In Italia l’articolo 11, comma 3, della legge 132/2025 chiede che l’IA usata nell’organizzazione e nella gestione del rapporto di lavoro rispetti i diritti inviolabili senza discriminazioni, per esempio di sesso, età, origine etnica, credo religioso e orientamento sessuale. La norma parla di rapporto di lavoro: se valga già per la fase di selezione è una domanda da porre a chi ti assiste sul piano legale.