Sesgo de IA en selección
El sesgo de IA en selección es una distorsión sistemática en los datos, el diseño o el uso de un sistema que puede producir resultados injustos entre personas o grupos. Puede aparecer antes del entrenamiento, en el modelo o en la forma de interpretar sus resultados.
El origen puede estar fuera del modelo
El NIST, en su informe SP 1270 de 2022, distingue sesgos sistémicos, estadísticos o computacionales y humanos. Esta clasificación ayuda a ampliar la revisión más allá de los datos de entrenamiento.
En selección, los criterios de una vacante pueden reproducir preferencias anteriores; los datos pueden representar mal ciertas trayectorias; y el equipo puede confiar demasiado en una recomendación. Quitar el nombre de un CV no elimina todos esos mecanismos. Otros datos o decisiones del proceso pueden seguir influyendo en quién avanza.
Un ejemplo para localizar el problema
Imagina un sistema que prioriza perfiles parecidos a los de contrataciones anteriores. Si esas contrataciones proceden de un conjunto reducido de centros de formación, la similitud podría favorecer ese recorrido aunque no sea necesario para el puesto. Es un ejemplo hipotético de cómo una decisión histórica puede convertirse en un criterio de selección.
Para investigarlo, habría que comprobar qué información utiliza el sistema y contrastar sus resultados con evidencias de capacidad para el trabajo. Que un perfil se parezca a otro no demuestra que vaya a desempeñarse igual.
Revisar la decisión completa
Una evaluación útil identifica qué error busca, con qué datos lo comprueba y a quién podría perjudicar. Las tasas de avance o los errores de clasificación pueden revelar diferencias, pero necesitan contexto. No toda diferencia prueba discriminación, ni la igualdad de un indicador demuestra ausencia de sesgo.
Pide al proveedor el alcance y las limitaciones de sus pruebas. Examina también los criterios definidos por tu equipo, las candidaturas que reciben poca atención y el modo de resolver discrepancias. El propio NIST advierte de que incorporar una persona al proceso no basta si su intervención no está bien diseñada.
Los controles deben revisarse cuando cambien el sistema, los datos o su uso. No hay una frecuencia trimestral universal que convierta por sí sola una herramienta en fiable. Tampoco debe recogerse información sensible para una prueba sin examinar antes las condiciones jurídicas de ese tratamiento.