Sesgo en algoritmos predictivos

Un algoritmo de aprendizaje automático puede hacer una predicción sobre el futuro basado en los datos históricos con los que ha sido entrenado. Pero cuando esos datos de entrenamiento provienen de un mundo lleno de desigualdades, el algoritmo puede simplemente aprender a seguir propagando esas desigualdades.

En el sistema de justicia penal, una puntuación de evaluación de riesgo predice si es probable que alguien acusado de un crimen cometa otro. Un acusado de bajo riesgo se considera poco probable de cometer otro crimen, mientras que uno de alto riesgo sí se considera probable de cometer otro crimen. Las evaluaciones de riesgo son usadas en las diferentes etapas del sistema, desde la asignación de montos de fianzas hasta la determinación de sentencias.

Los algoritmos de computación se usan cada vez más para obtener puntuaciones de evaluación de riesgo, ya que un algoritmo de computación es más barato que emplear a un humano, y puede basarse en muchos más datos.

En 2016, la agencia de investigación ProPublica analizó las puntuaciones generadas por un algoritmo usado en Florida con 700 personas durante un período de dos años, y comprobó si esas personas sí cometieron crímenes posteriores. $^1$start superscript, 1, end superscript

Descubrieron que el algoritmo subestimó la probabilidad de que los acusados blancos volvieran a reincidir pero sobreestimó dicha probabilidad para los acusados negros:

El algoritmo de evaluación de riesgo no fue entrenado con datos que incluyeran la raza de los acusados, pero aprendió a tener un sesgo racial. ¿Cómo?

El código para ese algoritmo en particular no puede auditarse directamente, ya que es un secreto empresarial celosamente protegido, como muchos otros algoritmos de aprendizaje automático. Sin embargo, investigadores de Stanford hicieron ingeniería inversa de los resultados y produjeron predicciones similares basadas en dos factores principales: la edad del acusado y el número de delitos cometidos anteriormente.$^2$squared

En EE.UU., la gente negra ha sido detenida históricamente a un tasa mayor que la de la gente blanca, debido a factores como el aumento de vigilancia policial en zonas urbanas. Por ejemplo, la ACLU encontró que en 2010, era 3.7 veces más probable que los negros fuesen arrestados por posesión de marihuana que los blancos, a pesar que su tasa de uso de marijuana era comparable.$^3$cubed

Un algoritmo de aprendizaje automático que se entrena con datos actuales de arrestos aprende a sesgarse en contra de los acusados por sus crímenes pasados, pues no tiene manera de darse cuenta de cuáles de esos arrestos anteriores fueron resultado del sesgo de sistemas y personas.

🤔 Los investigadores de Stanford descubrieron que las personas tienen el mismo sesgo a la hora de hacer evaluaciones de riesgo. ¿Qué es peor, un algoritmo de computadora sesgado o una persona sesgada? ¿Qué acciones podrían reducir dicha parcialidad?

Las grandes empresas reciben cientos de solicitudes por cada puesto de trabajo. Cada solicitud debe examinarse para decidir si el solicitante debiera ser entrevistado. Tradicionalmente, la selección la realizan los reclutadores del departamento de RH, pero es una tarea tediosa y se corre el riesgo de imponer los prejuicios del reclutador humano en los solicitantes.

Muchas empresas han empezado a automatizar la selección con algoritmos basados en aprendizaje automático, con la esperanza de aumentar la eficiencia y objetividad del proceso.

Un algoritmo de selección revisa el currículum de un candidato y le asigna un puntaje que predice la aptitud del candidato para el puesto.

En 2014, Amazon experimentó con el uso de software para evaluar solicitudes de empleo.$^4$start superscript, 4, end superscript Sin embargo, descubrieron que el software prefería candidatos hombres que mujeres, penalizando currículums que contenían la palabra "mujeres" (como en "club de ajedrez de mujeres") y degradando a las graduadas de universidades de solo mujeres. ¿Cómo se volvió sexista el software?

El software de selección fue entrenado con una década de currículums que habían sido previamente calificados por empleados que fueron parte del proceso de contratación.

En 2014, la gran mayoría de los empleados de Amazon eran hombres.

Incluso si los empleados hombres no fueron intencionalmente sexistas, calificaron los currículums basándose en su propia experiencia personal. Además, muchos currículums son referidos, y los hombres generalmente han trabajado con otros hombres. El resultado es un conjunto de datos de entrenamiento con una representación relativamente escasa de currículums de mujeres y con puntajes sesgados de los que si tiene.

Otra fuente potencial de sesgo son las bibliotecas usadas para el procesamiento de lenguaje natural. Los algoritmos de análisis de texto con frecuencia usan una biblioteca de vectores de palabras que clasifica la similitud entre palabras según la frecuencia con que típicamente ambas aparecen en textos digitalizados. Un estudio de 2018 encontró sesgo en una de las bibliotecas de vectores de palabras más populares, y reveló que los términos relacionados con ciencias y matemáticas estaban más estrechamente asociados con hombres, mientras que los de artes estaban más estrechamente asociados con mujeres.$^5$start superscript, 5, end superscript

Ese mismo estudio encontró un sentimiento más positivo asociado con los nombres euroamericanos que con los nombres afroamericanos:

El intento de Amazon de selección automática de solicitantes falló, pero algunas empresas todavía intentan crear soluciones automatizadas para la contratación que estén libres de prejuicios humanos.

Pymetrics es una de esas empresas que ofrece un servicio de selección basado en el aprendizaje automático. Sin embargo, dado que es tan difícil evaluar a un candidato basado sólo en su currículum, su proceso incorpora una evaluación conductual. Además, cada vez que modifican su algoritmo, lo prueban con miles de solicitantes pasados y comprueban si hay discriminación.$^{6}$start superscript, 6, end superscript También, convirtieron ese proceso de auditoría en software de código abierto para que otras compañías lo usen.$^{7}$start superscript, 7, end superscript

Es casi imposible saber si un algoritmo de selección rechaza candidatos que pueden haberse ajustado bien a un trabajo, ya que un candidato rechazado nunca tiene la oportunidad real de trabajar en esa posición. Por eso es doblemente importante que los algoritmos de selección sean auditados exhaustivamente.

🤔 ¿Preferirías tener un ser humano o un algoritmo que te haga el proceso de selección para un trabajo? Si supieras que un algoritmo revisa tu currículum, ¿qué cambiarías?

🙋🏽🙋🏻‍♀️🙋🏿‍♂️¿TIenes alguna pregunta sobre este tema? ¡Nos encantaría contestarte; tan sólo pregunta en el área de preguntas más abajo!