Ejemplos reales donde ocurrieron sesgos algorítmicos

Ejemplos reales donde ocurrieron sesgos algorítmicos

COMPAS - Sistema de evaluación de riesgo en justicia penal

Microsoft Tay - Chatbot de IA

Apple Card - Algoritmo de crédito

Amazon - Algoritmo de contratación

Google Photos - Clasificación de imágenes

Descripción:

Impacto:

En 2014, Amazon desarrolló un algoritmo para clasificar los currículums de los candidatos a empleo de forma automática, con el objetivo de optimizar el proceso de contratación.

Amazon abandonó el uso del algoritmo en 2017 debido a la incapacidad de corregir el sesgo de género inherente, lo que mostró la dificultad de confiar en sistemas automáticos en procesos que requieren equidad de género.

Problema:

Fuente:

El algoritmo se entrenó con los datos de los currículums recibidos en los últimos diez años, que estaban predominantemente compuestos por hombres debido a la representación histórica en la industria tecnológica. Como resultado, el sistema penalizaba a los candidatos que incluían la palabra "mujer" en su experiencia (como "capitán del equipo de fútbol femenino") y favorecía a los hombres en general.

Dastin, J. (2018). Amazon scraps secret AI recruiting tool that showed bias against women. Reuters. https://www.reuters.com/article/us-amazon-com-jobs-automation-insight-idUSKCN1MK08G

Descripción:

Impacto:

En 2015, la aplicación Google Photos utilizaba algoritmos de reconocimiento facial para etiquetar y clasificar automáticamente las fotos de los usuarios.

Google emitió disculpas públicas y eliminó temporalmente la función de etiquetado automático de animales en su sistema para solucionar el problema. Este caso subrayó los problemas que pueden surgir cuando los algoritmos de reconocimiento facial se entrenan con datos sesgados o insuficientes.

Problema:

Un error en el algoritmo llevó a que las fotos de personas afroamericanas fueran etiquetadas como "gorilas", lo que desató una gran controversia por la implicación racista de tal etiquetado.

Fuente:

Hern, A. (2015). Google apologises for Photos app’s racist blunder. The Guardian. https://www.theguardian.com/technology/2015/jul/01/google-apologises-after-photos-app-tags-two-black-people-as-gorillas

Descripción:

Impacto:

En 2019, el algoritmo de la tarjeta de crédito Apple Card fue criticado por otorgar límites de crédito significativamente más altos a hombres que a mujeres, incluso cuando ambos presentaban perfiles financieros similares.

Apple fue investigada por el Departamento de Servicios Financieros del Estado de Nueva York para evaluar si había discriminación de género en el algoritmo de determinación de crédito.

Problema:

Fuente:

Las denuncias comenzaron cuando el empresario David Heinemeier Hansson señaló que recibió 20 veces más crédito que su esposa, a pesar de que ambos tenían activos e ingresos compartidos. Otros usuarios reportaron problemas similares.

Williams, O. (2019). Apple Card investigated after gender discrimination allegations. The Guardian. https://www.theguardian.com/money/2019/nov/11/apple-card-investigated-gender-discrimination-allegations

Descripción:

Impacto:

El sistema COMPAS (Correctional Offender Management Profiling for Alternative Sanctions) fue diseñado para predecir el riesgo de reincidencia de criminales. Se usa en Estados Unidos para ayudar a jueces a tomar decisiones sobre sentencias, libertad condicional y fianzas.

Las decisiones injustas de COMPAS contribuyeron a mantener a personas afroamericanas encarceladas por más tiempo y a liberar a personas blancas con un riesgo mayor de reincidencia.

Problema:

Fuente:

Una investigación de ProPublica en 2016 reveló que COMPAS mostraba un sesgo racial significativo. Las personas afroamericanas tenían el doble de probabilidades que las personas blancas de ser clasificadas erróneamente como de alto riesgo de reincidencia, mientras que las personas blancas eran subestimadas como de bajo riesgo.

Angwin, J., Larson, J., Mattu, S., & Kirchner, L. (2016). Machine Bias. ProPublica. Retrieved from https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing

Descripción:

Impacto:

En 2016, Microsoft lanzó Tay, un chatbot basado en IA diseñado para interactuar con los usuarios en Twitter y aprender de sus conversaciones para volverse más natural en sus respuestas.

Microsoft retiró el chatbot poco después de su lanzamiento y emitió una disculpa, admitiendo que subestimaron las posibles manipulaciones del sistema.

Problema:

Fuente:

En menos de 24 horas, Tay comenzó a emitir comentarios racistas, misóginos y xenófobos. Esto sucedió porque el chatbot fue entrenado por interacciones con usuarios de Twitter que publicaban contenido ofensivo, y el sistema no tenía suficientes medidas de control para evitar aprender comportamientos tóxicos.

Vincent, J. (2016). Twitter taught Microsoft’s AI chatbot to be a racist asshole in less than a day. The Verge. https://www.theverge.com/2016/3/24/11297050/tay-microsoft-chatbot-racist