El Espejo Algorítmico:Comprendiendo y Combatiendo el Sesgo

El Espejo Algorítmico:Comprendiendo y Combatiendo el Sesgo

¡vamos!

FUNDAMENTOS DEL SESGO SISTÉMICO

El sesgo algorítmico no es un mero error técnico ("bug"), sino el resultado de la codificación de sesgos sociales, estructurales e históricos en sistemas tecnológicos.

La "equidad" no es un concepto monolítico. Existen múltiples definiciones matemáticas, a menudo contradictorias, y la elección de una métrica es una decisión ética con consecuencias reales.

Usa esta cara de la tarjeta para dar más información sobre un tema. Focalízate en un concepto. Haz que el aprendizaje y la comunicación sean más eficientes.

Usa esta cara de la tarjeta para dar más información sobre un tema. Focalízate en un concepto. Haz que el aprendizaje y la comunicación sean más eficientes.

El Sesgo como Fenómeno Sociotécnico

El Dilema de las Métricas de Equidad

Título

Título

Escribe aquí una descripción breve

Escribe aquí una descripción breve

CONTINUAR

Caso 1: Sesgo de Agregación Ocurre al aplicar un modelo único a subgrupos heterogéneos, ignorando que las relaciones entre variables pueden diferir significativamente entre ellos (paradoja de Simpson).

GALERÍA DE SESGOS(CASOS AVANZADOS)

Caso 2: Sesgo de Interacción Se genera un bucle de retroalimentación donde las acciones del sistema modelan el comportamiento del usuario, y ese comportamiento a su vez genera datos que refuerzan el sesgo inicial del sistema.

Caso 3: Sesgo Latente (vía Proxies)Ocurre cuando se eliminan atributos sensibles (ej. etnia), pero el modelo aprende a discriminarlos a través de otras variables aparentemente neutras que están fuertemente correlacionadas con ellos.

CONTINUAR

Pre-Procesamiento (Actuar sobre los Datos)

HERRAMIENTAS DE MITIGACIÓN

In-Procesamiento (Actuar sobre el Modelo)

CONTINUAR

Post-Procesamiento (Actuar sobre los Resultados)

Caso: Un modelo de IA para selección de personal está entrenado y ya en producción (caja negra). Una auditoría revela que rechaza a un número desproporcionado de mujeres cualificadas (viola la Igualdad de Oportunidades). No tienes acceso a los datos de entrenamiento ni al código del modelo.

CONTINUAR

Bibliografía

• Barocas, S., & Selbst, A. D. (2016). Big Data's Disparate Impact. California Law Review, 104(3), 671–732.

• Crawford, K. (2021). The Atlas of AI: Power, Politics, and the Planetary Costs of Artificial Intelligence. Yale University Press.

• Hardt, M., Price, E., & Srebro, N. (2016). Equality of Opportunity in Supervised Learning. Advances in Neural Information Processing Systems, 29.

• Kleinberg, J., Mullainathan, S., & Raghavan, M. (2016). Inherent Trade-Offs in the Fair Determination of Risk Scores. ArXiv:1609.05807 [cs, stat].

• Mitchell, S., Potash, E., Barocas, S., D’Amour, A., & Lum, K. (2021). Algorithmic Fairness: Choices, Assumptions, and Definitions. Annual Review of Statistics and Its Application, 8, 141-163.

• Narayanan, A. (2018). 21 fairness definitions and their politics. Tutorial presentation at the Conference on Fairness, Accountability, and Transparency (FAT*).

• O'Neil, C. (2016). Weapons of Math Destruction: How Big Data Increases Inequality and Threatens Democracy. Crown.

Técnicas que modifican el conjunto de datos de entrenamiento antes de que el modelo aprenda.

• Remuestreo (Reweighing): Asigna pesos a las instancias del conjunto de datos para que el modelo 'preste más atención' a los grupos subrepresentados.

• Masajeo de Datos (Massaging): Cambia las etiquetas de un subconjunto de datos para ecualizar la paridad. Ej: cambiar algunas etiquetas de 'alto riesgo' a 'bajo riesgo' en el grupo sobre-representado.

• Generación de Datos Sintéticos (Synthetic Data): Uso de técnicas como SMOTE (Synthetic Minority Over-sampling Technique) para crear nuevos puntos de datos artificiales para grupos minoritarios.

Diferenciación entre sesgo estadístico (varianza-sesgo, deseable para la generalización del modelo) y sesgo perjudicial (injusticia sistemática). Se exploran las cinco fuentes de daño según Batya Friedman y Helen Nissenbaum: sesgos preexistentes, técnicos y emergentes.

• Formulación del Problema: ¿Qué se optimiza? La elección de maximizar 'clics' en lugar de 'diversidad de información' es una fuente inicial de sesgo.
• Recolección de Datos: Reflejo de sesgos históricos (ej. brechas de género en datos laborales).
• Preprocesamiento y Definición de Variables: Creación de proxies que generan sesgo latente.
• Entrenamiento del Modelo: Optimización que puede llevar a sesgos de agregación.
• Evaluación: Falta de métricas de equidad en la validación.
• Despliegue y Bucles de Retroalimentación: El modelo influye en la realidad, generando datos futuros que refuerzan el sesgo inicial (sesgo de interacción).

Métricas Clave

• Paridad Demográfica: La probabilidad de obtener un resultado positivo es la misma para todos los grupos. (P(Ŷ=1|A=a) = P(Ŷ=1|A=b)). Crítica: Puede llevar a contratar candidatos menos cualificados de un grupo para cumplir la cuota.
• Igualdad de Oportunidades: La probabilidad de que un individuo cualificado obtenga un resultado positivo es la misma para todos los grupos (tasa de verdaderos positivos es igual). (P(Ŷ=1|Y=1, A=a) = P(Ŷ=1|Y=1, A=b)). Crítica: No considera las tasas de falsos positivos.
• Paridad Predictiva: La precisión del modelo es la misma para todos los grupos (valor predictivo positivo es igual). (P(Y=1|Ŷ=1, A=a) = P(Y=1|Ŷ=1, A=b)). Crítica: Puede requerir umbrales diferentes para cada grupo.

Riesgo Cardiovascular

Una aseguradora desarrolla un modelo para predecir el riesgo de enfermedad coronaria a 10 años. Se entrena con datos de una población mixta.

• Perfil 1 (Hombre, 55 años, colesterol alto, fumador) → Predicción: ALTO RIESGO. El modelo identifica correctamente los factores de riesgo clásicos."

• Perfil 2 (Mujer, 60 años, presión alta, diabetes, reporta fatiga y dolor de espalda): → Predicción: RIESGO MODERADO. SESGO REVELADO: El modelo, al ser agregado, está optimizado para los síntomas masculinos (dolor de pecho) y subestima el peso de los síntomas femeninos (fatiga, dolor de espalda), resultando en un peligroso falso negativo.

Impacto: Aumento de la mortalidad evitable en subpoblaciones para las cuales el modelo no está calibrado, a pesar de una alta precisión 'general.

Policía Predictiva

Un sistema de policía predictiva asigna patrullas a zonas de la ciudad basándose en datos históricos de arrestos para 'optimizar' la eficiencia.

• Iteración 1: Basado en datos históricos (que ya reflejan sesgos de vigilancia), el sistema envía más patrullas al Barrio A.
• Iteración 2: Al haber más patrullas en el Barrio A, se realizan más arrestos por delitos menores allí. Estos nuevos datos se reintroducen en el sistema.
• Iteración 10: El sistema ahora asigna el 90% de los recursos al Barrio A, que aparece como un 'punto caliente' de criminalidad. SESGO REVELADO: El sistema no está prediciendo el crimen, está prediciendo la acción policial. Ha creado una profecía autocumplida, estigmatizando a una comunidad.

Impacto: Criminalización de comunidades, justificación algorítmica de la vigilancia excesiva y erosión de la confianza pública.

Redlining Digital

Una fintech otorga préstamos basándose en un modelo que excluye explícitamente la etnia, pero utiliza cientos de variables alternativas, como el historial de navegación web, el tipo de dispositivo móvil y los patrones de gasto.

• Lista de variables: [Nivel de batería del móvil], [Uso de mayúsculas al escribir], [Número de préstamos rápidos solicitados online], [Frecuencia de visitas a tiendas de descuento].

Estas variables, aunque no son atributos sensibles, están correlacionadas con el nivel socioeconómico y, a menudo, indirectamente con la etnia. SESGO REVELADO: El modelo está realizando un redlining digital, negando servicios a grupos históricamente desfavorecidos sin mencionar nunca su condición."Impacto: Reproducción y opacidad de patrones históricos de discriminación financiera, haciéndolos más difíciles de detectar y combatir legalmente.

Técnicas que incorporan restricciones de equidad directamente en el algoritmo de aprendizaje.

• Regularización de Equidad: Añade una penalización a la función de coste del modelo si viola una métrica de equidad predefinida. El modelo debe equilibrar precisión y equidad.

• Modelado Adversario (Adversarial Debiasing): Entrena un segundo modelo (adversario) que intenta predecir el atributo sensible a partir de las predicciones del modelo principal. El modelo principal es entrenado para 'engañar' al adversario, volviéndose así ciego al atributo sensible.

• Optimización con Restricciones: Resuelve un problema de optimización donde el objetivo es maximizar la precisión sujeto a que se cumplan ciertas restricciones de equidad.

Técnicas que ajustan las predicciones de un modelo ya entrenado ('caja negra').

• Calibración por Grupo: Ajusta los umbrales de decisión para cada grupo demográfico para satisfacer una métrica de equidad. Ej: para que un préstamo sea aprobado, el grupo A necesita una puntuación > 0.8, y el grupo B > 0.75.

• Rechazo de Opción (Reject Option Classification): El modelo se abstiene de tomar una decisión para casos inciertos (especialmente en grupos minoritarios) y los deriva a una revisión humana.