Casi todas las políticas de IA que revisamos contienen alguna versión de la misma frase: nuestros sistemas deben ser justos y no discriminar. Es una declaración correcta y completamente vacía en términos operativos. No dice qué se mide, sobre qué población, con qué umbral, con qué frecuencia, ni qué ocurre cuando el resultado no gusta. Un auditor que pregunte por ella recibirá el documento y, acto seguido, la pregunta que importa: muéstrenme la medición.
Convertir el principio en control exige tomar cuatro decisiones incómodas que la declaración ética permite evitar. Este artículo recorre esas cuatro. Como toca materias de no discriminación y de tratamiento de datos, conviene una advertencia: es orientación técnica y no asesoría legal, y la calificación jurídica de un caso concreto debe verificarse con un abogado sobre la normativa vigente.
Decisión 1: qué grupo y qué resultado
No se puede medir sesgo sin definir respecto de quién. Eso obliga a nombrar los atributos frente a los cuales el sistema no debe producir diferencias injustificadas —sexo, edad, nacionalidad, discapacidad, origen socioeconómico, según el contexto y lo que exija la norma aplicable— y a definir qué resultado se compara. La segunda parte se subestima: no es lo mismo comparar la tasa de aprobación de una solicitud que comparar la tasa de error del modelo entre grupos que en realidad tenían el mismo mérito. La primera comparación mide reparto; la segunda mide calidad. Ambas son legítimas y responden preguntas distintas.
Aquí aparece el primer hallazgo habitual: el atributo protegido rara vez está en el modelo, pero sus sustitutos sí. La comuna de residencia, el colegio de egreso, el operador de telefonía, el nombre de pila o el canal por el que llegó la solicitud pueden correlacionar con el atributo lo bastante como para reproducir la diferencia sin nombrarla. Eliminar la variable protegida del conjunto de entrenamiento no elimina el sesgo; solo lo vuelve más difícil de detectar.
Decisión 2: qué métrica, sabiendo que no se puede tener todo
Las métricas de equidad se agrupan en tres familias, y conviene entenderlas antes de elegir:
- Paridad de resultados. La proporción de decisiones favorables debe ser similar entre grupos. Es la más intuitiva y la más discutida, porque ignora si los grupos difieren en la variable que legítimamente se está evaluando.
- Igualdad de tasas de error. Entre quienes objetivamente cumplían el criterio, la proporción de acertados debe ser similar entre grupos; y lo mismo para los falsos positivos. Es la familia que mejor captura la idea de "el sistema funciona igual de bien para todos".
- Calibración. Cuando el modelo asigna una probabilidad de 0,7, esa probabilidad debe significar lo mismo en cada grupo. Es la que más le importa a quien usa la puntuación para decidir.
El punto que cambia la conversación con el comité es este: no se pueden satisfacer todas a la vez. Está formalmente demostrado que, salvo casos degenerados —tasas base idénticas entre grupos o un clasificador perfecto—, la calibración por grupo y la igualdad de tasas de error son matemáticamente incompatibles. No es una limitación de la técnica actual ni un problema de datos insuficientes: es un resultado. Mejorar una métrica empeora otra, y elegir cuál privilegiar es una decisión normativa, no estadística.
La pregunta "¿es justo el sistema?" no tiene respuesta técnica. La pregunta "¿qué definición de justicia adoptamos, por qué, y qué estamos aceptando empeorar a cambio?" sí la tiene, y además se puede documentar.
Decisión 3: de dónde sale el dato para medir
Aquí está la contradicción que más proyectos deja detenidos. Para verificar que un sistema no discrimina por un atributo, hay que conocer ese atributo en la población evaluada. Pero muchos de esos atributos son datos sensibles y su tratamiento está sujeto a un régimen reforzado, como revisamos en el artículo sobre datos personales e IA en Chile. La salida no es renunciar a medir —la ausencia de medición no es una defensa— sino tratar la medición como un tratamiento propio, con finalidad explícita, base de licitud, acceso restringido al equipo que audita, conservación acotada y separación respecto del sistema de producción.
Existen alternativas de menor calidad para cuando el atributo no está disponible: inferencia estadística a partir de proxies, muestras voluntarias, o medición sobre conjuntos de prueba construidos para el efecto. Todas introducen error y ese error hay que declararlo. Una medición con incertidumbre reconocida es evidencia; una medición presentada como exacta cuando no lo es se vuelve en contra en la primera revisión seria.
Decisión 4: cuándo se mide y quién firma
Un control que se ejecuta una vez antes del lanzamiento no es un control, es una foto. La distribución de solicitantes cambia, el modelo se reentrena, el proveedor actualiza la versión base sin avisar y la métrica que estaba dentro del umbral deja de estarlo. El diseño mínimo razonable tiene tres momentos: medición previa al despliegue con umbral definido de antemano, medición periódica en producción con el mismo procedimiento, y medición obligatoria ante cualquier cambio relevante de modelo, datos o población.
Y falta lo que casi siempre falta: la firma. El umbral aceptable no lo fija el equipo de ciencia de datos, porque no es una decisión técnica; la fija quien responde por el producto, idealmente con revisión legal y constancia escrita de qué métrica se eligió, qué valor se consideró tolerable y qué se hará si se excede. Ese registro es, en la práctica, el entregable central: es lo que se muestra ante un reclamo, y encaja de forma natural dentro de una evaluación de impacto algorítmico.
La conclusión práctica es menos glamorosa que el debate ético y bastante más útil. Un sistema con sesgo medido, umbral declarado, desviación conocida y responsable identificado está en mejor posición —técnica, jurídica y reputacional— que uno cuya política afirma que la discriminación está prohibida y no puede mostrar un solo número. La declaración es gratuita y se nota; la medición cuesta y también se nota.