Cuando una empresa despliega un sistema de IA que se equivoca, el afectado casi siempre puede irse a otro proveedor. Cuando lo hace un organismo público, el afectado no tiene esa salida: no eligió al servicio, no puede cambiarse de institución y, con frecuencia, ni siquiera sabe que hubo un sistema automatizado involucrado en la decisión que lo afecta. Esa asimetría no es un matiz. Es la razón por la que el estándar de evidencia en el sector público tiene que ser más alto que en el privado, incluso cuando la tecnología desplegada sea exactamente la misma.
La discusión suele plantearse al revés. Se argumenta que el Estado debe ir más despacio por precaución, y eso alimenta una falsa disyuntiva entre modernizar y proteger. El punto no es la velocidad, es la carga de la prueba. Un servicio público no necesita demostrar que su sistema es innovador; necesita poder demostrar, ante quien lo pregunte y en el momento en que lo pregunte, por qué el sistema hizo lo que hizo. Un despliegue que no puede sostener esa demostración es inviable en el sector público aunque funcione bien.
Transparencia y derecho a entender la decisión
La administración pública opera bajo una lógica de transparencia y probidad que atraviesa todo lo que hace: los actos deben ser motivados, las decisiones revisables y la información accesible salvo excepción fundada. Introducir un modelo estadístico en medio de un procedimiento administrativo tensiona ese principio de una manera concreta, porque un sistema de IA puede producir un resultado correcto sin que exista una explicación de por qué lo produjo.
Conviene separar dos cosas que suelen confundirse. Una es la explicabilidad técnica del modelo, que es un problema abierto y en algunos casos irresoluble. Otra es la trazabilidad administrativa de la decisión, que es un problema de diseño y sí tiene solución. Un servicio puede no estar en condiciones de explicar el peso interno de cada variable, y aun así estar perfectamente en condiciones de registrar qué datos se usaron, qué versión del sistema intervino, qué recomendación entregó, quién la revisó y qué resolvió finalmente el funcionario responsable. Eso es lo que permite reconstruir el caso ante una reclamación, y es lo que hay que exigir desde el diseño.
De ahí se desprende un criterio práctico: si un sistema no puede dejar ese rastro, no debe intervenir en procedimientos que afectan derechos. No porque sea peligroso en abstracto, sino porque coloca al organismo en la posición de no poder responder una pregunta que está obligado a responder.
En el sector privado la pregunta es si el sistema funciona. En el sector público la pregunta es si el organismo puede demostrar cómo funcionó en el caso de esta persona.
Decisiones que afectan derechos
No todos los usos tienen el mismo peso, y tratarlos igual paraliza la modernización sin proteger a nadie. Un modelo que ordena una bandeja de correspondencia, transcribe audio de una audiencia o ayuda a redactar un borrador interno no toca derechos de nadie. Un sistema que prioriza, califica, asigna beneficios, focaliza fiscalización o incide en el acceso a una prestación, sí. La distinción no está en la sofisticación del modelo sino en la consecuencia para la persona al otro lado.
Para el segundo grupo hay tres exigencias que conviene fijar antes de contratar nada.
- Revisión humana con capacidad real de apartarse. No basta con que un funcionario apruebe la salida del sistema. Hay que verificar que tenga la información, el tiempo y la atribución para decidir distinto, y medir con qué frecuencia efectivamente lo hace. Una tasa de aceptación cercana al total indica que la revisión es formal, no sustantiva, y que la decisión la está tomando el sistema.
- Evaluación de sesgo antes y durante. Los datos históricos de la administración registran las prácticas del pasado, incluidas sus desigualdades territoriales y socioeconómicas. Un modelo entrenado sobre ellos las reproduce con apariencia de neutralidad técnica. Esto exige convertir el principio en control medible, no en declaración, con la lógica de ir del principio al control y con medición periódica sobre datos de operación real.
- Vía de reclamación que funcione sin conocimiento técnico. La persona afectada debe poder pedir revisión sin entender qué es un modelo, y esa solicitud debe llegar a alguien con atribución para revertir el resultado. Un canal de reclamos que devuelve una explicación técnica no es un canal de reclamos.
Contratación pública y dependencia del proveedor
El sector público adquiere tecnología a través de procesos formales de contratación, y ahí se juega buena parte de la gobernanza. Lo que no quedó escrito en las bases no se puede exigir después: los requisitos de auditoría, la propiedad de los datos, la portabilidad y el derecho a evaluar el sistema son cláusulas o no existen.
El riesgo específico es la dependencia. Un servicio que externaliza un componente de decisión a un proveedor cuyo modelo no puede inspeccionar queda en una posición difícil de sostener: responde jurídicamente por resultados que no controla técnicamente. Y si el sistema se vuelve crítico para la operación, el costo de cambiar de proveedor crece hasta hacer la decisión irreversible en la práctica, lo que debilita la posición del organismo en cada renovación.
Hay exigencias que conviene incorporar en las bases desde el inicio: documentación del origen y las limitaciones del sistema, derecho a auditar su comportamiento por un tercero, obligación de notificar cambios sustantivos en el modelo, retención de los datos y los registros de decisión bajo control del organismo, y condiciones de salida que permitan migrar sin perder el histórico. Ninguna es exótica; todas son difíciles de agregar después de firmado el contrato.
Un marco en evolución y qué hacer mientras tanto
El marco normativo aplicable a la inteligencia artificial está en discusión y desarrollo, tanto en Chile como en las jurisdicciones que suelen servir de referencia, y su forma final todavía no está cerrada. Esa incertidumbre se usa a veces como argumento para esperar, y es una lectura equivocada del riesgo. Los sistemas que se desplieguen ahora seguirán operando cuando las reglas se precisen, y adaptarlos entonces será más caro que haberlos construido con trazabilidad, medición de sesgo y revisión humana desde el principio.
La conclusión práctica para un directivo público es que hay tres cosas que puede hacer sin esperar a nadie. Levantar un inventario de dónde ya hay IA operando en su institución, incluida la que llegó incorporada dentro de software adquirido para otra cosa. Clasificar esos usos según si afectan o no derechos de las personas, y concentrar todo el esfuerzo de control en el grupo que sí. Y establecer que ningún sistema del primer grupo entre en operación sin dejar un rastro que permita reconstruir un caso individual meses después. Quien mantenga esas tres condiciones llegará a la regulación futura con evidencia; quien no, llegará con una migración. Puedes seguir el estado de la discusión en nuestro seguimiento de la Ley IA en Chile.