El derecho a entender los sistemas que te gobiernan

En algún lugar de tu ciudad hay un software que toma decisiones sobre la vida de las personas. Decide quién cumple los requisitos para recibir ayuda de vivienda. Determina qué estudiantes van a qué escuelas. Calcula si una familia tiene derecho a apoyo alimentario. Dirige los servicios de emergencia. Asigna recursos públicos.

Nadie eligió este software. Nadie votó sus reglas. En la mayoría de los casos, nadie fuera del equipo de desarrollo puede siquiera leer cómo toma sus decisiones. Las reglas están escondidas en el código, escritas por ingenieros que quizá nunca conocieron a las personas afectadas por su trabajo, y mantenidas por empresas cuya obligación principal es con sus accionistas.

Y sin embargo, estos sistemas gobiernan. Son, en todos los sentidos importantes, la burocracia invisible de la vida moderna.

He construido sistemas como estos. He escrito el código que convierte las políticas en lógica, que transforma el juicio humano en decisiones automatizadas. Lo hice durante más de dos décadas, en varios países, a escalas que van desde pequeños negocios hasta plataformas de nivel nacional. He llegado a creer algo: la forma en que construimos estos sistemas está rota de raíz. No porque la tecnología sea mala, sino porque vuelve invisible el conocimiento.

Me explico.

Cuando un organismo público decide que las familias con hijos menores de cinco años tienen prioridad en la ayuda de vivienda, eso es una regla. En el mundo antiguo, esa regla vivía en un documento de políticas. Cualquiera podía leerla. Cualquiera podía impugnarla. Cualquiera podía proponer cambiarla. La regla era visible.

En el mundo nuevo, esa regla vive en una sentencia condicional dentro de una base de código. Puede estar en una función llamada calculateEligibility, o puede estar repartida entre tres microservicios y un modelo de aprendizaje automático. Para entender la regla, tienes que leer el código. Para cambiarla, necesitas un desarrollador. Para verificar que se aplica correctamente, necesitas una auditoría que la mayoría de las organizaciones no puede pagar.

La regla no ha cambiado. Pero se ha vuelto invisible para las personas a las que afecta. Y las reglas invisibles son peligrosas, no porque sean maliciosas, sino porque no se pueden cuestionar.

Con la IA es peor. Un sistema tradicional basado en reglas es, al menos en teoría, auditable. Puedes rastrear la lógica. Con el aprendizaje automático, las decisiones surgen de patrones en los datos de entrenamiento que ningún ser humano comprende del todo. El modelo puede tener sesgos. Puede codificar supuestos de otro contexto. Puede hacer excepciones que nadie pretendía. Y las personas afectadas por estas decisiones no tienen ningún mecanismo para entender por qué, y mucho menos para oponerse.

Hemos creado un mundo en el que los sistemas que gobiernan la vida de las personas son cada vez más opacos para las personas a las que gobiernan. Y lo hemos normalizado. Lo llamamos «transformación digital». Lo llamamos «eficiencia». Lo llamamos «innovación». Rara vez lo llamamos por lo que es: una transferencia de poder de las comunidades a las plataformas.

Creo que hay otra manera. Varias, en realidad.

La más obvia es la regulación de la transparencia. La Ley de IA de la UE es un comienzo: exige que los sistemas de IA de alto riesgo expliquen sus decisiones. Pero la legislación por sí sola no resolverá un problema estructural. Puedes obligar a una empresa a explicar su algoritmo, pero si la explicación exige un doctorado en aprendizaje automático para entenderla, no es transparencia de verdad. La transparencia real significa que las personas afectadas por una decisión pueden entender la regla que la produjo, en un idioma que hablan, con un nivel de detalle que les permita impugnarla de forma significativa.

Otro camino es lo que podría llamarse legibilidad estructurada. En lugar de escribir las reglas en código y luego intentar explicarlas a posteriori, las escribes en un formato inherentemente legible: lo bastante formal para que una máquina lo ejecute, lo bastante claro para que un experto del dominio lo verifique. Esta no es una idea nueva. Los sistemas jurídicos llevan siglos haciendo algo parecido: las leyes se escriben en un lenguaje preciso que pueden interpretar tanto los tribunales como los ciudadanos. El software no tiene un equivalente. Podría tenerlo.

Imagina que todo sistema que toma decisiones estuviera obligado a publicar sus reglas en un formato estructurado y legible para humanos. No el código fuente, que es demasiado técnico. No un resumen de marketing, que es demasiado vago. Sino la lógica de decisión real, expresada en una especificación que un experto en políticas, un defensor comunitario o un periodista pudiera leer y evaluar. Cuando la lógica de reparto de un banco de alimentos se expresa en reglas legibles, la comunidad puede verificar que la priorización es justa. Cuando el sistema de matriculación de una escuela declara su lógica abiertamente, los padres pueden entender por qué su hijo fue asignado donde fue asignado.

El software de código abierto apunta en esta dirección, pero no llega del todo. El código está disponible técnicamente, pero legibilidad y disponibilidad son cosas distintas. Una función de Python es «legible» solo si sabes leer Python. Lo que necesitamos es una capa por encima del código: una representación de la lógica accesible para las personas a quienes esa lógica afecta, sea cual sea su formación técnica.

También está la cuestión de la portabilidad. Cuando las reglas de una comunidad están encerradas en el sistema de un proveedor, la comunidad queda cautiva. Si quiere cambiar de proveedor, pierde el conocimiento institucional codificado en el sistema anterior. Las leyes de portabilidad de datos ayudan con la información, pero no abordan la lógica. Puedes exportar tus datos de una plataforma. Rara vez puedes exportar las reglas que gobiernan cómo se usan esos datos.

Pienso también en el empleo en este contexto. La conversación sobre la IA y los trabajos suele centrarse en la automatización: ¿qué tareas harán las máquinas en lugar de los humanos? Pero hay un desplazamiento más profundo en marcha. Cuando el conocimiento de una comunidad es absorbido por sistemas opacos, las personas que lo tenían pierden su papel. No porque un robot les quitara el trabajo, sino porque su experiencia se volvió invisible. El sistema funciona, nadie sabe por qué, y los humanos que antes entendían el dominio pasan a ser operadores en lugar de expertos.

La solución no es frenar la tecnología. La solución es construir tecnología que mantenga visible el conocimiento humano y relevante la experiencia humana. Tecnología en la que quien entiende de verdad cómo funciona algo pueda ver su comprensión reflejada en el sistema que lo implementa. Donde la experiencia se codifique, no se borre.

Conozco el contraargumento. La transparencia es cara. Las reglas legibles son más lentas de implementar que simplemente escribir código. Dar explicaciones es más difícil que operar en silencio. Todo cierto. Pero el coste de la opacidad es mayor. El coste de la opacidad son comunidades que no pueden entender los sistemas de los que dependen. Ciudadanos que no pueden impugnar las decisiones que se toman sobre ellos. Organizaciones que no pueden adaptar sus herramientas cuando la realidad cambia, porque la lógica está encerrada en la base de código propietaria de un proveedor.

El coste de la opacidad es un mundo en el que el poder fluye hacia quienes saben leer código y se aleja de todos los demás.

El derecho a entender los sistemas que gobiernan tu vida no es una petición de funcionalidad. Es una condición fundamental de una sociedad justa. Y la tecnología debería ampliar ese derecho, no eliminarlo.

Osamah Alghanmi es cofundador de Almadar, un estudio de software con sede en Liubliana, Eslovenia. Pasó más de dos décadas construyendo sistemas empresariales, incluidas plataformas de escala nacional en Arabia Saudita, antes de decidir que el problema más importante del software no es cómo construirlo más rápido, sino cómo hacerlo responsable.