# data[].attributes.body
El Reglamento de IA de la UE insiste en que los sistemas sean explicables y transparentes, especialmente en aplicaciones de alto riesgo.

# data[].attributes.headline
Educación digital y concienciación social

# data[].attributes.subject
Educación digital y concienciación social

# data[].attributes.body
El artículo de Javier Sampedro compara la IA con nuestro propio cerebro, la mayoría de procesos son inconscientes; ayuda a comprender que la opacidad no es complot, sino una propiedad intrínseca de los modelos.

Esta visión divulgativa contribuye a una educación digital crítica, necesaria para que los ciudadanos entiendan los límites y riesgos que tiene la IA.

# data[].attributes.headline
Opacidad algorítmica (“caja negra”) en IA pública y comercial.

# data[].attributes.subject
Opacidad algorítmica (“caja negra”) en IA pública y comercial.

# data[].attributes.body
Más allá de que podamos entender cómo funciona, lo importante es que la IA no haga cosas raras ni peligrosas.

Los expertos dicen que lo primero es asegurarse de que los sistemas no fallen ni tengan sesgos que puedan dañar a las personas.

# data[].attributes.attachment_link.title
Viaje a la caja negra de la inteligencia artificial

# data[].attributes.attachment_link.description
Con la IA sabes la información que le metes y la que te devuelve, pero la forma en que ha convertido la una en la otra está en la parte opaca del proceso

# data[].attributes.body
Los LLM y redes neuronales funcionan como “cajas negras”: vemos entradas y salidas, pero no el proceso interno, lo que dificulta explicar y corregir sesgos/errores. Esto ya afecta ámbitos sensibles (empleo, justicia, salud, banca). En España, el caso BOSCO cuestiona la transparencia del algoritmo que decide el bono social eléctrico; hubo exclusiones y debate sobre abrir el código frente a seguridad/privacidad. El Supremo estudió el caso y podría marcar precedente de transparencia algorítmica.

# data[].attributes.attachment_link.title
La caja negra de la IA que se resiste a los investigadores

# data[].attributes.attachment_link.description
Hay algoritmos de inteligencia artificial, en concreto las redes neuronales, de los que no se sabe exactamente cómo funcionan sus procesos internos. En este vacío de información está uno de los orígenes de los sesgos y las alucinaciones

# data[].attributes.attachment_link.readable_text
La vista oral ante el Tribunal expone los argumentos sobre la necesidad de publicar los mecanismos por los que se toman decisiones automatizadas o mantenerlos opacos

Cuarto de contadores de la luz en una comunidad de vecinos. ÓSCAR CORRAL

¿Tienen derecho los ciudadanos a conocer la fórmula matemática que determina si pueden recibir o no una ayuda pública? Si el Estado decide delegar a un algoritmo la concesión de prestaciones, ¿qué información debe aportar sobre el funcionamiento de esa herramienta? Estos son los debates de fondo que subyacen al caso Bosco, en referencia al algoritmo que se encarga de seleccionar los perfiles que reúnen los requisitos para obtener el bono social, una ayuda para pagar la luz.

"En una democracia plena, no es admisible el secreto del código fuente con los que se regulan los derechos de la ciudadanía", ha dicho esta mañana el abogado Javier de la Cueva durante su intervención inicial en una vista oral del Tribunal Supremo. De la Cueva representa a la organización en defensa de la transparencia Civio, que interpuso un recurso de casación en el Supremo para que el Gobierno abra el código fuente de Bosco ante la negativa obtenida en instancias previas.

El Estado democrático de derecho es una abstracción escrita. Toma su trascendencia de la existencia de constituciones y leyes. Sin embargo, desde hace 20 o 30 años, el lenguaje natural con el que se ha construido el ordenamiento jurídico está conviviendo o siendo sustituido por otro muy distinto: las líneas de código con las que se componen algoritmos. En España, como en otros países, se toman decisiones de forma automatizada que afectan a la asignación de recursos públicos.

Una investigación de Civio reveló en 2018 que las ayudas estatales a familias vulnerables para pagar la factura de la luz, el llamado bono social, no llegaban a personas que reunían todos los requisitos para recibirlas (entre ellos, acreditar bajos ingresos, ser víctima de violencia de género o de violencia terrorista). El algoritmo Bosco, encargado de filtrar los datos y asignar la ayuda, había fallado. La Administración reconoció su error, pero no accedió a abrir el código fuente del algoritmo, a mostrar las tripas del programa. Los activistas recurrieron al Tribunal de lo Contencioso Administrativo, pero este concluyó que liberar el código violaría el derecho a la propiedad intelectual del algoritmo que ostenta el Gobierno y afectaría tanto a la seguridad pública como a la defensa nacional. Civio escaló la demanda a la Audiencia Nacional y, tras encontrarse de nuevo con una negativa, al Supremo.

"Nos encontramos con que el derecho a la propiedad intelectual, que en ningún caso hemos discutido, se está utilizando como un velo para que no conozcamos cómo funciona la Administración", ha dicho también De la Cueva durante la vista. Y ha añadido posteriormente: "¿Cómo podemos tener seguridad jurídica si no conocemos cómo funciona el algoritmo? ¿Cómo pueden controlar sus señorías si lo que hace la Administración es correcto o no si tampoco lo saben?". Como explica Civio, esta decisión del Supremo "marcará el camino para saber si tendremos que confiar a ciegas en la influencia de 'cajas negras' -presentes y futuras- en nuestros derechos, o si tendremos margen para investigarlas y auditarlas".

"Bosco es solo una herramienta para acreditar de forma rápida y anónima el cumplimiento de requisitos de los ciudadanos", ha dicho en su turno el Abogado del Estado que defiende los intereses del Ministerio de Transición Ecológica y el Reto Demográfico. El letrado ha insistido en la idea de que abrir el código fuente podría poner en peligro datos personales de los afectados. "No consideramos necesario que haya que otorgar acceso al código fuente para reclamarle posibles responsabilidades a la Administración", ha añadido.

Y ha acabado su exposición inicial con la clave del caso: "¿Conceder acceso al código fuente de Bosco significa que habría que abrir también otros programas que usa la Administración, como Minerva [que analiza el riesgo de conflictos de interés] o LexNET [un sistema de comunicación que usa Justicia]?".

Es la primera vez que un caso sobre transparencia algorítmica llega al Tribunal Supremo. El sentido de la sentencia que se dicte puede ser determinante para otros. "La sentencia no solo va a tener efectos nacionales, sino que va a servir de referencia para afrontar el dilema que tiene Occidente sobre cómo evaluar el lenguaje informático en el ordenamiento jurídico", comenta a EL PAÍS De la Cueva.

Tras las exposiciones de las partes, los magistrados se han interesado por el argumento fuerza de la Abogacía del Estado: abrir el código fuente puede suponer una amenaza para la seguridad. Si el Ministerio subraya el carácter instrumental de Bosco, y dice que no toma la decisión última en la concesión de la ayuda, ¿en qué afecta a la seguridad abrirlo? "Bosco entra a la Agencia Tributaria y otros organismos a comprobar datos sensibles que podrían quedar comprometidos", ha respondido el letrado. "Sería como dejar entrar a alguien a un edificio y decirle qué cerraduras están rotas y cuáles funcionan". "La Agencia Española de Protección de datos no dice eso", ha replicado De la Cueva. "Con el código fuente de Bosco solo habla de los pesos y condiciones establecidos para conceder las ayudas; para obtener esos datos personales, hay que pedírselos a las agencias en cuestión".

"Soy bastante más optimista ahora que antes de empezar la vista, porque creo que los magistrados son conscientes de que este caso va más allá de Bosco, abarca a todos los programas informáticos que toman decisiones que nos afectan", apunta a este periódico Eva Belmonte, codirectora de Civio. "Me llama mucho la atención que el abogado del Estado haya mentido: ha dicho que Bosco no toma la decisión final, cuando sí lo hace, tal y como acredita la AEPD". La sentencia se conocerá, previsiblemente, antes de agosto.

Sobre la firma

Ver biografía

# data[].attributes.attachment_link.title
Caso Bosco: el Supremo se pronunciará por primera vez sobre la 'caja negra' de los algoritmos que gestionan bienes públicos

# data[].attributes.attachment_link.description
La vista oral ante el Tribunal expone los argumentos sobre la necesidad de publicar los mecanismos por los que se toman decisiones automatizadas o mantenerlos opacos

# data[].attributes.body
Ciudadanos (beneficiarios de ayudas, pacientes, acusados, solicitantes de empleo/crédito); administraciones públicas y empresas que usan IA; reguladores y Poder Judicial.

# data[].attributes.body
Corto plazo: decisiones erróneas o discriminatorias, exclusión de beneficiarios, dificultades para apelar.
Largo plazo: pérdida de confianza, riesgos legales/éticos, consolidación de sesgos y asimetrías de poder.

# data[].attributes.body
Permitir que organismos externos revisen los sistemas de IA para detectar sesgos y errores, asegurando confianza y responsabilidad.

# data[].attributes.body
Si un algoritmo decide sobre empleo, ayudas o justicia y no podemos saber cómo lo hace, se debilita la seguridad jurídica y la confianza social.

# data[].attributes.body
Si los gobiernos usan algoritmos opacos para gestionar derechos, la ciudadanía dependerá de cajas negras sin poder auditarlas.

# data[].attributes.body
A medida que la IA se vuelva más autónoma, será más difícil explicar y frenar comportamientos inesperados.

# data[].attributes.body
Responsables de crear y mantener los sistemas, enfrentan críticas, sanciones y pérdida de confianza si sus modelos no son seguros o justos.

# data[].attributes.body
Personas en situación de vulnerabilidad: hogares de bajos ingresos, migrantes, adultos mayores, personas con discapacidad.

# data[].attributes.body
Oficiales de cumplimiento, DPOs y equipos de compras públicas (contratación y auditoría).