# data[].attributes.body
El artículo que seleccioné es de la escuela de negocios de la Universidad de Cambridge, en el cual se discuten los riesgos globales del sesgo algorítmico, tema explorado por Gómez Barrera.

Tanto el texto como el artículo seleccionado comparten un enfoque crítico sobre el papel de los algoritmos en la perpetuación de sesgos y desigualdades sociales. Ambos examinan cómo los algoritmos no son neutros y cómo los programadores, al diseñarlos y seleccionar los datos de entrada, pueden reflejar valores y prejuicios preexistentes en los resultados finales.

Por ejemplo, en cuanto al sesgo en el diseño de algortimos, Gómez Barrera explica que los programadores introducen sesgos al seleccionar y segmentar datos para los algoritmos influyendo en los resultados. Esto se ve reflejado en el artículo de Cambridge cuando menciona cómo “los algoritmos discriminan a ciertas comunidades” y refuerzan desigualdades, como en el caso de los algoritmos de contratación de Amazon, que favorecieron a candidatos masculinos y penalizaron términos como "club de ajedrez femenino"

# data[].attributes.attachment_link.title
The dark side of AI: algorithmic bias and global inequality - News & insight - Cambridge Judge Business School

# data[].attributes.attachment_link.description
Cambridge Professor, Michael Barrett, looks at the consequences of algorithmic bias from AI on global inequality and marginalisation.

# data[].attributes.body
El análisis de Gómez Barrera sobre "gubernamentalidad algorítmica" aporta una crítica profunda sobre cómo los algoritmos, lejos de ser herramientas neutrales, están impregnados de sesgos que reflejan normas sociales y valores implícitos de los programadores. Esta crítica se puede rastrear en el artículo de La Nación, donde una IA identifica palabras asociadas a personas "menos inteligentes". Este tipo de análisis plantea un riesgo de reforzar estereotipos, ya que el algoritmo no evalúa inteligencia de manera objetiva, sino que reproduce prejuicios preconcebidos en los datos de entrenamiento.

En el texto de Gómez Barrera se menciona que los algoritmos “permiten generar saberes a partir de correlaciones directas sobre los datos” y, por lo tanto, tienden a construir juicios sin necesariamente corroborar su validez científica​. Este proceso, que se observa en la selección de palabras en el artículo, resalta cómo la lógica algorítmica puede producir perfiles reduccionistas y sesgados, generando una "dupla de lo real" que define características humanas de manera simplista, incluso atribuyéndole a la inteligencia un enfoque basado en palabras.

El artículo también ejemplifica lo que Gómez Barrera describe como la “subjetividad del programador”, donde decisiones humanas influyen en los resultados algorítmicos. Los sesgos de los programadores pueden dar lugar a etiquetas sociales o “valores asignados a los datos” que presentan a ciertas personas bajo una luz negativa sin un análisis exhaustivo o neutral. En ambos textos, se revela el potencial impacto de estas decisiones en la formación de identidades y estigmas dentro de una sociedad moldeada por la tecnología.

# data[].attributes.attachment_link.title
Las seis palabras que repiten las personas menos inteligentes, según la Inteligencia Artificial

# data[].attributes.attachment_link.description
La manera en que una persona se expresa con los demás refleja su coeficiente intelectual, así como también algunos rasgos de su personalidad

# data[].attributes.body
En la nota adjunta, el escritor Yuval Noah Harari señala los riesgos asociados al uso de inteligencia artificial en portales de noticias y redes sociales, donde las noticias falsas son difundidas a través del conocido algoritmo de recomendación.

En la nota, Yuval declara: -"Los algoritmos quieren al mayor número de gente enganchada a la plataforma el máximo de tiempo posible”. Este, ha argumentado el académico, es su modelo de negocio. El problema reside en que todos estos mecanismos de Inteligencia Artificial han “descubierto que la manera más fácil de captar la atención humana es pulsar el botón del odio o del miedo o de la rabia en la mente de la gente”. Ante esto, “de forma deliberada difunden fake news y teorías de la conspiración”, lo que hace que la gente no solo se implique, sino que además “envíen el link a sus amigos”-.

Lo relaciono directamente con lo que habla el tecnólogo y emprendedor Santiago Bilinkis en su libro del año 2019, "Guía para sobrevivir al presente", sobre las noticias y fuentes de información que tenemos hoy en día.

"Pese a la endeblez de nuestras opiniones en la mayoría de temas, si estás de acuerdo con la noticia que ves, hay 70% de probabilidad de que decidas compartirla. Si no coincide, hay 80% de probabilidad de que no."

Esto evidencia un problema enorme en el ámbito de la comunicación y las redes. Los algoritmos de recomendación promueven noticias sesgadas que, en lugar de informarnos con objetividad, solo refuerzan nuestro sesgo de confirmación, afianzando nuestras opiniones, incluso cuando son erróneas.

Por eso, hoy más que nunca, es fundamental implementar regulaciones legislativas sobre la inteligencia artificial. Todo esto debe hacerse siempre priorizando la libertad de expresión y el uso responsable de los recursos tecnológicos. Cito parte de la conclusión del texto de Barrera:

“La predicción, el sesgo y el trabajo con datos son herramientas que deben, en primer lugar, ajustar la noción de ‘automatización’ de los sistemas algorítmicos, en tanto desdibujan un carácter aislado de cualquier participación humana.”

# data[].attributes.attachment_link.title
Yuval Noah Harari: “Los algoritmos de las grandes plataformas difunden de forma deliberada ‘fake news’ y teorías de la conspiración”

# data[].attributes.attachment_link.description
El autor de ‘Sapiens: De animales a dioses’ regresa con un nuevo ensayo sobre la irrupción de la Inteligencia Artificial en nuestras vidas y todos los riesgos que conlleva

# data[].attributes.body
Algo que me deja pensando del texto de Gómez Barrera es cuando habla de de las affordances, más específicamente:

"Para Canhoto y Backhouse, en ese proceso de affordances y normas lo que se buscan son comportamientos sociales que son, o se entienden, como comportamientos normativos, es decir, comportamientos que han sido atravesados ya por una mirada específica o construida de antemano. En consecuencia, lo que se evidencia es que la búsqueda de una predicción a partir de patrones está atravesada por intereses pragmáticos y situaciones o intenciones sociales específicas [...]"

Es decir, previamente tratan de encasillarlo a uno en ciertos arquetipos normales estableciendo como es esperable que nos comportemos o seamos, y nos bombardean algorítmicamente contenido de esas características. En el artículo que comparto en habla de como Spotify además de su algoritmo utiliza "perspectivas basadas en datos y cultura", que si bien no sabemos bien de que se trata tranquilamente podría ser este sesgo previo introducido inicialmente por personas. Por ejemplo, puede ser que a un hombre de avanzada edad Spotify sea menos probable que le recomiende música erróneamente catalogada como "de gente joven".

De la misma manera, la plataforma de streaming musical ha sido cuestionada por insistir en música "mainstream" en detrimento de artistas mas pequeños o indie. Entonces, si se fuerza a la gente a escuchar la música más popular, claramente los artistas más escuchados serán los que el algoritmo quiera, deja de ser verdaderamente orgánico (además de que artistas pagan para aparecer con más frecuencia). La plataforma lejos de utilizar el algoritmo para ayudarnos a encontrar nuevas experiencias musicales, lo que termina haciendo es reforzar los modelos sociales (o comerciales) de quienes la construyeron.

Edit: Agrego una versión del articulo sin el paywall para los que no lo puedan ver https://www.removepaywall.com/search?url=https://www.washingtonpost.com/technology/2024/08/29/find-new-music/

# data[].attributes.attachment_link.title
Where to find new music in the age of algorithms

# data[].attributes.attachment_link.description
Find new music without relying on Spotify or Apple Music algorithms.

# data[].attributes.body
El artículo elegido fue "Algunas escuelas tienen proyectos que ya incorporan la tecnología".

Lo que despierta mi interés en el artículo relacionado al texto es el uso que se le puede dar a algo tan nuevo como la inteligencia artificial que recién ahora está apareciendo entre la sociedad y la delicadeza con la que se debe trabajar en su aplicación.

En el texto de Gómez Barrera se habla de cómo el fenómeno de segmentación y sesgo condiciona la individuación y lo subjetivo en la interacción con lo digital, destacando que la percepción de neutralidad de los algoritmos se oculta en la propagación de normas sociales y prejuicios.

El artículo de El Litoral aborda el tema de cómo los sistemas de inteligencia artificial (en este caso, ChatGPT) pueden tener un impacto significativo en el ámbito educativo. Relacionando ambos artículos, Gómez Barrera menciona el funcionamiento de los algoritmos como "una construcción de saberes" en donde se tiene una "mínima intervención humana"; relacionando ambas ideas, se puede destacar la importancia de educar a los estudiantes y prepararlos para un uso crítico y reflexivo de estas nuevas tecnologías, mostrándole los alcances y límites éticos de la aplicación tanto para lo académico como para el día a día

# data[].attributes.attachment_link.title
Algunas escuelas tienen proyectos que ya incorporan la tecnología

# data[].attributes.attachment_link.description
El objetivo no es sólo que los estudiantes conozcan el ChatGPT y sus posibilidades sino incentivarlos a hacer un uso crítico de los avances que van apareciendo.

# data[].attributes.body
Relaciono el texto de Gómez Barrera con el articulo elegido en el punto que trata sobre el perfilado que recibe una inteligencia artificial y los tipos de datos con los cuales se lleva a cabo su entrenamiento. El perfilado debe entenderse como un proceso en el cual se manipulan unos datos con la intención de reducir la incertidumbre y la distorsión. Esto se hace siempre a través de la búsqueda de conexiones que permiten analizar patrones o estadísticamente elementos que pueden aparecer. En esa medida, el perfilado puede ser dirigido o no, de acuerdo con lo que se quiera buscar o con los resultados esperados. En este caso, google al querer perfilar Gemini para que sea más inclusiva, en el aspecto de proveer imágenes de toda etnia en el caso de la generación de imágenes de personas, termina fallando dando como resultado que en la búsqueda, por ejemplo, de la generación de imágenes de soldados nazis aparecieran soldados de etnias que no son correctas. Por lo tanto dando información falsa como respuesta. Si bien podemos citar parte del articulo que dice " Gemini, al igual que otras herramientas de IA como ChatGPT, se entrena a partir de grandes cantidades de datos en línea", podemos concluir que el perfilado utilizado por google seguramente fue dirigido hacia ciertos puntos en particular tratando de evitar el racismo pero logrando justamente lo contrario, lo cual puede ser muy peligroso si uno confía plena y ciegamente en las respuestas que nos dan las inteligencias artificiales.

# data[].attributes.attachment_link.title
Google suspende función de Gemini para generar imágenes de personas con inteligencia artificial tras recibir críticas | CNN

# data[].attributes.attachment_link.description
Google suspenderá la función de su herramienta de inteligencia artificial Gemini para generar imágenes de personas, después de que recibiera críticas en redes sociales por producir imágenes históricamente inexactas que mostraban en gran medida a personas negras en lugar de blancos.

# data[].attributes.body
El texto y el artículo están conectados por cómo se forman las subjetividades en el mundo digital, pero cada uno aborda el tema desde ángulos diferentes. El texto se enfoca en cómo los algoritmos y los sesgos de los programadores influyen en la forma en que percibimos y categorizamos a las personas, resaltando un control digital que va más allá de la simple tecnología. En cambio, el artículo explora cómo los jóvenes construyen su identidad en el ciberespacio, destacando que esta va más allá de solo palabras, involucrando el cuerpo, las emociones y hasta un toque de rebeldía. Ambos coinciden en que estas identidades no son fijas: se van armando en interacción constante con el entorno digital y con otros. Así, mientras el texto ve cómo los algoritmos moldean la vida online, el artículo señala que estos espacios permiten que los jóvenes "tomen la palabra, se narren y se ubiquen ante los otros", creando subjetividades en sus propios términos​.

# data[].attributes.body
El artículo elegido es "Inteligencia Artificial y Sesgos Algorítmicos".

Si bien el texto aborda una variedad de problemas interesantes, decidí quedarme con la discriminación como "puntapié" inicial al momento de buscar un artículo ya que, en lo que a mi me parece, es una problemática que como sociedad arrastramos hace muchísimo tiempo y aún no supimos encontrarle una solución que se aproxime a la definitiva. Y no solo eso sino que debido a los nuevos medios, como por ejemplo las redes sociales, este problema tuvo un fuerte retroceso a lo que se acostumbraba previo a estas.

Tanto el texto (". Por lo tanto, la categorización de los datos, muchas veces, es concretamente arbitraria o responde a otros factores ajenos a un simple proceso matemático.") como el artículo("sistemas cuyas predicciones benefician sistemáticamente a un grupo de individuos frente a otro, resultando así injustas o desiguales.") expresan cómo los algoritmos, lejos de ser herramientas neutrales, reproducen y amplifican los sesgos y normas sociales existentes. Y es que este no puede pensar distinto de quien lo diseñó, porque es esa persona quien define sus objetivos y el camino a seguir para llegar a los mismos o quien le entrega el dataset de entrenamiento para obtener los resultados esperados.

Es por esto que debe ser fundamental una mayor diversidad en los equipos de trabajo, buscando generar distintos valores e intereses al momento de nuevos desarrollos. Además de una regulación que garantice los valores éticos y morales de las nuevas tecnologías evitando, sobre todo, que estas amplíen la brecha entre clases o culturas. Algo que supo cumplir, aunque sea brevemente, pero con el tratamiento de los datos, utilizados para cumplir los intereses de sectores minoritarios, se fue perdiendo a lo largo de los últimos años para así beneficiar los objetivos de estos pocos.

# data[].attributes.attachment_link.provider_name
Nueva Sociedad | Democracia y política en América Latina

# data[].attributes.attachment_link.readable_text
Una cámara enfoca las escalinatas de entrada del Instituto de Tecnología de Massachusetts (mit). La investigadora Joy Buolamwini sube algunos escalones y se escucha su voz en off:

Una de las cosas que me atrajeron de las ciencias de la computación fue que podía programar y alejarme de los problemas del mundo real. Quería aprender a hacer tecnología que fuera interesante. Así que vine al mit y trabajé en proyectos de arte que usaban visión artificial. Durante mi primer semestre en el Media Lab hice un curso sobre "invención científica". Lees ciencia ficción y eso te inspira a crear algo que seguramente sería poco práctico si no tuvieras el curso como excusa para hacerlo. Yo quise construir un espejo que me inspirara por las mañanas. Lo llamé Espejo Aspire. El espejo me colocaba leones sobre el rostro, o gente que me inspirara, como Serena Williams. Le coloqué una cámara y con un software de visión artificial, se suponía que debía detectar los movimientos de mi cara. Pero el problema era que no funcionaba bien, hasta que me puse una máscara blanca. Cuando me ponía la máscara, me detectaba. Cuando me la quitaba, ya no me detectaba.

Así comienza Prejuicio cifrado ( Coded Bias), el documental dirigido por la cineasta Shalini Kantayya y estrenado en 2020 que narra cómo Buolamwini tomó conciencia del sesgo racial existente en los algoritmos de reconocimiento facial y analiza sus consecuencias. Buolamwini es una mujer negra, especialista en informática, activista y fundadora de la Liga por la Justicia Algorítimica (Algorithmic Justice League), y hace algunos años descubrió que varios sistemas comerciales de reconocimiento facial diseñados por Amazon, ibm y Microsoft funcionaban mejor con el rostro de sus amigos blancos que con el suyo. Más allá de los dilemas éticos sobre el desarrollo de sistemas de reconocimiento facial, el caso de Buolamwini muestra claramente cómo un sistema basado en inteligencia artificial puede adquirir un sesgo y cumplir mejor la tarea para la que fue diseñado en un grupo de individuos que en otro.

Esta no es una cuestión menor. La expresión "inteligencia artificial" dejó de ser propiedad exclusiva de las novelas de ciencia ficción y de los libros de computación. Noticias sobre avances fascinantes -como computadoras capaces de asistir al personal médico en tareas de diagnóstico o de manejar automáticamente vehículos no tripulados- aparecen cada vez con más frecuencia y se vinculan cada vez más con nuestras vidas. Sin embargo, no todas las noticias son tan alentadoras. Lo que experimentó Buolamwini no es un caso aislado: durante los últimos años, hemos visto desde sistemas para reconocimiento facial que alcanzan un peor rendimiento en mujeres de piel negra que en hombres blancos, hasta traductores del inglés al español que perpetúan estereotipos de género. Estos ejemplos ilustran un fenómeno conocido como "sesgo algorítmico": sistemas cuyas predicciones benefician sistemáticamente a un grupo de individuos frente a otro, resultando así injustas o desiguales. Pero ¿cuáles son las razones que llevan a estos sistemas a generar predicciones sesgadas? Para entenderlo, comencemos por definir algunos conceptos que nos serán útiles a lo largo de este ensayo: "inteligencia artificial" y "aprendizaje automático".

Cuando la inteligencia deviene artificial y el aprendizaje, automático

Existen muchas definiciones de "inteligencia artificial". Aquí usaremos una definición general ofrecida en uno de los libros fundamentales del campo, que describe la inteligencia artificial como la disciplina que se encarga de comprender y construir entidades inteligentes (pero artificiales). Esta definición es muy amplia y abarca conceptos que van desde los sistemas de razonamiento deductivo basados en reglas lógicas hasta algoritmos de aprendizaje automático que buscan detectar automáticamente patrones en conjuntos de datos y luego usarlos para realizar predicciones. Un elemento central para este último subcampo de la inteligencia artificial son entonces los datos, que constituyen la materia prima utilizada para automatizar el proceso de aprendizaje en el que los sistemas son entrenados para realizar predicciones.

Los datos pueden ser imágenes, sonidos, texto escrito, redes, posiciones de un gps, tablas o cualquier representación que se nos ocurra. En todo caso, la idea central es que los modelos de aprendizaje automático aprenden a partir de los datos. Esta noción resulta central en la actualidad, dado que la gran mayoría de las tecnologías disruptivas adoptadas masivamente en el siglo xxi y que son presentadas como inteligencia artificial utilizan en realidad métodos de aprendizaje automático. Pero ¿cómo aprenden estos sistemas?

Existen distintos paradigmas de aprendizaje. Uno de los más utilizados es el del aprendizaje supervisado, en el que los sistemas son sometidos a un proceso de entrenamiento que es guiado por anotaciones o etiquetas. La idea es simple: se intenta asociar características o patrones propios de los datos con las correspondientes etiquetas. Es decir, se analizan los datos en busca de patrones distintivos que permitan separar una categoría de la otra. Tomemos un ejemplo: imaginemos que queremos entrenar un sistema para que pueda decirnos si el contenido de una imagen corresponde a un perro o a un gato. Bajo el paradigma del aprendizaje supervisado, lo que necesitaremos es una base de datos compuesta por imágenes de perros y gatos, con la correspondiente etiqueta asociada a cada una. Durante el proceso de entrenamiento, el algoritmo tomará esas imágenes y comenzará a hacer predicciones a partir de ellas, asociando características (información de la imagen) con etiquetas. De forma simplificada, podemos pensar que estas características están dadas por diferentes patrones presentes en la imagen, como el color, el brillo, la cantidad de patas, el tamaño del cuerpo o la forma de las orejas. Si nos detenemos a pensar en estas características, algunas serán más útiles que otras para distinguir entre perros y gatos. Por ejemplo, la cantidad de patas no parece ser una característica útil para diferenciarlos; sin embargo, el tamaño del cuerpo sí podría serlo. La idea es que, por medio del entrenamiento, los sistemas aprendan a asociar patrones en estas características con las correspondientes categorías. Al principio estas asociaciones serán seguramente incorrectas; pero a medida que avance el proceso de entrenamiento, el modelo se irá ajustando y mejorando su desempeño en la tarea asignada.

Esta idea que ilustramos con imágenes es extrapolable a otros tipos de datos sobre los que hablábamos: si quisiéramos entrenar un sistema para aprender a traducir texto de inglés a español, necesitaríamos muchos textos escritos en ambos idiomas. Para inferir el estado de ánimo de una persona a partir de su voz, necesitaríamos grabaciones de audio de personas hablando, y la correspondiente etiqueta que indique si se encuentran alegres o tristes. Si pensáramos en un sistema que detecte patologías automáticamente a partir de imágenes radiográficas, necesitaríamos pares de imágenes con su correspondiente diagnóstico médico. O si quisiéramos entrenar un modelo para detectar rostros en imágenes, necesitaríamos una base de datos de fotografías de personas, con etiquetas que indiquen en qué lugar se encuentra el rostro de cada una.

Como vemos, los datos juegan un rol esencial en el entrenamiento de sistemas por medio de aprendizaje automático, dado que son la fuente de información que le indicará al sistema cuándo ha llegado a conclusiones correctas y cuándo no. Algo que resulta fundamental en este proceso, y que no siempre es tenido en cuenta, es que un sistema raramente se construye para realizar predicciones con los datos con que fue entrenado. Por el contrario, se espera que los modelos puedan sacar conclusiones acertadas sobre datos nunca vistos durante el "aprendizaje" -los datos de prueba- y cuyas etiquetas no se conocen. Esta capacidad de generalización es un rasgo primordial, dado que de nada serviría un modelo predictivo que solo acertara en situaciones conocidas. Imaginemos un detector de patologías en imágenes radiográficas que puede predecir si una persona tiene o no neumonía utilizando solamente imágenes de esa misma persona. O un traductor de inglés a español que solo puede traducir textos que ya estaban traducidos. En general, la hipótesis de trabajo de estos sistemas es que los datos de prueba serán de alguna manera similares a los datos de entrenamiento, pero no los mismos. Por ejemplo, si entrenamos un modelo para detectar neumonía en humanos, el modelo será utilizado en otros humanos, pero no en animales. O si entrenamos un sistema para traducir del español al inglés, los textos de prueba serán distintos de los de entrenamiento, pero estarán siempre escritos en español, y no en francés. En este caso, resulta evidente que un sistema que aprendió utilizando textos en español no podrá generalizar al francés. ¿O acaso le pediríamos a un intérprete de francés que traduzca mandarín? Sin embargo, existen variaciones entre los datos de entrenamiento y prueba que pueden ser más sutiles que el cambio de español a francés o de humanos a animales, pero que igualmente producen un efecto devastador en la calidad de las predicciones.

Volvamos a imaginar el caso del sistema para distinguir entre imágenes de perros y gatos, pero con una pequeña variación: nuestra base de datos solo está compuesta por perros negros y gatos blancos. En este caso, el color del animal será una característica sumamente útil para distinguir entre ambas clases. De hecho, nos dará una predicción perfecta: si el color predominante en el cuerpo del animal es negro, será un perro; y si es blanco, será un gato. Ahora imaginemos que en nuestro conjunto de prueba hay una sutil diferencia: aparecen perros de color blanco. ¿Qué creen que sucederá con las predicciones sobre los perros blancos? El sistema seguramente les asignará la etiqueta "gato" de forma incorrecta, resultando en un rendimiento más bajo para este subconjunto de la población objetivo. Tomar en cuenta estos factores al entrenar sistemas de inteligencia artificial basados en aprendizaje automático es clave si queremos evitar el sesgo algorítmico en varios sentidos. Veamos algunos ejemplos.

Sobre datos, modelos y personas

Hace algunos años, llegó a mis manos, por recomendación de colegas, un artículo que se titulaba "ai is Sexist and Racist. It's Time to Make it Fair" [La inteligencia artificial es sexista y racista. Es hora de volverla justa], de James Zou y Londa Schiebinger. El artículo discutía un aspecto sobre el que hasta ese momento no me había detenido a pensar respecto de los modelos de inteligencia artificial que yo mismo estaba implementando: estos modelos pueden ser sexistas y racistas. En otras palabras, pueden adquirir un sesgoque los lleve a presentar un rendimiento dispar en grupos caracterizados por distintos atributos demográficos, lo que redunda en un comportamiento desigual o discriminatorio. Y una de las razones detrás de este comportamiento eran justamente los datos que usaba para entrenarlos.

Los ejemplos de sesgo algorítmico adquirido a través de los datos son variados y muchas veces tienen que ver con bases de datos que no representan en realidad al conjunto de la población. En el caso reportado por Joy Bowlamwini y Timnit Gebru, en el que diversos sistemas comerciales de reconocimiento facial muestran un rendimiento dispar respecto a variables demográficas como el género y el color de la piel, son las mujeres de piel negra el grupo para el cual los modelos presentan peor rendimiento. Este hecho está posiblemente relacionado con la falta de representatividad de mujeres negras en las bases de datos utilizadas para el entrenamiento. Ejemplos similares se encuentran al analizar ImageNet, una de las bases de datos de imágenes etiquetadas más grandes del mundo, que ha sido motor del desarrollo de los modelos más populares de clasificación de imágenes. ImageNet posee millones de imágenes clasificadas en miles de categorías. Sin embargo, pese a que es utilizada mundialmente, más de 45% de las imágenes provienen de Estados Unidos y reflejan una realidad localizada en el hemisferio norte y que encarna representaciones propias de la cultura occidental. No resulta sorpresivo entonces el ejemplo citado por Zou y Schiebinger: sistemas de inteligencia artificial entrenados con ImageNet asignan las categorías "novia", "vestido", "mujer" o "boda" a la imagen de una novia occidental vestida de blanco, pero identifican como "arte de performance" o "disfraz" la imagen de una novia vestida con el típico atuendo usado en la India, que ciertamente difiere del occidental.

Otro ejemplo está dado por los traductores automáticos como Google Translate, donde se encontró que el sistema asignaba un género específico al traducir palabras que son neutras en un idioma y no en otro, perpetuando así estereotipos de género como la asignación del género femenino a la palabra " nurse" y masculino a " doctor", palabras que en inglés valen para ambos géneros. Es posible que en los textos utilizados para entrenar el modelo la probabilidad de encontrar la palabra " nurse" traducida como "enfermera" ciertamente fuera más alta, y por tanto el modelo minimiza las chances de error al asignar ese género en situaciones de incerteza, y lo mismo vale con " doctor ". Un caso relacionado es el de los sistemas de puntuación para la asignación de préstamos bancarios o límites de gasto en tarjetas de crédito: frente a una pareja con ingresos, gastos y deudas similares, la empresa de tarjetas de crédito estableció un límite para la mujer de casi la mitad del límite del esposo. La brecha salarial entre hombres y mujeres es una realidad del mundo desigual en que vivimos, y probablemente los datos con los que fue entrenado el modelo la reflejaran, por lo que su recomendación era asignarle mayor límite de gasto al hombre que a la mujer. Es decir, los datos son un reflejo (acotado) de la realidad actual. Sin embargo, en estas situaciones cabe preguntarse: ¿realmente queremos que el modelo perpetúe (y hasta en ocasiones amplifique) las desigualdades, por el solo hecho de que vivimos en una sociedad desigual? ¿O queremos modificar esta realidad? El recorte que se hace de estos datos, la población utilizada para construir las muestras, las variables que se miden: todas son decisiones humanas que están lejos de ser neutrales. El aura de neutralidad que muchas veces se atribuye a los sistemas automáticos se desvanece en el instante mismo en que comprendemos la relación entre los datos, los modelos y las personas. Y la necesidad de auditar la equidad de nuestros modelos tomando en cuenta una perspectiva interseccional se vuelve sumamente relevante.

En ocasiones, cuando detectamos posibles sesgos o rendimientos dispares en estos modelos, es posible pensar en soluciones para mitigarlos. Una de ellas sería balancear de alguna forma los datos, para evitar que los modelos resulten discriminatorios o injustos, dependiendo de la situación que estamos modelando. Otra opción podría ser inducir al sistema a que utilice representaciones "justas" de los datos, en el sentido de que no estén asociadas a las características que son fuente de discriminación. O, directamente, obligarlo a ignorar estos atributos protegidos, como el género u otras características demográficas, al momento de tomar una decisión. Sin embargo, debemos ser cuidadosos al diseñar estas soluciones: aunque ocultemos ciertos atributos a un sistema, como el género o el grupo étnico al que pertenece una persona, la correlación entre esos atributos y otras variables seguirá existiendo. Recordemos que si hay algo que los modelos de aprendizaje automático hacen bien es encontrar patrones y también correlaciones. Por eso, si bien la comunidad académica de investigación en equidad algorítmica ( fairness) ha trabajado arduamente durante los últimos años en pos de construir modelos justos y que no discriminen, el factor humano en el diseño de estos sistemas resulta primordial. Aunque existen en la actualidad diversas formalizaciones del concepto de fairness, muchas de ellas resultan mutuamente incompatibles, en el sentido de que no es posible maximizarlas al mismo tiempo, y por tanto se debe optar por aquellas que se desee maximizar.

No alcanza entonces con generar bases de datos representativas o modelos justos en algún sentido específico. Los sistemas de inteligencia artificial están diseñados por personas con sus propias visiones del mundo, prejuicios, valoraciones de los hechos y sesgos adquiridos a lo largo de su experiencia de vida, que pueden filtrarse en el diseño y la definición de criterios de evaluación para estos modelos. Si esos grupos de trabajo no son lo suficientemente diversos como para reflejar una amplia variedad de visiones, muy probablemente no lleguen siquiera a darse cuenta de la existencia de los sesgos, y por tanto a corregirlos. No hay ejemplo más claro que el caso de Joy Buolamwini, quien descubrió el sesgo racial de los sistemas de detección facial al usarlos en su propio rostro.

Ahora bien, si la diversidad en los equipos que conciben estos sistemas resulta tan relevante, esperaríamos que en la práctica esos grupos fueran realmente diversos, no solo en términos de género, sino también de clases sociales, etnias, creencias, edad u orientación sexual, solo por dar algunos ejemplos. Pero la respuesta no siempre es la que deseamos, y en palabras del ai Now Institute de la Universidad de Nueva York, la industria de la inteligencia artificial está viviendo una crisis de diversidad "desastrosa". Según su informe, elaborado en 2019, estudios recientes encontraron que solo 18% de los trabajos publicados en las principales conferencias de inteligencia artificial son realizados por mujeres, y que más de 80% de quienes son docentes de inteligencia artificial son hombres. Esta disparidad también se refleja en la industria, donde, por ejemplo, las mujeres representan solo 15% del personal de investigación de inteligencia artificial en Facebook y 10% en Google, dos de las empresas líderes en el área a escala global. Por otro lado, no se cuenta con datos públicos sobre personas trans o con otras identidades de género. Y a escala regional la situación tampoco mejora. Por ejemplo, según un informe elaborado por la Asociación Chicas en Tecnología y el Instituto para la Integración de América Latina y el Caribe del Banco Interamericano de Desarrollo (intal-bid) sobre mujeres en el sistema universitario argentino entre 2010 y 2016, existen grandes brechas de género en el ingreso y egreso de las estudiantes de las disciplinas ctim (ciencia, tecnología, ingeniería y matemática). Así, se observa un registro de 33% de mujeres y 67% de varones.

Ahora bien, aunque este escenario suena desolador y muchas de las situaciones que hemos discutido a lo largo de este artículo resaltan aspectos negativos potencialmente asociados al uso de estas tecnologías, muchos de los esfuerzos realizados en los últimos años para crear conciencia sobre estos riesgos y aumentar la diversidad de la comunidad de inteligencia artificial, tanto en el ámbito académico como en la industria, comienzan a sentar las bases para un futuro más promisorio. Iniciativas como la de Chicas en Tecnología o el Observatorio de Datos con Perspectiva de Género en Argentina, o WomenInml, QueerInai, BlackInai y Latinxinai a escala global, solo por nombrar algunas, comienzan a poner en debate y a cuestionar esta realidad. Los gobiernos empiezan a preocuparse por la necesidad de regular el uso y desarrollo de estas tecnologías. La emergencia de foros de discusión especializados en estas temáticas y el interés de todas las ramas de la ciencia por conocer las implicancias y potenciales aplicaciones de la inteligencia artificial en sus propios campos de estudio abren nuevos horizontes para el desarrollo científico guiado por los datos. Porque no se trata de obstaculizar el avance de la inteligencia artificial como disciplina, sino de que tanto quienes la utilizan como quienes la desarrollan sean conscientes de sus limitaciones, y de que las tomemos en cuenta a la hora de concebir y hacer uso de estas tecnologías.

# data[].attributes.attachment_link.title
Inteligencia artificial y sesgos algorítmicos | Nueva Sociedad

# data[].attributes.attachment_link.description
Cada vez más, la inteligencia artificial es parte de nuestras vidas, a menudo de manera imperceptible. Ya no se trata de utopías tecnológicas sobre el futuro, sino de un presente muy concreto. Pero detrás de avances que incluyen desde diagnósticos médicos hasta vigilancia masiva están los algoritmos, cuyos "sesgos" amenazan con perpetuar e incluso profundizar las desigualdades del presente.

# data[].attributes.body
La relación que establezco entre el artículo y el texto de Gómez Barrera, es en la exploración del alcance de los algoritmos para moldear nuestras decisiones, normalizando comportamientos y creando patrones de consumo predecibles. Gómez Barrera analiza cómo los algoritmos ejercen una forma de "gubernamentalidad" al regular y dirigir los comportamientos individuales mediante la segmentación y los sesgos, estableciendo lo que se considera relevante o normal.

En el articulo toca estos mismos aspectos sobre la manera en que los algoritmos crean una experiencia homogénea sin diversidad: "Es como si el algoritmo supiera lo que quiero antes de que yo mismo lo haga... Nos lleva siempre por el mismo camino, eliminando todo lo inesperado, lo sorpresivo, lo caótico que en realidad nos hace humanos." Esto refleja como los algoritmos no solo sugieren, sino que también guían las experiencias.

Además, el artículo destaca que "al confiar ciegamente en las sugerencias, nos perdemos lo que está fuera de sus cálculos," lo cual está en línea con la idea de Gómez Barrera de que los algoritmos, al aplicar criterios de segmentación y sesgo, determinan un espectro limitado de opciones, influenciando y, en cierto modo, "gobernando" nuestras preferencias.

# data[].attributes.attachment_link.description
Hace unos días, en una conversación con mi mejor amiga Florencia, en un momento me dice: “A mí también me hizo eso el algoritmo”. Y claro, me reí. Sabía perfectamente a qué se refería. El algoritmo, ese ente invisible, que parece conocernos mejor que nosotros mismos. De repente, Spotify me sugiere una canción que ni recordaba, o Instagram me muestra justo el producto que estaba pensando en comprar. Es como si el algoritmo supiera lo que quiero antes de que yo mismo lo haga.

# data[].attributes.body
La noticia que elegí fue “TikTok tóxico y adictivo: cómo afecta a la salud mental de los jóvenes de entre 13 y 25 años, según un estudio de Amnistía Internacional” del diario La Nación, publicada el 28 de noviembre de 2013.

Aquí se puede ver cómo el poder de los algoritmos influye en la experiencia y percepción de los usuarios. Gómez Barrera sostiene que los algoritmos no solo capturan información de los individuos, sino que también configuran comportamientos y preferencias a través de la segmentación y el sesgo en la recopilación de datos. Esto sugiere que las plataformas digitales, como TikTok, no son neutrales en sus efectos sobre los usuarios, sino que moldean sus interacciones de manera intencional y potencialmente problemática.

En el artículo de La Nación, se menciona cómo TikTok, mediante algoritmos altamente personalizados, se convierte en una aplicación adictiva y que podría impactar la salud mental de sus usuarios. Esto se relaciona con el concepto de la "gubernamentalidad algorítmica" usado por Gómez Barrera, quien plantea que los sistemas digitales "modelizan, anticipan y afectan los comportamientos posibles" de los usuarios. En este sentido, TikTok utiliza el algoritmo para prever y adaptar el contenido a los intereses de cada usuario, lo cual tiene efectos en la atención y la emocionalidad de los jóvenes, facilitando patrones de uso obsesivo y afectando sus interacciones sociales.

Ambos textos destacan cómo la "construcción de perfiles" y la segmentación de datos no solo atienden a un interés comercial, sino que también influyen profundamente en la percepción y bienestar de los usuarios, haciéndolos más susceptibles a los efectos de las redes en sus vidas diarias.

# data[].attributes.attachment_link.title
TikTok tóxico y adictivo: cómo afecta a la salud mental de los jóvenes de entre 13 y 25 años, según un estudio de Amnistía Internacional

# data[].attributes.attachment_link.description
Presentaron en Argentina los resultados locales del estudio global “Domar el algoritmo”, de Amnistía Internacional, que analiza el impacto que tiene el uso de Tiktok y redes similares en la salud mental de los jóvenes, sobre todo a partir de autodiagnóstico en base a videos virales

# data[].attributes.body
El texto de Gómez Barrera y el artículo sobre la regulación algorítmica de la Unión Europea tienen puntos de convergencia en la preocupación por los sistemas algorítmicos y su impacto en la sociedad. Ambos destacan la necesidad urgente de un marco regulatorio que mitigue los riesgos que estos sistemas representan en términos de sesgo y manipulación. Gómez Barrera, citando a Noble, afirma que "necesitamos protección legal ahora más que nunca", refiriéndose a la creciente influencia de los sistemas de decisión automatizados en nuestra vida cotidiana y su capacidad para perpetuar desigualdades estructurales.

En línea con esto, el artículo de la UE subraya cómo la nueva legislación busca regular y clasificar los sistemas de IA según su nivel de riesgo, prohibiendo aplicaciones potencialmente peligrosas como el reconocimiento emocional y la manipulación de comportamientos, ya que estos usos pueden afectar negativamente los derechos fundamentales y la dignidad de los ciudadanos. Según el artículo, “la UE asegura que el reglamento ‘tiene como objetivo garantizar que los sistemas de IA utilizados en la UE sean seguros y respeten los derechos fundamentales y los valores europeos’”

Una interrogante que me interesa es el debate sobre la responsabilidad en los errores de estos sistemas y hasta qué punto es posible, o ético, permitir que las máquinas tomen decisiones autónomas que impactan vidas humanas.

# data[].attributes.attachment_link.authors[].name
Autor: Carme Colomina, investigadora sénior, CIDOB

# data[].attributes.attachment_link.title
Una IA ética: la UE y la gobernanza algorítmica

# data[].attributes.attachment_link.description
La Unión Europea ha aprobado la primera ley de inteligencia artificial del mundo con reglas vinculantes que impondrán obligaciones y límites a los distintos usos de la IA según el riesgo que comporten. La inteligencia artificial, y su desarrollo hiperacelerado, suponen un desafío tecnológico, económico, social y geopolítico, que los grandes poderes globales enfrentan desde visiones estratégicas a veces contradictorias. A estas distintas aproximaciones se suman las múltiples evidencias de las desigualdades originadas o reforzadas por el uso de modelos y programas de aprendizaje automático, que obligan a despejar incertidumbres y garantizar la rendición de cuentas. La ubicuidad de la Inteligencia Artificial es indiscutible. Su capacidad de penetración abarca desde la seguridad del ciberespacio a la robótica doméstica; desde la imitación de la inteligencia humana al poder de decisión sobre préstamos bancarios o ayudas sociales. La IA parece infiltrarlo todo. Pero su desarrollo tecnológico avanza a un ritmo tan vertiginoso que no permite despejar incertidumbres. La gobernanza de la IA plantea problemas conceptuales, funcionales, analíticos, de orden práctico y jurídico. Sin embargo, arrastrados por esta temporalidad hiperacelerada, los grandes actores globales, públicos y privados, se han puesto a discutir sobre cómo regular la IA cuando todavía estamos intentando aprehender bien qué es y cuál es su verdadero alcance. Por eso fallan los consensos.Sin embargo, la Unión Europea ha tomado la iniciativa y ha conseguido cerrar un acuerdo interinstitucional, a finales de 2023, para aprobar la primera Ley de Inteligencia Artificial que pretende limitar los riesgos en el uso de la IA estableciendo distintas categorías (inaceptables, elevados, limitados o mínimos). Se consideran inaceptables y, por tanto, se prohíbe el uso de sistemas de reconocimiento de emociones; los sistemas de manipulación intencionada para influir en el comportamiento de las personas y causar daños físicos; y los sistemas que explotan vulnerabilidades de un grupo específico de personas. Otro de los temas espinosos de la negociación fue la inclusión de la IA generativa (los modelos fundacionales), que deberán cumplir con requisitos de transparencia. Todos los actores y usuarios de la IA en la Unión Europea deberán respetar un Código de Conducta ético respaldado por multas, ya que la ley prevé un sistema de sanciones, que puede llegar a un porcentaje del volumen total de negocios de la compañía infractora.​Ha sido una negociación larga, que deberá ratificarse en 2024 y contará con dos años de margen para su implantación gradual. La UE se convierte así en pionera en la definición de un marco legal. Sin embargo, también hay voces críticas que consideran que el esfuerzo se queda corto ya que se centra en el riesgo de los posibles usos de la IA, pero no soluciona los daños inherentes a la propia tecnología. Es imprescindible complementar los enfoques centrados en encontrar «soluciones a los problemas» –basados en minimizar los daños causados por la IA– con visiones centradas en el «diagnóstico de problemas», es decir que examinen el origen y las causas de los actuales imaginarios, y de la economía basada en la IA. Como se pregunta Urvashi Aneja, directora de Digital Futures Lab, «¿es suficiente un enfoque meramente regulatorio, cuando lo que está en juego es cómo conocemos y entendemos el mundo?». La Unión Europea asegura, por su parte, que el reglamento «tiene como objetivo garantizar que los sistemas de IA utilizados en la UE sean seguros y respeten los derechos fundamentales y los valores europeos».De hecho, la UE y sus estados miembros se encuentran en una situación de difícil equilibrio como reguladores y, a la vez, usuarios de los sistemas automatizados de toma de decisiones en el sector público. Por un lado, los gobiernos europeos deben proteger a los ciudadanos de los posibles daños de las tecnologías emergentes, pero también, y cada vez más, utilizan estas tecnologías para gobernar, en un contexto de plena consciencia sobre los efectos devastadores que los sesgos algorítmicos pueden tener sobre las predicciones, recomendaciones y decisiones públicas automatizadas. Es imposible, a estas alturas, negar el impacto discriminatorio de muchos de estos sistemas, aunque los gobiernos, en general, se nieguen a la trasparencia que reclaman las organizaciones civiles.Como defiende Lorena Jaume-Palasí, los sistemas algorítmicos centrados en perfiles humanos crean estándares, pero un perfil humano es ya en sí una distorsión del individuo. Los datos no son neutrales y solo son parcialmente representativos. En este contexto, la inteligencia artificial y los sistemas de gobernanza algorítmica han acabado reproduciendo sesgos discriminatorios. De hecho, los sesgos son sociales y, si no se corrigen, la regulación puede acabar teniendo un efecto legitimador y amplificador.Los riesgos del debate normativoEn este debate sobre la gobernanza de la IA, que va de la mano de la carrera geopolítica por liderar la innovación tecnológica, la Unión Europea, una vez más, lo fía todo a su credibilidad reguladora. 2024 será un año fundamental en todo el debate normativo, a pesar de que la falta de consensos entre grandes actores llega a un nivel tan básico como la propia definición de la Inteligencia Artificial. Algunos reguladores han optado por definiciones amplias, por temor a que el texto quedara obsoleto a corto plazo, como en los «Principios de la OCDE sobre Inteligencia Artificial». Mientras, otros, en cambio, han preferido referirse a las características de la IA sin definirla al detalle.Pero no se trata solo de si debe regular o no, sino de quién debe hacerlo. Se vio perfectamente en la primera cumbre mundial sobre seguridad de la IA, convocada el 1 de noviembre por el primer ministro británico, Rishi Sunak. Un punto de encuentro de los grandes poderes globales –públicos y privados; tecnoautoritarios o abiertos– intentando regular o influir en los debates sobre regularización en curso. La «Declaración Bletchley», firmada por 28 países, recoge un compromiso para abordar las principales amenazas de la IA, un acuerdo para examinar los modelos de IA de empresas tecnológicas antes de su lanzamiento, así como un pacto para establecer un panel global de expertos sobre inteligencia artificial. Además, en la embajada de Estados Unidos en Londres, 31 países firmaron, en paralelo, una declaración (no vinculante) para establecer límites al uso militar de la Inteligencia Artificial.Pero esta cumbre global también ejemplifica uno de los riesgos del debate normativo: la potencia de las grandes empresas tecnológicas dominantes –y su esfuerzo por liderar el debate sobre los límites de los marcos reguladores de la misma manera que marcan el ritmo de la aceleración tecnológica– por encima de las voces de la sociedad civil. Es una confrontación no exenta de una nueva forma de colonialismo; de explotación de los usuarios, convertidos en una fuente infinita de datos a cruzar, analizar y comercializar. La protección y fiabilidad de los datos, por ejemplo, debería incluirse desde el mismo diseño de la tecnología. Y no sólo eso, debería tenerse en cuenta desde el mismo momento de la programación quien está siendo excluido de la toma de decisiones o de los datos que se utilizarán para la automatización de la toma de decisiones.Palabras clave: inteligencia artificial, IA, UE, marco regulatorio, gigantes tecnológicos, riesgo, ética, gobernanza algorítmica, datos, sesgos, automatización, BletchleyFinanciado por la Unión Europea. Sin embargo, los puntos de vista y opiniones expresados son únicamente los de los autores y no reflejan necesariamente los de la Unión Europea o la Agencia Ejecutiva Europea de Educación y Cultura. Ni la Unión Europea ni la autoridad otorgante pueden ser considerados responsables de ellos.Todas las publicaciones expresan las opiniones de sus autores/as y no reflejan necesariamente los puntos de vista de CIDOB como institución.

# data[].attributes.body
Tengo siempre como referencia para los problemas que enfrentamos como sociedad frente al avance imparable de las nuevas tecnologías, a la serie británica "Black Mirror" que repasa en sus temporadas muchos de estos problemas.

En relación al tema del artículo de Gómez Barrera, en particular al protagonismo de los algoritmos en la sociedad y el riesgo subyacente en los sesgos del mismo (como fruto de la subjetividad que puedan tener los creadores del mismo) resalto el episodio 1 de la tercera temporada llamado "Nosedive" que podemos traducir como "Caída en picada".

En el episodio se muestra una sociedad (¿utópica? ¿distópica?) compuesta por individuos cuyo comportamiento se encuentra fuertemente controlado por su puntaje en una red social omnipresente. Así, cada acción, cada interacción entre dos personas, es instantáneamente puntuada por quienes participaron. Estos puntajes no son inocentes: la prosperidad de los individuos depende absolutamente de ellos. La protagonista se ve involucrada en una serie de hechos que transforman toda su vida como resultado de su puntaje.

Creo que todavía está pendiente el debate serio sobre la forma en que deben aplicarse este tipo de tecnologías ¿deben ser reguladas? Si así fuera ¿quien debería hacerlo? ¿Un estado que pueda usarlo para otros fines? En mi opiniòn todavía tenemos más preguntas que respuestas pero lo que es innegable es que el impacto en la sociedad yá está ocurriendo ahora.

# data[].attributes.body
El artículo que seleccioné es "Cambio de época: en redes sociales ya no importan tanto los seguidores, sino caerle bien al algoritmo", en el diario online LA NACION.

Este tiene claras relaciones con el paper de Gómez Barrera, principalmente en las partes donde se explica cómo los algoritmos de las redes sociales afectan a los individuos en la sociedad y sus decisiones, y crean cajas de resonancia y sesgos de confirmación.

El artículo menciona algo que puede ser rastreado entre líneas en el paper de Barrera: Los algoritmos no recomiendan siempre posts que nos aporten, nos interesen, o siquiera que queramos ver, los algoritmos ni siquiera intentan hacer esto, según Barrera, si no que de forma sesgada, y estadística, elije contenido que pueda captar la atención del usuario.

Curiosamente, por estas mismas razones, en el artículo, dicen que las redes sociales dejaron de cumplir sus funciones originales, y ahora pasaron a ser "redes algorítmicas", donde el contenido que vemos deja de ser de los creadores que seguimos sino que sobre contenido que haya pasado la primera y más grande barrera: la algorítmica.

Como dice Barrera, estos algoritmos están muy lejos de ser objetivos en la forma en que actúan, teniendo sesgos de los programados en sus mismas arquitecturas, por lo que propone que sean regulados por el estado para tener seguridad de que los sesgos que estos posean no sean dañinos para la población.