# data[].attributes.body
Gómez Barrera argumenta : En esa medida, dentro de la racionalidad algorítmica deben entenderse e integrarse las diferentes investigaciones en torno a cómo en la lógica de la predicción existe una fuerte dependencia al sesgo. De hecho, la variabilidad y, en otros casos, arbitrariedad de la selección de los datos de entrada al proceso de funcionamiento del algoritmo hecha por los programadores, ha generado discusiones en torno a problemas evidentes que han surgido con la fuerte presencia del sesgo en el funcionamiento de múltiples plataformas y servicios de Internet.

Uno de los trabajos más recientes a la presente investigación sobre el problema del sesgo en la existencia de los procesamientos algorítmicos es la realizada por Noble (2018). Esta investigadora norteamericana ha encaminado diversos análisis en torno a cómo los algoritmos, lejos de tener un carácter neutral y objetivo, discurso predominantemente tecnócrata, tienen una fuerte base en su funcionamiento de sesgos sexistas, racistas o falsas nociones de meritocracia que, adicionalmente, han sido reveladas constantemente en la industria de Silicon Valley

Articulo periodístico:

Riesgos de sesgo y discriminación en Inteligencia Artificial (IA)

Los sesgos en la Inteligencia Artificial pueden llevar a discriminación y dañar la reputación corporativa. Estos sesgos surgen de errores en diseño de modelos y datos sesgados. Se recomienda prácticas como revisión de datos, pruebas de equidad y monitoreo continuo para mitigar estos riesgos y asegurar un funcionamiento ético de la IA.

Uno de los mayores riesgos a los que se exponen las compañías en el empleo de la Inteligencia Artifical (IA) es la obtención de resultados sesgados (lo que llamamos 'el sesgo'), y si este sesgo lo trasladamos a datos personales, podríamos terminar en un riesgo de discriminación/prejuicios (bien por sexo, raza, procedencia, creencia, etc) con el consecuente impacto no deseado sobre ciertos grupos de personas, afectando en la reputación e imagen de las compañías. Por tanto, 'el sesgo' podría definirse como la discriminación o prejuicio sobre la realidad que afectan a la toma de decisiones (o resultados obtenidos) de un sistema de IA.

https://www.bdo.es/es-es/blogs-es/coordenadas-bdo/riesgos-de-sesgo-y-discriminacion-en-inteligencia-artificial-(ia)

¿Qué relaciones podes establecer entre el texto de Gómez Barrera y el artículo que seleccionaste?

Ambos textos abordan la problemática de los sesgos y la discriminación en la inteligencia artificial. Gómez Barrera destaca la dependencia del sesgo en la lógica de la predicción en los algoritmos, señalando que la selección de datos de entrada por parte de los programadores puede generar problemas evidentes relacionados con el sesgo en diversas plataformas y servicios de Internet. Por otro lado, en el artículo periodístico se menciona que los sesgos en la IA pueden llevar a la discriminación y afectar la reputación corporativa, surgiendo de errores en el diseño de modelos y en datos sesgados.

Ambas fuentes coinciden en la importancia de identificar y mitigar los sesgos en la inteligencia artificial para evitar resultados discriminatorios y garantizar un funcionamiento ético de los sistemas de IA. Recomiendan prácticas como la revisión de datos, pruebas de equidad y monitoreo continuo para abordar estos riesgos y asegurar que las decisiones tomadas por los algoritmos no se vean influenciadas por prejuicios o discriminación hacia ciertos grupos de personas.

¿Qué aspectos que aborda el texto se pueden rastrear en el artículo seleccionado? Justificar citando algún fragmento del texto.

El aspecto que se puede rastrear en el artículo seleccionado es la relación entre los sesgos en la inteligencia artificial y su potencial impacto en la discriminación y la reputación corporativa. En el texto de Gómez Barrera se menciona cómo la fuerte presencia del sesgo en el funcionamiento de los algoritmos puede generar problemas evidentes en múltiples plataformas y servicios de Internet debido a la selección arbitraria de datos de entrada por parte de los programadores. Esta idea se refleja en el artículo periodístico cuando se menciona que "Uno de los mayores riesgos a los que se exponen las compañías en el empleo de la Inteligencia Artificial (IA) es la obtención de resultados sesgados", lo que puede llevar a situaciones de discriminación y prejuicios, afectando la reputación e imagen de las empresas.

Ambos textos resaltan la importancia de reconocer y abordar los sesgos en la inteligencia artificial para evitar consecuencias negativas como la discriminación, prejuicios y daños a la reputación corporativa.

# data[].attributes.body
¿Qué relaciones podes establecer entre el texto de Gómez Barrera y el artículo que seleccionaste?

Este artículo habla de la importancia de abordar los sesgos en los algoritmos orientados al diagnóstico de enfermedades, desarrollo de fármacos y tratamiento de enfermedades para que puedan ser aprovechados por una mayor parte de la sociedad. Si los datos con los que se entrenan los algoritmos son poco representativos, pueden ser propensos a reforzar el sesgo, lo que puede dar lugar a que distintos grupos queden excluidos de los avances médicos, o mal diagnosticados, o incluso vulnerables a resultados fatales.

¿Qué aspectos que aborda el texto se pueden rastrear en el artículo seleccionado? Justificar citando algún fragmento del texto.

La nota sugiere que para minimizar el sesgo de los algoritmos es esencial abordar estos sesgos a nivel de datos, garantizando que los datos utilizados sean completos, representativos y libres de disparidades históricas. Aunque existe el riesgo de crear algoritmos de IA para la atención sanitaria con sesgos inherentes, hay varios enfoques que los investigadores y programadores pueden adoptar para minimizar los sesgos y garantizar que sus resultados sean eficaces para el mayor número posible de personas. Garantizar la minimización del sesgo algorítmico en la IA sanitaria no es sólo una preocupación tecnológica o práctica, sino una importante consideración ética.

Como menciona Gómez Barrera en el texto "Lo que resulta interesante en el análisis de la segmentación de los datos de entrada para el procesamiento de la información es el hecho de que existe un doble perfilado de los valores o patrones que se intentan establecer. Es decir, dentro de la construcción de perfiles para el procesamiento de la información mediante herramientas algorítmicas hay un proceso previo de categorización de la diversidad de datos iniciales hecha por los individuos que efectúan los análisis y programan los algoritmos. Bajo esa mirada, de acuerdo con Canhoto y Backhouse (2008), hay dos puntos en donde se evidencia cómo el trabajo humano resulta central para el procesamiento algorítmico. Primero, en la determinación del dato que debe ser analizado, tanto su relevancia como su tipo. Segundo, en todo lo que tiene que ver con el dominio y los sesgos que determinan el soporte de la búsqueda y la utilidad de los resultados, es decir, la validación del proceso."

Articulo: https://www.techopedia.com/es/sesgo-algoritmos-ia-sanitaria

# data[].attributes.body
Seleccioné una artículo de La Nacion titulado “La inteligencia artificial tiene los sesgos de sus creadores, y puede transferírselos a una persona, según un estudio”

La nota trata sobre un estudio que muestra cómo la inteligencia artificial puede transferir los sesgos de sus programadores a los usuarios. A través de un experimento, los participantes utilizaron un algoritmo sesgado para realizar tareas de clasificación, y los resultados mostraron que, después de interactuar con la IA, continuaron aplicando los mismos sesgos en sus decisiones futuras, incluso sin la ayuda del algoritmo. Esto sugiere que los sesgos de la IA pueden transferirse a las personas y afectar sus juicios a largo plazo.

Gómez Barrera dice textual en su artículo: “No obstante, en la construcción teórica de Rouvroy y Berns en torno a la modalidad con la que se captan los datos, se mira de soslayo la participación que tienen los programadores en el diseño de los sistemas algorítmicos; esto es, se enfoca este proceso en el papel que desempeñan la existencia misma de los datos y no se tiene en cuenta la centralidad que tiene, dentro del proceso algorítmico, la preselección y sesgo de los datos que se consideran útiles para el procesamiento. Este punto o elemento de partida de la captación de los datos resulta fundamental, en la medida en que evidencia la continuación de diversos valores, transmitidos a los algoritmos, que pueden derivar fácilmente en prejuicios y sesgos sociales; y que, justamente, deben ser tenidos en cuenta como un punto sustancial en el proceso de configuración de individuación de subjetividades que ellos formulan.”

La relación es clara: datos manipulados alimentando una IA pueden influir directamente en la forma de pensar y en la toma de decisiones de las personas que la utilizan, incluso en el largo plazo cuando el sistema deja de ser usado.

Lo que me resulta más interesante de pensar son los ejemplos y situaciones en las cuales esto puede darse: ¿Una IA podría llegar a tener sesgos machistas o racistas? ¿Con qué motivos? ¿Qué sucede si dichos sesgos terminan trasladándose a los usuarios? ¿Podría una IA sesgada, sin que nos dieramos cuenta, inclinar la balanza en nuestras cabezas hacia un candidato u otro durante un proceso electoral?

Finalmente, lo interesante es que ambos textos mencionan la necesidad de regular y supervisar estos sistemas, aludiendo al impacto que tienen en los individuos y sociedades.

# data[].attributes.body
Buenas tardes, seleccione un articulo de Enzo Ferrante donde habla sobre los sesgos en la Inteligencia Artificial y sugiere medidas para mitigar estos sesgos, como diversificar los datos de entrenamiento, crear modelos que ignoren atributos susceptibles de discriminación (género, raza, etc.) y fomentar la diversidad en los equipos de desarrollo de IA.

¿Qué relaciones podes establecer entre el texto de Gómez Barrera y el artículo que seleccionaste?

El texto de Gómez Barrera y el artículo de Ferrante comparten una visión crítica sobre los sesgos en los algoritmos y su impacto en la sociedad. Ambos destacan que los algoritmos no son neutrales, ya que incorporan los sesgos y valores de quienes los programan. Gómez Barrera subraya que la preselección de datos introduce normas y prejuicios que afectan la individuación de los sujetos, mientras que Ferrante detalla cómo estos sesgos en inteligencia artificial perpetúan desigualdades al basarse en datos no representativos.

¿Qué aspectos que aborda el texto se pueden rastrear en el artículo seleccionado? Justificar citando algún fragmento del texto.

Por ejemplo, Ferrante menciona el caso de Joy Buolamwini, cuyo rostro no fue reconocido por un sistema de IA debido a la falta de datos de personas negras, lo que refleja el punto de Gómez Barrera sobre la normatividad algorítmica que moldea las identidades. "No hay ejemplo más claro que el caso de Joy Buolamwini, quien descubrió el sesgo racial de los sistemas de detección facial al usarlos en su propio rostro. "

Ambos autores abogan por prácticas inclusivas y la regulación de estos sistemas para evitar que profundicen las desigualdades sociales.

https://nuso.org/articulo/inteligencia-artificial-y-sesgos-algoritmicos/

# data[].attributes.attachment_link.provider_name
Nueva Sociedad | Democracia y política en América Latina

# data[].attributes.attachment_link.readable_text
Una cámara enfoca las escalinatas de entrada del Instituto de Tecnología de Massachusetts (mit). La investigadora Joy Buolamwini sube algunos escalones y se escucha su voz en off:

Una de las cosas que me atrajeron de las ciencias de la computación fue que podía programar y alejarme de los problemas del mundo real. Quería aprender a hacer tecnología que fuera interesante. Así que vine al mit y trabajé en proyectos de arte que usaban visión artificial. Durante mi primer semestre en el Media Lab hice un curso sobre "invención científica". Lees ciencia ficción y eso te inspira a crear algo que seguramente sería poco práctico si no tuvieras el curso como excusa para hacerlo. Yo quise construir un espejo que me inspirara por las mañanas. Lo llamé Espejo Aspire. El espejo me colocaba leones sobre el rostro, o gente que me inspirara, como Serena Williams. Le coloqué una cámara y con un software de visión artificial, se suponía que debía detectar los movimientos de mi cara. Pero el problema era que no funcionaba bien, hasta que me puse una máscara blanca. Cuando me ponía la máscara, me detectaba. Cuando me la quitaba, ya no me detectaba.

Así comienza Prejuicio cifrado ( Coded Bias), el documental dirigido por la cineasta Shalini Kantayya y estrenado en 2020 que narra cómo Buolamwini tomó conciencia del sesgo racial existente en los algoritmos de reconocimiento facial y analiza sus consecuencias. Buolamwini es una mujer negra, especialista en informática, activista y fundadora de la Liga por la Justicia Algorítimica (Algorithmic Justice League), y hace algunos años descubrió que varios sistemas comerciales de reconocimiento facial diseñados por Amazon, ibm y Microsoft funcionaban mejor con el rostro de sus amigos blancos que con el suyo. Más allá de los dilemas éticos sobre el desarrollo de sistemas de reconocimiento facial, el caso de Buolamwini muestra claramente cómo un sistema basado en inteligencia artificial puede adquirir un sesgo y cumplir mejor la tarea para la que fue diseñado en un grupo de individuos que en otro.

Esta no es una cuestión menor. La expresión "inteligencia artificial" dejó de ser propiedad exclusiva de las novelas de ciencia ficción y de los libros de computación. Noticias sobre avances fascinantes -como computadoras capaces de asistir al personal médico en tareas de diagnóstico o de manejar automáticamente vehículos no tripulados- aparecen cada vez con más frecuencia y se vinculan cada vez más con nuestras vidas. Sin embargo, no todas las noticias son tan alentadoras. Lo que experimentó Buolamwini no es un caso aislado: durante los últimos años, hemos visto desde sistemas para reconocimiento facial que alcanzan un peor rendimiento en mujeres de piel negra que en hombres blancos, hasta traductores del inglés al español que perpetúan estereotipos de género. Estos ejemplos ilustran un fenómeno conocido como "sesgo algorítmico": sistemas cuyas predicciones benefician sistemáticamente a un grupo de individuos frente a otro, resultando así injustas o desiguales. Pero ¿cuáles son las razones que llevan a estos sistemas a generar predicciones sesgadas? Para entenderlo, comencemos por definir algunos conceptos que nos serán útiles a lo largo de este ensayo: "inteligencia artificial" y "aprendizaje automático".

Cuando la inteligencia deviene artificial y el aprendizaje, automático

Existen muchas definiciones de "inteligencia artificial". Aquí usaremos una definición general ofrecida en uno de los libros fundamentales del campo, que describe la inteligencia artificial como la disciplina que se encarga de comprender y construir entidades inteligentes (pero artificiales). Esta definición es muy amplia y abarca conceptos que van desde los sistemas de razonamiento deductivo basados en reglas lógicas hasta algoritmos de aprendizaje automático que buscan detectar automáticamente patrones en conjuntos de datos y luego usarlos para realizar predicciones. Un elemento central para este último subcampo de la inteligencia artificial son entonces los datos, que constituyen la materia prima utilizada para automatizar el proceso de aprendizaje en el que los sistemas son entrenados para realizar predicciones.

Los datos pueden ser imágenes, sonidos, texto escrito, redes, posiciones de un gps, tablas o cualquier representación que se nos ocurra. En todo caso, la idea central es que los modelos de aprendizaje automático aprenden a partir de los datos. Esta noción resulta central en la actualidad, dado que la gran mayoría de las tecnologías disruptivas adoptadas masivamente en el siglo xxi y que son presentadas como inteligencia artificial utilizan en realidad métodos de aprendizaje automático. Pero ¿cómo aprenden estos sistemas?

Existen distintos paradigmas de aprendizaje. Uno de los más utilizados es el del aprendizaje supervisado, en el que los sistemas son sometidos a un proceso de entrenamiento que es guiado por anotaciones o etiquetas. La idea es simple: se intenta asociar características o patrones propios de los datos con las correspondientes etiquetas. Es decir, se analizan los datos en busca de patrones distintivos que permitan separar una categoría de la otra. Tomemos un ejemplo: imaginemos que queremos entrenar un sistema para que pueda decirnos si el contenido de una imagen corresponde a un perro o a un gato. Bajo el paradigma del aprendizaje supervisado, lo que necesitaremos es una base de datos compuesta por imágenes de perros y gatos, con la correspondiente etiqueta asociada a cada una. Durante el proceso de entrenamiento, el algoritmo tomará esas imágenes y comenzará a hacer predicciones a partir de ellas, asociando características (información de la imagen) con etiquetas. De forma simplificada, podemos pensar que estas características están dadas por diferentes patrones presentes en la imagen, como el color, el brillo, la cantidad de patas, el tamaño del cuerpo o la forma de las orejas. Si nos detenemos a pensar en estas características, algunas serán más útiles que otras para distinguir entre perros y gatos. Por ejemplo, la cantidad de patas no parece ser una característica útil para diferenciarlos; sin embargo, el tamaño del cuerpo sí podría serlo. La idea es que, por medio del entrenamiento, los sistemas aprendan a asociar patrones en estas características con las correspondientes categorías. Al principio estas asociaciones serán seguramente incorrectas; pero a medida que avance el proceso de entrenamiento, el modelo se irá ajustando y mejorando su desempeño en la tarea asignada.

Esta idea que ilustramos con imágenes es extrapolable a otros tipos de datos sobre los que hablábamos: si quisiéramos entrenar un sistema para aprender a traducir texto de inglés a español, necesitaríamos muchos textos escritos en ambos idiomas. Para inferir el estado de ánimo de una persona a partir de su voz, necesitaríamos grabaciones de audio de personas hablando, y la correspondiente etiqueta que indique si se encuentran alegres o tristes. Si pensáramos en un sistema que detecte patologías automáticamente a partir de imágenes radiográficas, necesitaríamos pares de imágenes con su correspondiente diagnóstico médico. O si quisiéramos entrenar un modelo para detectar rostros en imágenes, necesitaríamos una base de datos de fotografías de personas, con etiquetas que indiquen en qué lugar se encuentra el rostro de cada una.

Como vemos, los datos juegan un rol esencial en el entrenamiento de sistemas por medio de aprendizaje automático, dado que son la fuente de información que le indicará al sistema cuándo ha llegado a conclusiones correctas y cuándo no. Algo que resulta fundamental en este proceso, y que no siempre es tenido en cuenta, es que un sistema raramente se construye para realizar predicciones con los datos con que fue entrenado. Por el contrario, se espera que los modelos puedan sacar conclusiones acertadas sobre datos nunca vistos durante el "aprendizaje" -los datos de prueba- y cuyas etiquetas no se conocen. Esta capacidad de generalización es un rasgo primordial, dado que de nada serviría un modelo predictivo que solo acertara en situaciones conocidas. Imaginemos un detector de patologías en imágenes radiográficas que puede predecir si una persona tiene o no neumonía utilizando solamente imágenes de esa misma persona. O un traductor de inglés a español que solo puede traducir textos que ya estaban traducidos. En general, la hipótesis de trabajo de estos sistemas es que los datos de prueba serán de alguna manera similares a los datos de entrenamiento, pero no los mismos. Por ejemplo, si entrenamos un modelo para detectar neumonía en humanos, el modelo será utilizado en otros humanos, pero no en animales. O si entrenamos un sistema para traducir del español al inglés, los textos de prueba serán distintos de los de entrenamiento, pero estarán siempre escritos en español, y no en francés. En este caso, resulta evidente que un sistema que aprendió utilizando textos en español no podrá generalizar al francés. ¿O acaso le pediríamos a un intérprete de francés que traduzca mandarín? Sin embargo, existen variaciones entre los datos de entrenamiento y prueba que pueden ser más sutiles que el cambio de español a francés o de humanos a animales, pero que igualmente producen un efecto devastador en la calidad de las predicciones.

Volvamos a imaginar el caso del sistema para distinguir entre imágenes de perros y gatos, pero con una pequeña variación: nuestra base de datos solo está compuesta por perros negros y gatos blancos. En este caso, el color del animal será una característica sumamente útil para distinguir entre ambas clases. De hecho, nos dará una predicción perfecta: si el color predominante en el cuerpo del animal es negro, será un perro; y si es blanco, será un gato. Ahora imaginemos que en nuestro conjunto de prueba hay una sutil diferencia: aparecen perros de color blanco. ¿Qué creen que sucederá con las predicciones sobre los perros blancos? El sistema seguramente les asignará la etiqueta "gato" de forma incorrecta, resultando en un rendimiento más bajo para este subconjunto de la población objetivo. Tomar en cuenta estos factores al entrenar sistemas de inteligencia artificial basados en aprendizaje automático es clave si queremos evitar el sesgo algorítmico en varios sentidos. Veamos algunos ejemplos.

Sobre datos, modelos y personas

Hace algunos años, llegó a mis manos, por recomendación de colegas, un artículo que se titulaba "ai is Sexist and Racist. It's Time to Make it Fair" [La inteligencia artificial es sexista y racista. Es hora de volverla justa], de James Zou y Londa Schiebinger. El artículo discutía un aspecto sobre el que hasta ese momento no me había detenido a pensar respecto de los modelos de inteligencia artificial que yo mismo estaba implementando: estos modelos pueden ser sexistas y racistas. En otras palabras, pueden adquirir un sesgoque los lleve a presentar un rendimiento dispar en grupos caracterizados por distintos atributos demográficos, lo que redunda en un comportamiento desigual o discriminatorio. Y una de las razones detrás de este comportamiento eran justamente los datos que usaba para entrenarlos.

Los ejemplos de sesgo algorítmico adquirido a través de los datos son variados y muchas veces tienen que ver con bases de datos que no representan en realidad al conjunto de la población. En el caso reportado por Joy Bowlamwini y Timnit Gebru, en el que diversos sistemas comerciales de reconocimiento facial muestran un rendimiento dispar respecto a variables demográficas como el género y el color de la piel, son las mujeres de piel negra el grupo para el cual los modelos presentan peor rendimiento. Este hecho está posiblemente relacionado con la falta de representatividad de mujeres negras en las bases de datos utilizadas para el entrenamiento. Ejemplos similares se encuentran al analizar ImageNet, una de las bases de datos de imágenes etiquetadas más grandes del mundo, que ha sido motor del desarrollo de los modelos más populares de clasificación de imágenes. ImageNet posee millones de imágenes clasificadas en miles de categorías. Sin embargo, pese a que es utilizada mundialmente, más de 45% de las imágenes provienen de Estados Unidos y reflejan una realidad localizada en el hemisferio norte y que encarna representaciones propias de la cultura occidental. No resulta sorpresivo entonces el ejemplo citado por Zou y Schiebinger: sistemas de inteligencia artificial entrenados con ImageNet asignan las categorías "novia", "vestido", "mujer" o "boda" a la imagen de una novia occidental vestida de blanco, pero identifican como "arte de performance" o "disfraz" la imagen de una novia vestida con el típico atuendo usado en la India, que ciertamente difiere del occidental.

Otro ejemplo está dado por los traductores automáticos como Google Translate, donde se encontró que el sistema asignaba un género específico al traducir palabras que son neutras en un idioma y no en otro, perpetuando así estereotipos de género como la asignación del género femenino a la palabra " nurse" y masculino a " doctor", palabras que en inglés valen para ambos géneros. Es posible que en los textos utilizados para entrenar el modelo la probabilidad de encontrar la palabra " nurse" traducida como "enfermera" ciertamente fuera más alta, y por tanto el modelo minimiza las chances de error al asignar ese género en situaciones de incerteza, y lo mismo vale con " doctor ". Un caso relacionado es el de los sistemas de puntuación para la asignación de préstamos bancarios o límites de gasto en tarjetas de crédito: frente a una pareja con ingresos, gastos y deudas similares, la empresa de tarjetas de crédito estableció un límite para la mujer de casi la mitad del límite del esposo. La brecha salarial entre hombres y mujeres es una realidad del mundo desigual en que vivimos, y probablemente los datos con los que fue entrenado el modelo la reflejaran, por lo que su recomendación era asignarle mayor límite de gasto al hombre que a la mujer. Es decir, los datos son un reflejo (acotado) de la realidad actual. Sin embargo, en estas situaciones cabe preguntarse: ¿realmente queremos que el modelo perpetúe (y hasta en ocasiones amplifique) las desigualdades, por el solo hecho de que vivimos en una sociedad desigual? ¿O queremos modificar esta realidad? El recorte que se hace de estos datos, la población utilizada para construir las muestras, las variables que se miden: todas son decisiones humanas que están lejos de ser neutrales. El aura de neutralidad que muchas veces se atribuye a los sistemas automáticos se desvanece en el instante mismo en que comprendemos la relación entre los datos, los modelos y las personas. Y la necesidad de auditar la equidad de nuestros modelos tomando en cuenta una perspectiva interseccional se vuelve sumamente relevante.

En ocasiones, cuando detectamos posibles sesgos o rendimientos dispares en estos modelos, es posible pensar en soluciones para mitigarlos. Una de ellas sería balancear de alguna forma los datos, para evitar que los modelos resulten discriminatorios o injustos, dependiendo de la situación que estamos modelando. Otra opción podría ser inducir al sistema a que utilice representaciones "justas" de los datos, en el sentido de que no estén asociadas a las características que son fuente de discriminación. O, directamente, obligarlo a ignorar estos atributos protegidos, como el género u otras características demográficas, al momento de tomar una decisión. Sin embargo, debemos ser cuidadosos al diseñar estas soluciones: aunque ocultemos ciertos atributos a un sistema, como el género o el grupo étnico al que pertenece una persona, la correlación entre esos atributos y otras variables seguirá existiendo. Recordemos que si hay algo que los modelos de aprendizaje automático hacen bien es encontrar patrones y también correlaciones. Por eso, si bien la comunidad académica de investigación en equidad algorítmica ( fairness) ha trabajado arduamente durante los últimos años en pos de construir modelos justos y que no discriminen, el factor humano en el diseño de estos sistemas resulta primordial. Aunque existen en la actualidad diversas formalizaciones del concepto de fairness, muchas de ellas resultan mutuamente incompatibles, en el sentido de que no es posible maximizarlas al mismo tiempo, y por tanto se debe optar por aquellas que se desee maximizar.

No alcanza entonces con generar bases de datos representativas o modelos justos en algún sentido específico. Los sistemas de inteligencia artificial están diseñados por personas con sus propias visiones del mundo, prejuicios, valoraciones de los hechos y sesgos adquiridos a lo largo de su experiencia de vida, que pueden filtrarse en el diseño y la definición de criterios de evaluación para estos modelos. Si esos grupos de trabajo no son lo suficientemente diversos como para reflejar una amplia variedad de visiones, muy probablemente no lleguen siquiera a darse cuenta de la existencia de los sesgos, y por tanto a corregirlos. No hay ejemplo más claro que el caso de Joy Buolamwini, quien descubrió el sesgo racial de los sistemas de detección facial al usarlos en su propio rostro.

Ahora bien, si la diversidad en los equipos que conciben estos sistemas resulta tan relevante, esperaríamos que en la práctica esos grupos fueran realmente diversos, no solo en términos de género, sino también de clases sociales, etnias, creencias, edad u orientación sexual, solo por dar algunos ejemplos. Pero la respuesta no siempre es la que deseamos, y en palabras del ai Now Institute de la Universidad de Nueva York, la industria de la inteligencia artificial está viviendo una crisis de diversidad "desastrosa". Según su informe, elaborado en 2019, estudios recientes encontraron que solo 18% de los trabajos publicados en las principales conferencias de inteligencia artificial son realizados por mujeres, y que más de 80% de quienes son docentes de inteligencia artificial son hombres. Esta disparidad también se refleja en la industria, donde, por ejemplo, las mujeres representan solo 15% del personal de investigación de inteligencia artificial en Facebook y 10% en Google, dos de las empresas líderes en el área a escala global. Por otro lado, no se cuenta con datos públicos sobre personas trans o con otras identidades de género. Y a escala regional la situación tampoco mejora. Por ejemplo, según un informe elaborado por la Asociación Chicas en Tecnología y el Instituto para la Integración de América Latina y el Caribe del Banco Interamericano de Desarrollo (intal-bid) sobre mujeres en el sistema universitario argentino entre 2010 y 2016, existen grandes brechas de género en el ingreso y egreso de las estudiantes de las disciplinas ctim (ciencia, tecnología, ingeniería y matemática). Así, se observa un registro de 33% de mujeres y 67% de varones.

Ahora bien, aunque este escenario suena desolador y muchas de las situaciones que hemos discutido a lo largo de este artículo resaltan aspectos negativos potencialmente asociados al uso de estas tecnologías, muchos de los esfuerzos realizados en los últimos años para crear conciencia sobre estos riesgos y aumentar la diversidad de la comunidad de inteligencia artificial, tanto en el ámbito académico como en la industria, comienzan a sentar las bases para un futuro más promisorio. Iniciativas como la de Chicas en Tecnología o el Observatorio de Datos con Perspectiva de Género en Argentina, o WomenInml, QueerInai, BlackInai y Latinxinai a escala global, solo por nombrar algunas, comienzan a poner en debate y a cuestionar esta realidad. Los gobiernos empiezan a preocuparse por la necesidad de regular el uso y desarrollo de estas tecnologías. La emergencia de foros de discusión especializados en estas temáticas y el interés de todas las ramas de la ciencia por conocer las implicancias y potenciales aplicaciones de la inteligencia artificial en sus propios campos de estudio abren nuevos horizontes para el desarrollo científico guiado por los datos. Porque no se trata de obstaculizar el avance de la inteligencia artificial como disciplina, sino de que tanto quienes la utilizan como quienes la desarrollan sean conscientes de sus limitaciones, y de que las tomemos en cuenta a la hora de concebir y hacer uso de estas tecnologías.

# data[].attributes.attachment_link.title
Inteligencia artificial y sesgos algorítmicos | Nueva Sociedad

# data[].attributes.attachment_link.description
Cada vez más, la inteligencia artificial es parte de nuestras vidas, a menudo de manera imperceptible. Ya no se trata de utopías tecnológicas sobre el futuro, sino de un presente muy concreto. Pero detrás de avances que incluyen desde diagnósticos médicos hasta vigilancia masiva están los algoritmos, cuyos "sesgos" amenazan con perpetuar e incluso profundizar las desigualdades del presente.

# data[].attributes.body
Articulo Seleccionado: "https://cnnespanol.cnn.com/2012/04/23/como-se-entera-una-tienda-antes-que-tus-padres-de-que-estas-embarazada"

Creo que lo que pierde de vista el texto es que lo único que se busca en un algoritmo, y mas en algoritmos de redes sociales, es que sean eficientes. Sin un algoritmo es eficiente eso ya basta, y cualquier impacto que pueda tener en la sociedad es descartado o en el peor de los casos explotado. Por ejemplo, el algoritmo de reels en Instagram esta maximizado para logar retención, el único objetivo del algoritmo es que el usuario nunca deje de mirar reels y nunca abandone la página. Aquí entra el juego el perfilado, es decir el algoritmo crea un modelo de la persona, que tiene como objetivo encontrar que reels mostrar para que el usuario no cierre la aplicación. En este sentido ese “desdoblamiento de lo real” es algo intencionalmente buscado, ya que solo se busca la eficiencia y no la duplicidad de un ser humano “real”.  En el articulo seleccionado se perfila a los usuarios para saber que mujeres están embarazadas, de nuevo es extremadamente eficiente al punto que se lo compara con un test de embarazo, pero de nuevo se descartan las consecuencias, el consentimiento, e incluso se produce una invasión de la privacidad y se atenta contra un cuerpo. En este sentido, la mayor subjetividad no solo está en la curación de los datos sino en la selección de los mismos, y en el deseo de por que son elegidos. Es decir la violación de derechos se produce previamente a tocar cualquier código; como en historia, elegir una fuente ya es algo subjetivo incluso antes de realizarle preguntas. Lo mas tenebroso de esto es que hay casos demostrados en donde ya no solo se predice sino se que influencia sobre las decisiones. Como por ejemplo el caso de Cambridge Analítica. En este sentido creo que final del texto es fundamental, citando a Noble : “se deben generar mecanismos de regulación en materia de derecho. Es decir, se apela a un marco normativo que parta del hecho de que ‘necesitamos protección legal ahora más que nunca, como sistemas automatizados de toma de decisiones, puesto que manejan un mayor poder en nuestra sociedad’ ” . Puesto que una “gubernamentalidad algorítmica” enmarcada dentro de conceptos foucaultianos implicaría la coerción y la manipulación para generar y perpetuar poder o otros fines ulteriores.

# data[].attributes.attachment_link.readable_text
Por Matthew Lane, especial para CNN*

Ya sea que estés tratando de tomar las mejores decisiones para tu liga de los sueños de beisbol, buscando sacar provecho de una oportunidad en un mercado bursátil fluctuante o simplemente filtrando los resultados de una búsqueda en Google, es difícil negar que estamos rodeados por mas datos que nunca.

Como tal, la tarea de organizar y sacar conclusiones de datos puede ser un reto, pero afortunadamente las matemáticas pueden, en muchos casos, ponerse a la altura.

La aplicación de las matemáticas a dicho consorcio de datos rápidamente creciente, sin embargo, no está exenta de controversia. Por ejemplo, en febrero The New York Times publicó una investigación escrita por Charles Duhigg sobre el valor de los datos del cliente para las grandes corporaciones, y cómo esas corporaciones pueden usar tus datos en una forma instintivamente espeluznante. La empresa en la que se enfoca es Target y su deseo de identificar a mujeres embarazadas basándose en sus hábitos de compra.

Target pudo haber tenido éxito en su meta. Como escribe Duhigg, el embarazo de una cliente adolescente en Minneapolis, Estados Unidos, fue descubierto porque le llegaron cupones a su casa. Su padre estaba molesto justificadamente al ver que Target ofrecía a su hija menor de edad descuentos en pañales y cunas, aunque quizá estuvo más molesto cuando descubrió que Target conocía más sobre la vida personal de su hija de lo que él sabía.

¿Cómo es posible para Target (o cualquier empresa, para el caso) sacar conclusiones tan precisas sobre sus clientes de su comportamiento al comprar? Duhigg hace mención de que Target está haciendo alguna especie de magia matemática para asignar a cada cliente mujer una "puntuación de embarazo. En esencia, lo que estamos buscando es una forma de asignar una probabilidad a un resultado (por ejemplo, el embarazo) que es flexible, y puede cambiar a medida que conocemos más información (por ejemplo, hábitos de compras). Una forma de hacer esto es aplicar el Teorema de Bayes, un resultado poderoso que nos permite modificar la probabilidad de algunas hipótesis a medida que obtenemos más información.

Consideremos el teorema en el contexto de Target y el embarazo. Supón que Target conoce que en cualquier momento dado, aproximadamente el 2% de sus compradoras mujeres están embarazadas. Cierto producto, quizá es un tipo de loción, es particularmente popular entre las mujeres embarazadas. Este conocimiento está basado en el análisis del comportamiento pasado de los clientes. Target sabe que 8 de cada 100 mujeres embarazadas comprarán esta loción, mientras que sólo una de cada 100 mujeres que no están embarazadas la comprará. Si eres una mujer que compra esta loción, entonces esencialmente estás aumentando la posibilidad de que estés embarazada a los ojos de Target.

El Teorema de Bayes nos dice cómo computar explícitamente la probabilidad de que una mujer esté embarazada si compra ese producto, considerando el radio del número de mujeres que están embarazadas y compran la loción, y el número de mujeres que simplemente compran la loción (independientemente de que pueda estar embarazada).

Con las cifras presentadas en la parte superior, la posibilidad de que una mujer que compra la loción esté embarazada aumenta de un 2% a sólo un poco más de 14%; eso es un aumento de siete veces en la posibilidad, ¡y sólo de la compra de un solo producto! Aunque 14% no es un porcentaje particularmente alto, cuando estas probabilidades se combinan entre docenas de compras diferentes, de repente parece mucho más razonable que una tienda minorista pueda inferir con precisión acerca de un cliente con base en su historial de compras.

Desde un punto de vista matemático, el ejemplo de arriba no es diferente del de una mujer que se hace una prueba de embarazo. Comprar la loción es lo mismo qu

# data[].attributes.attachment_link.title
¿Cómo se entera una tienda antes que tus padres de que estás embarazada? | CNN

# data[].attributes.attachment_link.description
Por Matthew Lane, especial para CNN* Ya sea que estés tratando de tomar las mejores decisiones para tu liga de los sueños de beisbol, buscando sacar provecho de una oportunidad en un mercado bursátil fluctuante o simplemente filtrando los resultados de una búsqueda en Google, es difícil negar que estamos rodeados por mas datos que

# data[].attributes.body
El artículo que elegí está en inglés, pero trata un tema que me parece muy interesante: el uso de la inteligencia artificial en la selección de empleados. Este artículo representa perfectamente uno de los puntos que trae a colación Gómez Barrera, ya que destaca cómo los algoritmos utilizados en los procesos de contratación pueden tener sesgos que afectan la equidad y la inclusión, lo que se alinea con la crítica de Gómez sobre la falta de neutralidad en los sistemas algorítmicos. Ambos textos evidencian que, lejos de ser objetivos, estos sistemas perpetúan desigualdades y pueden resultar en una discriminación a grupos marginalizados.

¿Qué relaciones podés establecer entre el texto de Gómez Barrera y el artículo que seleccionaste?

Tanto el texto de Gómez Barrera como el artículo abordan el tema de cómo los algoritmos y la tecnología pueden ser sesgados y, por ende, injustos. Ambos enfatizan que estos sistemas no son neutrales y que pueden perpetuar desigualdades sociales.

¿Qué aspectos que aborda el texto se pueden rastrear en el artículo seleccionado? Justificar citando algún fragmento del texto.

En el texto de Gómez Barrera, se menciona dos cosas que quiero relacionar con mi articulo:

1. "Los algoritmos, lejos de tener un carácter neutral y objetivo, tienen una fuerte base en su funcionamiento de sesgos sexistas, racistas o falsas nociones de meritocracia"

Esto se refleja en el artículo, ya que se menciona que muchos candidatos son rechazados injustamente debido a sesgos en los sistemas de selección. Por ejemplo, se relata el caso de un usuario, que luego de ser rechazado para el puesto, volvió a subir su CV con su su fecha de nacimiento modificada, para parecer más joven. Con este simple cambio, consiguió una entrevista. Además, se presenta otro ejemplo donde un sistema de selección de CVs favorecía a aquellos que mencionaban "baseball" o "basket" (hobbies que estaban asociados a los empleados exitosos, que en su mayoría eran hombres) mientras que aquellos que mencionaban "softball" (generalmente mujeres) eran penalizados.

Aunque la industria sostiene que la IA proporcionará una visión objetiva y neutral de los datos, la realidad es que los algoritmos de selección pueden encontrar correlaciones indeseadas, las cuales suelen resultar en decisiones injustas y discriminatorias.

2. Los artefactos algorítmicos se han vuelto cada vez más normativos”

Como detalla el articulo, las desarrolladoras de software de estas IAs están lanzando productos subdesarrollados e incluso defectuosos al mercado para aprovechar la demanda. Las empresas también se suman al "boom" de la inteligencia artificial, confiando en todas sus "ventajas", lo que facilita la presencia de este software en todos lados. Por supuesto, y como ha resultado evidente, la rápida adopción de la IA sin un análisis crítico conlleva consecuencias negativas, ya que muchas veces se ignoran los sesgos inherentes a estos sistemas.

# data[].attributes.attachment_link.readable_text
AI screening technology, such as one-way video interviews, can leave some highly qualified candidates without the interviews they deserve (Credit: Alamy)

As firms increasingly rely on artificial intelligence-driven hiring platforms, many highly qualified candidates are finding themselves on the cutting room floor.

Body-language analysis. Vocal assessments. Gamified tests. CV scanners. These are some of the tools companies use to screen candidates with artificial intelligence recruiting software. Job applicants face these machine prompts - and AI decides whether they are a good match or fall short.

Businesses are increasingly relying on them. A late-2023 IBM survey of more than 8,500 global IT professionals showed 42% of companies were using AI screening "to improve recruiting and human resources". Another 40% of respondents were considering integrating the technology.

Many leaders across the corporate world hoped AI recruiting tech would end biases in the hiring process. Yet in some cases, the opposite is happening. Some experts say these tools are inaccurately screening some of the most qualified job applicants - and concerns are growing the software may be excising the best candidates.

"We haven't seen a whole lot of evidence that there's no bias here... or that the tool picks out the most qualified candidates," says Hilke Schellmann, US-based author of the Algorithm: How AI Can Hijack Your Career and Steal Your Future, and an assistant professor of journalism at New York University. She believes the biggest risk such software poses to jobs is not machines taking workers' positions, as is often feared - but rather preventing them from getting a role at all.

Some qualified job candidates have already found themselves at odds with these hiring platforms.

In one high-profile case in 2020, UK-based make-up artist Anthea Mairoudhiou said her company told her to re-apply for her role after being furloughed during the pandemic. She was evaluated both based on past performance and via an AI-screening programme, HireVue. She says she ranked well in the skills evaluation - but after the AI tool scored her body language poorly, she was out of a job for good. ( HireVue, the firm in question, removed its facial analysis function in 202 1.) Other workers have filed complaints against similar platforms, says Schellmann.

Many selection algorithms are trained on one type of employee - which means candidates with different backgrounds or credentials may be filtered out (Credit: Alamy)

She adds job candidates rarely ever know if these tools are the sole reason companies reject them - by and large, the software doesn't tell users how they've been evaluated. Yet she says there are many glaring examples of systemic flaws.

In one case, one user who'd been screened out submitted the same application but tweaked the birthdate to make themselves younger. With this change, they landed an interview. At another company, an AI resume screener had been trained on CVs of employees already at the firm, giving people extra marks if they listed "baseball" or "basketball" - hobbies that were linked to more successful staff, often men. Those who mentioned "softball" - typically women - were downgraded.

Marginalised groups often "fall through the cracks, because they have different hobbies, they went to different schools", says Schellmann.

In some cases, biased selection criteria is clear - like ageism or sexism - but in others, it is opaque. In her research, Schellmann applied to a call centre job, to be screened by AI. Then, she logged in from the employer's side. She'd received a high rating in the interview, despite speaking nonsense German when she was supposed to be speaking English, but received a poor rating for her actual relevant credentials on her LinkedIn profile.

She worries the negative effects will spread as the technology does. "One biased human hiring manager can harm a lot of people in a year, and that's not great," she says. "But an algorithm that is maybe used in all incoming applications at a large company... that could harm hundreds of thousands of applicants."

'No-one knows exactly where the harm is'

"The problem [is] no-one knows exactly where the harm is," she explains. And, given that companies have saved money by replacing human HR staff with AI - which can process piles of resumes in a fraction of the time - she believes firms may have little motivation to interrogate kinks in the machine.

One biased human hiring manager can harm a lot of people in a year, and that's not great. But an algorithm that is maybe used in all incoming applications at a large company... that could harm hundreds of thousands of applicants - Hilke Schellman

From her research, Schellmann is also concerned screening-software companies are "rushing" underdeveloped, even flawed products to market to cash in on demand. "Vendors are not going to come out publicly and say our tool didn't work, or it was harmful to people", and companies who have used them remain "afraid that there's going to be a gigantic class action lawsuit against them".

It's important to get this tech right, says Sandra Wachter, professor of technology and regulation at the University of Oxford's Internet Institute.

"Having AI that is unbiased and fair is not only the ethical and legally necessary thing to do, it is also something that makes a company more profitable," she says. "There is a very clear opportunity to allow AI to be applied in a way so it makes fairer, and more equitable decisions that are based on merit and that also increase the bottom line of a company."

Wachter is working to help companies identify bias through the co-creation of the Conditional Demographic Disparity test, a publicly available tool which "acts as an alarm system that notifies you if your algorithm is biased. It then gives you the opportunity to figure out which [hiring] decision criteria cause this inequality and allows you to make adjustments to make your system fairer and more accurate", she says. Since its development in 2020, Amazon and IBM are among the businesses that have implemented it.

Schellmann, meanwhile, is calling for industry-wide "guardrails and regulation" from governments or non-profits to ensure current problems do not persist. If there is no intervention now, she fears AI could make the workplace of the future more unequal than before.

# data[].attributes.attachment_link.title
AI hiring tools may be filtering out the best job applicants

# data[].attributes.attachment_link.description
As firms increasingly rely on artificial intelligence-driven hiring platforms, many highly qualified candidates are finding themselves on the cutting room floor.