El autor aborda la segmentación, sesgo y normas sociales en la programación de algoritmos, destacando la importancia de considerar los aspectos sociales y políticos en el desarrollo de IA.

Artículo seleccionado: "La inteligencia artificial puede perpetuar la discriminación racial y de género" (BBC News)

Algunas relaciones entre el texto y el artículo son:

1. Sesgo algorítmico: El artículo destaca cómo la IA puede perpetuar la discriminación racial y de género debido a datos sesgados.

2. Gubernamentalidad algorítmica: El texto de Gómez Barrera analiza cómo los algoritmos pueden controlar y influir en la sociedad, lo que se refleja en el artículo al discutir la responsabilidad de los desarrolladores de IA.

Aspectos destacados del texto de Gómez Barrera: "Los algoritmos no son neutrales, sino que reflejan las normas sociales y políticas de quienes los diseñan".

"La gubernamentalidad algorítmica se refiere a la capacidad de los algoritmos para gobernar y controlar la sociedad" (Gómez Barrera, 2020).

En conclusión, es crucial considerar los aspectos sociales y éticos en el desarrollo de IA para evitar la perpetuación de la discriminación y asegurar una gobernanza responsable de los algoritmos.

En el estudio de Amnistía Internacional, en particular, se revela que las comunidades negras y latinas en Nueva York enfrentan mayores niveles de vigilancia, y que las cámaras con reconocimiento facial están estratégicamente ubicadas en áreas con predominancia de estos grupos, lo cual convierte a esta tecnología en una “táctica de control” hacia poblaciones específicas, vulnerando sus derechos y afectando su libertad​. Gómez Barrera describe esta “gubernamentalidad algorítmica” como una forma de regulación social que toma decisiones automáticas basadas en estereotipos y patrones de datos que tienden a perpetuar prácticas discriminatorias.

Enlace al artículo: www.amnesty.org/es/latest/news/2022/02/usa-facial-recognition-technology-reinforcing-racist-stop-and-frisk-policing-in-new-york-new-research/

Los dos coinciden en que el sesgo y la discriminación racial y económica son introducidos por los algoritmos como una nueva posibilidad de control.

En el caso de Barrera, él plantea que se regule en un marco normativo la protección de la privacidad de los individuos, así como también poder controlar que no haya mal uso de los algoritmos y Rodríguez propone que se regule en un marco legal y educativo para garantizar la eficiencia en el buen uso. Es notable que en los dos textos hay una clara inquietud por el impacto que estos nuevos sistemas están ejerciendo continuamente en la sociedad y se ve reflejado en las tomas de decisiones en el día a día.

Mientras en Gómez Barrera leemos que “los programadores aplican segmentación y sesgo... transmitiendo valores sociales arraigados”, el artículo de Apolitical argumenta que no es la data la que discrimina, sino quienes la usan y cómo la interpretan.

Conclusión: Al analizar ambos textos, observo que la discriminación en Big Data es compleja y multifacética, ya que puede surgir en distintos puntos: en el diseño del algoritmo, en las políticas que lo regulan y en la interpretación del usuario. Aunque Big Data tiene beneficios, abordar y corregir las problemáticas éticas es clave para el avance en esta ciencia.

Esto lo relaciono con el texto de Gomez Barrera cuando en la página 4 habla de la extracción y análisis de datos. En dicha parte del artículo menciona que Rouvroy y Berns indican que la recolección de datos no se da de manera que se pueda verificar o establecer siquiera, la veracidad de las fuentes de extracción. Esto quiere decir que un dato perseguido por esos sistemas es recolectado sin determinar o establecer los contextos o las intenciones de almacenamiento originales. En otras palabras, estos datos son almacenados de tal manera que los usos que les dan los usuarios, que pueden ser múltiples en un momento dado, no son tenidos en cuenta. Como conclusión destaco la importancia de la selección de datos ya que al ser el alimento de nuestros algoritmos no sólo debemos saber que datos seleccionar sino también ser lo más objetivo posible para no cargar de sesgos nuestros resultados.

Mi preocupación se encuentra en torno a que todo lo que es producido por un algoritmo se toma como objetivo y la verdad absoluta universal, siendo esto erroneo ya que el resultado de los algoritmos hereda intereses subjetivos, y están determinados por ciertos contextos que no son universales, como en este caso "El problema, admite Rothe, es que todos los datos eran de usuarios suizos, mientras que la página web está disponible para uso global." Aquí ya se ve que hay una determinación en la propia selección de los datos a procesar que es muy particular. Todo esto está intimimante relacionado al texto de Gómez Barrera ya que en estos algoritmos se ven reflejados fuertemente la segmentación en los datos recopilados, y sobre todo el sesgo y las normas sociales, ya que los valores y expectativas de la sociedad afectan la forma en que los programadores desarrollan estos algoritmos.

De este modo los algoritmos son un medio para ejercer poder y guiar conductas, de modo casi invisible pueden alterar nuestro modo de pensar y de comportarnos, por lo cual concuerdo con Noble a quien se cita en el texto de Gómez Barrera "se deben generar mecanismos de regulación en materia de derecho" así como exigir transparencia y concientizar a las masas sobre como realmente funcionan los algoritmos.

problemas relacionados con las formas en las que se recopilan esos datos y las consecuencias que conllevan en lo real, entendido como aquello sobre lo que se extrae, la construcción de perfiles y toda una serie de conocimientos y saberes a partir del cruce de los datos recolectados” (4). En primer punto, me parece interesante que el autor reduzca las aplicaciones previas de conceptos posestructuralistas sólo limitadas a la privacidad. No obstante, tras una mera revisión de la bibliografía reciente, se vuelve lógico que el principal problema se trata de la privacidad y el uso y la recolección de datos pues estos poseen un valor de mercado. Así, el problema central en las discusiones sobre el funcionamiento de la inteligencia artificial se han concentrado en el impacto de la venta de datos “privados” con fines de crear mejores perfiles de consumidor. El artículo, entonces, amplía el problema no a la parte más evidente del esquema de consumo de datos: el autor se interesa por el proceso que motiva la selección, recolección y almacenamiento de ciertos datos. Más aún, su interés principal es cuestionar cómo los algoritmos interpretan ciertos datos en función del concepto foucultiano de gobernabilidad. Ahora bien, si el problema más evidente es la interpretación, su escenario, el sitio donde cobra impacto, serían las aplicaciones de ciertas interpretaciones.

Por ello, me intereso en dos piezas. Por un lado, una breve nota de la Revista PyM, titulada “Analyzer: la IA de THT que optimizará los procesos de contratación laboral”. Por otro lado, el artículo “Los algoritmos, en la picota”, publicado en La Nación. El primero, al contrastarlo con los conceptos desarrollados por Gómez Barrera, se vuelve relevante pues se desarrolla una inteligencia artificial que puede prever el comportamiento de las personas con el objeto de maximizar las contrataciones. En otras palabras, el algoritmo recopila e interpreta información para discriminar ciertos sujetos en entornos laborales para maximizar la producción, por lo que aquellos cuyas personalidades no se adecuen a las expectativas de las empresas quedarían descartados en principio. Esta inteligencia artificial contribuiría a una mayor gobernabilidad y vigilancia, en el sentido foucultiano, al anticipar comportamientos. Más aún, obligaría a las subjetividades a desarrollarse dentro de expectativas restringidas con el objeto de que un algoritmo no los discrimine. La interpretación de la inteligencia artificial, entonces, deviene en un mecanismo para maximizar la producción: una forma de restringir la participación en instituciones económicas. Ahora bien, en el artículo publicado en La Nación se aborda el rol ético de la inteligencia artificial. Como parte de su investigación, el autor cuestiona al generador de textos respecto a su capacidad para reconocer el bien y el mal. Si ligamos esto a que la programación de algoritmos deviene en una interpretación con un impacto real en el mundo, de acuerdo con el artículo de Gómez Barrera, la perspectiva sobre la realidad de estos algoritmos no tendría un elemento ético, por lo tanto su uso devendría en maximizar la productividad y eficacia del entorno en el que se ponga en práctica el resultado de su “acomodo” y lectura de los datos recopilados. No obstante, el artículo va más allá: al citar una reciente votación en la ONU en torno a la urgencia de regular las inteligencias aritificiales, el autor hace énfasis en su rol en una nueva revolución industrial por dos motivos: primero, el uso de inteligencias artificiales llevaría los aparatos de producción y consumo a un nuevo nivel; por otro, las redes de conocimiento generadas en esta revolución marcarían el cómo entendemos y configuramos las sociedades, incluyendo el cómo discriminamos subjetividades. En este sentido, no debe olvidarse cómo las revoluciones industriales crearon mecanismos de repartición de riqueza que acrecentaron muchas veces las brechas entre clases sociales. Aunque en un tono apocalíptico José Claudio Escribano nos invita a reflexionar sobre los costes del uso de inteligencias artificiales en la construcción de nuestra actualidad. En consonancia con Gómez Barrera, nos invita a reflexionar sobre la gobernabilidad tanto al interior de los algoritmos como al exterior, pues su uso tiene un impacto real en los modos relaciónales del mundo empirico.

A manera de breve conclusión, considero que el aspecto más importante no se trata de los mecanismos para la compra y venta de datos; tampoco de sus usos. Sino que radica en la programación de algoritmos para interpretar la realidad y cómo esas interpretaciones repercuten en la configuración de realidades circundantes. Ahora, nuestras subjetividades se encuentran a merced de las lecturas sistematizadas y despersonalizadas de las inteligencias artificiales. El elemento humano para leer la vida de otros humanos se encuentra en riesgo. De ahí que haya que intervenir en los algoritmos que permiten a estas herramientas construir visiones de mundo.

Enlaces a materiales adicionales al de Gómez Barrera:

https://www.lanacion.com.ar/cultura/los-algoritmos-en-la-picota-nid12102024/

https://amp.revistapym.com.co/articulos/comunicacion/80410/analyzer-la-ia-de-tht-que-optimizara-los-procesos-de-contratacion-laboral

Un aspecto destacado en el texto es el sesgo introducido por los programadores al definir qué datos recolectar y cómo interpretarlos. Gómez Barrera afirma que “la preselección y sesgo de los datos que se consideran útiles para el procesamiento... pueden derivar fácilmente en prejuicios y sesgos sociales”. Esto resuena con las prácticas de Cambridge Analytica, que aprovechó los perfiles de usuarios para ajustar sus mensajes políticos a preferencias y vulnerabilidades específicas, reforzando ciertos puntos de vista y manipulando a las personas en función de estos datos previamente segmentados.

Por último, el autor también señala que la creación de perfiles a través de algoritmos no solo responde a una lógica comercial, sino que puede modular indirectamente el comportamiento social. Este efecto es similar al uso de datos por Cambridge Analytica, donde el análisis masivo y el perfilado permitieron influir en el comportamiento electoral de manera prácticamente imperceptible para los usuarios, ejemplificando así la capacidad de los algoritmos para moldear la realidad social.