# data[].attributes.attachment_link.readable_text
Des algorithmes déterminent ce que nous voyons, la portée de ce que nous postons et modèrent (en partie) le contenu des réseaux sociaux. Mais comment fonctionnent-il? Sur quels critères s'appuient-ils pour prendre leurs décisions?

Il est difficile de le savoir: qu'il s'agisse de Facebook (ou d'Instagram), de TikTok, de Google (ou de YouTube), les entreprises gardent jalousement leurs ingrédients secrets.

Pourtant, leur impact est majeur. Les influenceurs et influenceuses, qui gagnent leur vie grâce à leurs communautés et au nombre de personnes atteintes sur les réseaux, sont obligé·es d'inspecter à la loupe tous les indices susceptibles de leur montrer comment mieux se placer dans les résultats de recherche, ou augmenter les chances de viraliser les contenus partagés.

Processus opaque et censures en série

Jennifer Allbaugh, vice-présidente de l' Adult Performers Actors Guild (APAG), a notamment remarqué que l'algorithme d'Instagram semble plus souvent détecter les photos dénudées de personnes en surpoids que de personnes minces.

"Est-il vrai que vous utilisez des programmes pour mesurer la quantité de peau visible sur une image, puis décidez qu'il s'agit probablement de nudité?", a-t-elle demandé à une équipe d'Instagram venue discuter les possibles discriminations et biais de l'algorithme avec l'APAG.

"Nous utilisons effectivement le machine learning pour essayer d'identifier de manière proactive des contenus qui pourraient violer [nos règles] ", lui a répondu Karine Newton, l'une des cadres d'Instagram présent·es à la réunion. "Oui, on peut dire que le machine learning identifie un "pourcentage" de peau, bien que la réalité soit un peu plus nuancée et compliquée. Mais oui, nous utilisons bien [l'intelligence artificielle] pour détecter des violations possibles de nos conditions concernant la nudité."

Un signalement éventuel est ensuite laissé aux bons soins d'un être humain, qui jugera s'il vaut mieux censurer l'image ou la laisser en ligne, certains comptes pouvant être fortement touchés par des signalements répétés.

Ce processus algorithmique et humain serait opaque et biaisé selon certain·es, comme Carina Shero, une instagrameuse qui pose nue sur ses photos. "Le même contenu peut être vu sur une personne en surpoids et une personne mince, mais ce qui est considéré comme pornographique sur une personne en surpoids est permis sur une personne mince."

Dans un article de Fast Company, Jessica Richman, la fondatrice de The Visible Collective -qui vise à lancer le dialogue sur les biais et la grossophobie- ouvre la réflexion sur les conséquences d'une discrimination humano-algorithmique.

Il ne s'agit pas tant de savoir si Instagram n'aime pas les gros·ses , il s'agit de déterminer si les entreprises privées et les communautés sont ouvertes au dialogue, et peuvent travailler ensemble à diminuer les nombreux biais de la technologie, des personnes qui les créent comme de celles qui les emploient.

# data[].attributes.attachment_link.title
Les personnes en surpoids plus susceptibles d'être censurées par Instagram

# data[].attributes.attachment_link.description
L'algorithme de la plateforme signalerait davantage leurs photos dénudées que celles des personnes minces.

# data[].attributes.body
4 épisodes réalisé par les jeunes sur le sexisme, le racisme, les critères de beauté et les questions de genre !

# data[].attributes.headline
Des ressources pédagogiques pour comprendre et faire comprendre L'IA

# data[].attributes.subject
Des ressources pédagogiques pour comprendre et faire comprendre L'IA

# data[].attributes.attachment_link.title
Des ressources pédagogiques pour comprendre et faire comprendre l’IA

# data[].attributes.attachment_link.description
Pas facile d’expliquer et de faire comprendre les notions liées à l’IA. Les concepts, les algorithmes ...qui sont derrière le fonctionneme…

# data[].attributes.body
Deux histoires qui explorent les interactions sociales dans un monde d'avatars et d'intelligence artificielle

# data[].attributes.attachment_link.description
Episode · Les Pieds sur terre · durée : 00:29:40 - Les Pieds sur terre - par : Sonia Kronlund, Judith Chetrit - Deux histoires qui explorent les interactions sociales dans un monde d’avatars et d’intelligence artificielle, par Judith Chetrit. - réalisation : Emmanuel Geoffroy

# data[].attributes.body
enquêtes réalisées sur plus de 3000 jeunes en FWB

# data[].attributes.attachment_link.title
Réseaux sociaux, règles d’utilisation, intelligence artificielle : comment a évolué l’utilisation des écrans chez les jeunes ?

# data[].attributes.attachment_link.description
Comment les enfants et adolescents et adolescentes utilisent les différents écrans à leur disposition ? Une large…

# data[].attributes.attachment_link.title
Les meilleurs podcasts IA : comprendre l’intelligence artificielle en 2024

# data[].attributes.attachment_link.description
Découvrez les meilleurs podcasts IA en 2024. Ecoutez les interviews des meilleurs experts pour saisir les opportunités de l’intelligence artificielle.

# data[].attributes.attachment_link.description
DiversitY.X. 27 likes · 118 talking about this. #diversitY.X #crIAtivitY.X, c’est un projet d’EAM qui permet de déconstruire les préjugés et stéréotypes véhiculés par l’IA et les réseaux sociaux afin…

# data[].attributes.attachment_link.title
Webinaire IA en Education partie01 (27/02/24)

# data[].attributes.attachment_link.title
Webinaire  IA en éducation partie02 (27 03 24)

# data[].attributes.attachment_link.description
Centre de ressources en communication, éducation aux médias, agence de communication en Communauté Française de Belgique.

# data[].attributes.attachment_link.readable_text
Des ateliers et des formations sur mesure pour décrypter les médias ''web, réseaux sociaux, jeux vidéo, cinéma, publicité, presse/info, photo, etc.'' ou comment développer son esprit critique et sa curiosité en toute créativité!

# data[].attributes.attachment_link.title
Action Médias Jeunes - ateliers d'éducation aux médias en FWB

# data[].attributes.attachment_link.description
Des ateliers d'éducation aux médias sur mesure pour décrypter les médias d'aujourd'hui: web, réseaux sociaux, jeux vidéo, cinéma, pub, presse/info, photos..

# data[].attributes.attachment_link.readable_text
Il est temps de valider ton premier Haut Fait !
Quand tu t'équipes de ta manette, de ton clavier ou de ton smartphone pour jouer, beaucoup d'éléments te font sentir que tu n'es pas la bienvenue en tant que femme*.

Envie de réagir ?

Envie d'en savoir plus sur les origines du mal ?

Mais que font les WitchGamez ?

Comme tu l'as compris, on a décidé d'en rire mais notre objectif est clair : visibiliser et sensibiliser au sexisme vécu dans la pratique du jeu vidéo.

En partageant ces vécus, et en validant ces Hauts Faits, c'est bien plus qu'une petite case que tu remplis. Tu apportes ta pierre à l'édifice en nous aidant à nous renforcer toutes ; et cela va au-delà de la solidarité puisqu'on essaie de faire bouger les lignes au niveau juridique, politique et social.

En savoir plus

Elle, c'est
BossyWitch !

Caractéristiques : chipie (10/10), PGM (10/10), salée (10/10), trop mimi (200/10)

Objectifs : KCDQ et t'accompagner sur ce site (parce qu'elle est aussi une super copine!)

Capacités : Coup de bouclier, Taunt, récolte des larmes des haters

Ce n'est pas tout, lis la suite ici :)

Le chaudron de BossyWitch

Tous les ingrédients dont tu as besoin pour contrer le sexisme

Les cookies sur notre site

WitchGamez aimerait bien te proposer quelques cookies, mais rien d'indigeste, on ne voudrait pas que tu sois malade. Dans le tas, il y en a un qu'on te donne d'office, les autres on les garde tant que tu ne nous a pas donné ton accord.

En savoir plus

# data[].attributes.attachment_link.description
Il est temps de valider ton premier Haut Fait ! Quand tu t'équipes de ta manette, de ton clavier ou de ton smartphone pour jouer, beaucoup d'éléments te font sentir que tu n'es pas la bienvenue en tant que femme*. Envie d'en savoir plus sur les origines du mal ?

# data[].attributes.attachment_link.title
Créacamp et IA : la boite à outils ! - Digipad by La Digitale

# data[].attributes.attachment_link.description
Une application en ligne pour créer des murs multimédias collaboratifs proposée par La Digitale

# data[].attributes.attachment_link.readable_text
L'IA n'est pas parfaite. Cela pourra paraître choquant - ou évident, mais son utilisation et sa conception reposent sur des failles importantes. Et pourtant, les phénomènes baptisés biais algorithmiques ne sont pas intentionnels dans la plupart des cas. Ils résultent plutôt d'une combinaison de facteurs complexes liés au traitement des données, à la conception et à l'utilisation des algorithmes.

Mais, avant tout, un biais algorithmique, qu'est-ce que c'est ? " Les algorithmes sont conçus par des humains et à partir de données reflétant des pratiques humaines , détaille , en partenariat avec la CNIL. un rapport du Défenseur des Droits Ce faisant, des biais peuvent être ainsi intégrés à toutes les étapes de l'élaboration et du déploiement des systèmes : dès l'intention qui préside à l'élaboration de l'algorithme en amont, pendant la réalisation du code informatique, celle du code exécutable, celle de l'exécution, celle du contexte d'exécution et celle de la maintenance ."

La neutralité est une chimère...

Les IA utilisant le machine learning sont entraînées sur des ensembles de données existants. Si ces données contiennent des biais, des inégalités ou des discriminations présentes dans la société, l'algorithme apprendra alors à reproduire ces biais. Les données reflèteront donc des préjugés sociaux, des déséquilibres de représentation ou des stéréotypes. Même si l'algorithme traite les données de manière objective, il peut reproduire les biais inhérents aux données sur lesquelles il a été formé.

Les concepteurs et les utilisateurs d'un algorithme peuvent introduire des biais à différents niveaux, comme le montre l'expérience ratée de Microsoft avec son agent conversationnel Tay, qui a dû être débranchée de Twitter en seulement 24 heures. Mais Amazon en a aussi fait les frais avec son algorithme de pré-tri des candidatures, entre 2014 et 2018. La machine, qui devait faciliter le travail du département des ressources humaines, s'est mise à écarter automatiquement les profils féminins. Après quatre ans de développement et de correction, l e modèle algorithmique a été abandonné.

... Vers laquelle il faut tendre

Contrairement aux biais cognitifs, qui n'affectent que les individus, les biais algorithmiques sont intégrés à des processus d'automatisation. S'ils ne sont pas détectés, ils peuvent ainsi se retrouver dans des boucles et systématiser les discriminations. Le Conseil de l'Europealerte justement sur ces systèmes qui peuvent " renforcer les discriminations en leur donnant une apparence d'objectivité. "

Pour éviter la reproduction invisible et automatique des discriminations, des mesures déjà détaillées par la CNIL et le Défenseur des Droits peuvent être mises en place.

1. La première est de sensibiliser et former les professionnels de la Tech aux enjeux de l'inclusion numérique.

2. Il faut ensuite soutenir la recherche de nouvelles solutions pour mesurer l'impact des biais algorithmiques, autant pour les développeurs que les économistes et les juristes.

3. Enfin, il est essentiel d'approfondir le cadre légal du RGPD en obligeant les développeurs à fournir les clefs de compréhension de leurs algorithmes. Car l'opacité des processus empêche la transparence des résultats.

Si, comme l'humain qui l'a créé, l'algorithme ne sera jamais neutre, de nombreuses mesures peuvent être mises en place pour aider les professionnels autant que les utilisateurs à adopter un regard avisé à l'égard des intelligences artificielles.

L'IA génératrice de discriminations ?

Le développement des IA génératives illustre bien malgré lui l'enjeu des biais algorithmiques. En effet, de nombreux exemples émergent sur internet. À l'occasion de la journée internationale des droits des femmes du 8 mars 2023, le mouvement #JamaisSansElles a lancé la campagne " L'intelligence artificielle entretient des stéréotypes bien réels " réalisée par l'agence Havas Paris.

© Havas Paris / Presse

Cette image réalisée par Midjourney avec un prompt simple montre bien l'étendue des clichés véhiculés par les IA. D'autant plus que les mots anglais "CEO" et "secretary" sont non genrés. Et pourtant, le panel des représentations est très limité, puisqu'il n'y a ni parité ni diversité. En attendant le développement de nouvelles solutions, la vigilance est donc de mise.

À la Wild Code School, nous sensibilisons aussi nos étudiants aux nouveaux enjeux de la tech. Que ce soit avec nos formations de Développeurs Web , Product Designers ou encore nos carrières dans la Data , nous œuvrons au développement d'un numérique plus juste et équitable. Alors, si vous souhaitez en savoir plus, n'hésitez pas à candidater ou vous inscrire à l'une de nos infos sessions .

# data[].attributes.attachment_link.authors[].name
CALVIN ROPERS - Journaliste contributeur

# data[].attributes.attachment_link.title
Biais algorithmique : quand l'IA est un frein à l'inclusion numérique

# data[].attributes.attachment_link.description
Matrix avait raison, le code est partout. Il ne concerne pas seulement quelques programmes informatiques, il se retrouve dans tous les compartiments de notre société et de nos vies. Mais à l'heure du machine learning et de l'accélération du développement de l'intelligence artificielle, que risque-t-on à laisser l'IA sans surveillance ?

# data[].attributes.attachment_link.title
Gemini génère des images de nazis noirs, Google panique

# data[].attributes.attachment_link.description
Gemini, l’intelligence artificielle de Google, a produit des images de soldats nazis noirs, et d’autres incohérences historiques. Accusé par des influenceurs d’extrême droite de vouloir faire disparaitre les hommes blancs, Google a bloqué la génération d’images de personnes sur Gemini de manière temporaire. Des

# data[].attributes.attachment_link.title
Proposition de cadre réglementaire sur l’intelligence artificielle

# data[].attributes.attachment_link.description
La Commission propose le tout premier cadre juridique sur l’IA, qui traite des risques liés à l’IA et positionne l’Europe pour qu’elle joue un rôle de premier plan à l’échelle mondiale.

# data[].attributes.attachment_link.readable_text
ItCounts s'est fait labellisé par la campagne ministérielle : " Sexisme ? Pas mon genre ! " initiée par le Ministère de l'Enfance, des Familles et des Droits des Femmes.

Désormais, vous verrez ce label partout où nous irons :

pour indiquer notre engagement pour faire reculer le sexisme et les stéréotypes de genre, et pour promouvoir l'égalité entre les femmes et les hommes dans la science.

Le plan d'action contre le sexisme : " Sexisme? Pas mon genre! " invite chaque citoyen à agir et à réagir en proposant des initiatives qui font reculer le sexisme. Le Ministère souhaite ainsi encourager tous les citoyens à rapporter leurs expériences de sexisme " ordinaires " et à se mobiliser pour les droits des femmes.

Cette campagne est un catalyseur pour l'action publique : elle pousse tout le monde à s'engager dans la mobilisation pour faire de l'égalité femme-homme une réalité!

Because #ItCounts !

http://www.gratisography.com/#people

# data[].attributes.attachment_link.description
ItCounts s'est fait labellisé par la campagne ministérielle : " Sexisme ? Pas mon genre ! " initiée par le Ministère de l'Enfance, des Familles et des Droits des Femmes. Désormais, vous verrez ce label partout où nous irons : pour indiquer notre engagement pour faire reculer le sexisme et les stéréotypes de genre, et pour promouvoir l'égalité entre les femmes et les hommes dans la science.

# data[].attributes.attachment_link.title
Noémie de Lattre nous parle de la langue française

# data[].attributes.attachment_link.title
Unia : pour l’égalité, contre la discrimination | Unia

# data[].attributes.attachment_link.description
Unia est un service public indépendant de lutte contre la discrimination et de promotion de l’égalité des chances.

# data[].attributes.attachment_link.description
Depuis 2006, Média Animation a reçu plus de 1000 courts métrages qui répondent à l’invitation de participer à un concours d’expression et de (…)

# data[].attributes.attachment_link.description
Inkscape est un logiciel professionnel de dessin vectoriel pour Windows, Mac OS X et GNU/Linux. Il est libre et gratuit.

# data[].attributes.attachment_link.title
Logiciel de Storyboard Gratuit – Créateur de Storyboard en Ligne

# data[].attributes.attachment_link.description
Storyboard That : Créez facilement des storyboards en ligne ! Idéal pour les cinéastes, les enseignants et les étudiants. Créez des storyboards et des bandes dessinées avec Storyboard That dès aujourd’hui !

# data[].attributes.body
Logiciel gratuit pour réaliser ses podcasts

# data[].attributes.attachment_link.title
Audacity ® | Free Audio editor, recorder, music making and more!

# data[].attributes.attachment_link.description
Audacity is the world’s most popular audio editing and recording app. Edit, mix, and enhance your audio tracks with the power of Audacity. Download now!

# data[].attributes.attachment_link.description
Can a neural network learn to recognize doodles? See how well it does with your drawings and help teach it, just by playing.

# data[].attributes.attachment_link.readable_text
Over 15 million players have contributed millions of drawings playing Quick, Draw! These doodles are a unique data set that can help developers train new neural networks, help researchers see patterns in how people around the world draw, and help artists create things we haven't begun to think of. That's why we're open-sourcing them, for anyone to play with. Select a drawing

# data[].attributes.attachment_link.description
What would you do with 50,000,000 drawings made by real people on the internet?

# data[].attributes.attachment_link.description
Which Face Is Real has been developed by Jevin West and Carl Bergstrom at the University of Washington as part of the Calling Bullshit project. All images are either computer-generated from thispersondoesnotexist.com using the StyleGAN software, or real photographs from the FFHQ dataset of Creative Commons and public domain images.

# data[].attributes.attachment_link.title
TOUT COMPRENDRE À L'IA - Dossier #33 - L'Esprit Sorcier

# data[].attributes.attachment_link.title
Akinator, le génie qui devine à qui tu penses

# data[].attributes.attachment_link.description
Akinator peut lire dans ton esprit et te dire à qui tu penses. Pense à un personnage réel ou fictif, réponds aux questions et Akinator tentera de le deviner. Oseras-tu défier la magie du Génie ?

# data[].attributes.attachment_link.readable_text
ENTRAÎNEMENT IA

Entraînez et expérimentez des modèles d'IA, et visualisez des zones d'interaction qui permettent à l'IA de prendre sa décision.

RÉSEAU DE NEURONES

Explorez la structure et le fonctionnement du réseau de neurones des modèles entraînés pour " ouvrir la boîte noire ",

COMPATIBLE

Utilisez vos modèles sur deux interfaces de programmation : Adacraft (dérivé de Scratch) et Python.

Accéder à toutes les vidéos

L'interface d'IA de Vittascience a été réalisée grâce au soutien du dispositif Édu-up

Ce dispositif, piloté par le Ministère de l'Éducation Nationale, soutient la production de ressources numériques innovantes et adaptées.
En savoir plus

# data[].attributes.attachment_link.description
L'interface entraînement IA permet l'initiation à l'intelligence artificielle.

# data[].attributes.attachment_link.readable_text
Sources

Language Use

This project purposefully avoids using the word "Artificial Intelligence", since there is nothing intelligent about these systems. I prefer to use the terms "machine learning" or "statistics on steroids", but I've settled on algorithms here.

Machine Learning models

Almost all the machine learning models used were downloaded "pre-trained" from open source projects I found on Github. This was done to make a point: we often say we should improve biased and/or error-prone machine learning models, but the reality is that most organisations don't train their own models. Instead, they use third parties that supply machine learning services, and it's in the interest of these parties to keep their systems as generic and "one size fits all" as possible. And then you have the parties who just implement whatever they can get their hands on, and hope nobody asks difficult questions.

The beauty scoring model was found on Github ( this or this one). The models to predict age, gender and facial expression/emotion are part of FaceApiJS, which forms the backbone of this project. Do note that its developer doesn't fully divulge on which photos the models were trained. Also, FaceApiJS is bad at detecting " Asian guys".

I actually trained the BMI prediction algorithm myself because I couldn't find any existing models that were small enough to use online. I downloaded all the BMI prediction projects I could find on Github, and was astonished to find some of them came with vast troves of photographs. I felt firty using them, but also felt that revealing what was going on was more important. I've documented some of the dodgy things I discovered along the way in this blogpost.

Videos, screenshots and other visual material

The videos were mainly constructed out of public domain source material from pexels.com and Pixabay.com. To the photographers who so kindly shared their work: thank you all for your wonderful generosity!

Other direct sources were used under the artistic, journalistic and educational copyright exception.

Specific sources

Attractiveness

TikTok (front page, recorded with a screen recorder). Their practise of showing content from beautiful people is explained here. While I couldn't confirm if TikTok does this algorithmically, Tinder actually has been on the record about this practice.

This academic research was the source of the beauty judgement interface. Another source was the SCUT-FCB dataset.

Age

Innovatrix offers surveillance systems that analyse the demographics of store visitors. The picture was downloaded form their website.

Tinder (front page, screenshot).

Gender

Check out This article if you want to understand why an algorithm that tries to sort people into just two categories can upset some people.

Body Mass Index (BMI)

The BMI prediction project that was created by researchers who work at Google can be found here (not anymore, they deleted it!). Although all signs point to this project being a part of Google's practise, I sent an email to the makers to verify this, and got a quick response that it was a personal project. I then changed the video to say "researchers who work at Google" intead of "Google's health lab in India".

For more juicy details I refer you to the in-depth blogpost mentioned earlier.

Life expectancy

There are a lof of projects on Github that explore this idea, some of them as part of (Kaggle) contests set-up by the insurance industry. After exploring how these worked, I created my own wishy-washy implementation. There is no machine learning involved here, it's just a lookup in a table of life expectancies per country, the average BMI in that country, and then a calculation on how BMI might affect that. There is very little merit in this calculation, but then again that doesn't seem to be a requirement for calling yourself a data scientist.

Closer / Face print

Deepcamai.com is no longer online, perhaps it was removed after the scandal around Rite Aid. It can still be found using the Internet Archive's wayback machine. The Chinese parent company Deepcam has a Chinese website. There is also an Australian website. Wait, it turns out the USA company has rebranded itself to PDActive. The website is virtually identical to the old deepcamai.com website.

The visual effect that shows how the video feed is first turned into a mathematical representation based on contrast is built using HOG descriptor. The code was modified to work in the browser.

Emotions

Surfing behaviour

Visual Website Optimizer - Video source

HotJar. Learn more about the screen recording feature here.

Mouse movement was recorded using a small script called Wix client recorder (MIT license). As always, this runs in your own browser - the recording never leaves your computer, and will be gone as soon as you close the browser window.

Tip: you can protect yourself from these practices by installing browser addons such as uBlock Origin and uMatrix. Also check out Privacy Badger, HTTPS Everywhere, and Decentraleyes.

Conclusion

Jon Penney researched how Wikipedia was used after the Snowden revelations, and noticed that pages about sensitive topics such as terrorism were visited less. Later research strengthened the notion that this was caused by self-censorship.

You may also enjoy the follow-up game I made: AreYouYou.eu.

EU funded

This project has received funding from the European Union's Horizon 2020 research and innovation programme, under grant agreement No 786641.

# data[].attributes.attachment_link.description
In this test face detection algorithms will determine how normal you are. 100% privacy friendly.

# data[].attributes.attachment_link.title
Hugging Face - The AI community building the future.

# data[].attributes.attachment_link.description
We're on a journey to advance and democratize artificial intelligence through open source and open science.

# data[].attributes.attachment_link.title
Les algorithmes sur les réseaux sociaux, comment ça fonctionne ?? 🧐

# data[].attributes.attachment_link.readable_text
Un ventre ultra-plat, une poitrine généreuse, des jambes de 10km et des cheveux blonds soyeux : tel est le physique " parfait " de Deanna Ritter, influenceuse virtuelle suivie par 481 000 abonnés. Créé de toutes pièces, cet avatar hypersexualisé participe ce vendredi 10 mai au premier concours Miss IA, qui vise à élire " la plus belle femme virtuelle " générée par IA. Comme elle, ses concurrentes seront soumises à plusieurs critères de sélection, tels que la beauté, l'intelligence (avec un questionnaire auquel sera chargé de répondre chaque candidate), la technologie (le réalisme du rendu), ou encore la popularité sur les réseaux sociaux...

Ce contenu est bloqué car vous n'avez pas accepté les cookies et autres traceurs. Ce contenu est fourni par Instagram.
Pour pouvoir le visualiser, vous devez accepter l'usage étant opéré par Instagram avec vos données qui pourront être utilisées pour les finalités suivantes : vous permettre de visualiser et de partager des contenus avec des médias sociaux, favoriser le développement et l'amélioration des produits d'Humanoid et de ses partenaires, vous afficher des publicités personnalisées par rapport à votre profil et activité, vous définir un profil publicitaire personnalisé, mesurer la performance des publicités et du contenu de ce site et mesurer l'audience de ce site (en savoir plus)

En cliquant sur " J'accepte tout ", vous consentez aux finalités susmentionnées pour l'ensemble des cookies et autres traceurs déposés par Humanoid et ses partenaires.

Vous gardez la possibilité de retirer votre consentement à tout moment. Pour plus d'informations, nous vous invitons à prendre connaissance de notre Politique cookies.

Gérer mes choix

Exacerber des injonctions esthétiques excluantes, sexistes et inatteignables

Sur la toile, le concours de Miss fait grincer des dents. Déjà, parce qu'il promeut une définition de la beauté et de la féminité très étriquée. Les candidates incarnent, dans l'écrasante majorité, un idéal de beauté occidental, avec leur peau blanche, leur silhouette fine, et leurs cheveux lisses. " Les moteurs d'IA se nourrissent d'images déjà existantes, ils vont donc recopier les a priori et les clichés déjà présents de ce que doit être une miss. Vous verrez donc souvent des blondes à forte poitrine, au corps rachitique et aux jambes démesurément longues dans ce concours " analyse Florence Sèdes, professeure en informatique à l'Université Toulouse 3 Paul Sabatier-Science des données pour nos confrères de .

Ce contenu est bloqué car vous n'avez pas accepté les cookies et autres traceurs. Ce contenu est fourni par Instagram.
Pour pouvoir le visualiser, vous devez accepter l'usage étant opéré par Instagram avec vos données qui pourront être utilisées pour les finalités suivantes : vous permettre de visualiser et de partager des contenus avec des médias sociaux, favoriser le développement et l'amélioration des produits d'Humanoid et de ses partenaires, vous afficher des publicités personnalisées par rapport à votre profil et activité, vous définir un profil publicitaire personnalisé, mesurer la performance des publicités et du contenu de ce site et mesurer l'audience de ce site (en savoir plus)

En cliquant sur " J'accepte tout ", vous consentez aux finalités susmentionnées pour l'ensemble des cookies et autres traceurs déposés par Humanoid et ses partenaires.

Vous gardez la possibilité de retirer votre consentement à tout moment. Pour plus d'informations, nous vous invitons à prendre connaissance de notre Politique cookies.

Gérer mes choix

C'est une vision de la beauté non seulement excluante - entre autre parce qu'elle est grossophobe et profondément raciste -, mais aussi inatteignable, et donc possiblement source de complexes. Alors que dans le monde réel, l'institution archaïque des Miss semblait doucement s'ouvrir au progrès, avec l'élection en décembre dernier dans l'hexagone d'une Miss aux cheveux courts, une première dans l'histoire du concours, côté numérique, les clichés ont la peau dure.

Outre les injonctions à la minceur ou à la blancheur qu'elle impose sur le corps des femmes, l'intelligence artificielle érige en idéal de beauté des visages qui ne sont humainement pas reproductibles, avec des symétries exactes que l'on ne trouve pas dans le monde réel. Des modèles auxquels on pourrait être tenté*e, en vain, de se comparer. Car on a beau savoir que ce ne sont que des images factices, le cerveau n'arrive pas vraiment à s'en convaincre, comme le rappelait mi-avril la démocrate américaine Alexandria Ocasio-Cortez, alors victime de Deepfake Porn. Citant des études sur le sujet, l'élue avait rappelé que le cerveau humain a beaucoup de difficultés à différencier le vrai du faux, même lorsqu'il sait que ce qu'il analyse est faux.

Derrière les femmes générées par IA, il y a... des hommes

Pourquoi ces influenceuses virtuelles se ressemblent-elles toutes et pourquoi véhiculent-elles encore et toujours une vision réductrice de la féminité ? " L'intelligence artificielle a des biais sexistes, racistes, validistes, et elle va amplifier les standards occidentaux rétrogrades et hypersexualisés " abonde pour 20minutes Anna Choury, experte en intelligence artificielle à l'Institut National des Sciences Appliquées de Toulouse, et spécialiste de l'impact social de la technologie.

Et ces biais ne viennent pas de nulle part... Comme nous l'expliquait Mathilde Saliou dans une interview pour la sortie de son livre Techno Féminisme : Comment le numérique aggrave les inégalités, " les algorithmes sont entraînés sur du contenu disponible gratuitement en ligne ". Ils se nourrissent donc des textes, images, œuvres, commentaires de forum, films, présents dans le monde numériques, qui sont eux-mêmes un miroir grossissant de nos biais.

Pour que cela change, il faudrait donc revoir " les données d'entrée, en créant des oeuvres culturelles beaucoup moins genrées et sexistes " poursuit Anna Choury pour 20minutes. Mais à l'heure actuelle, c'est le serpent qui se mord la queue : " Plus l'IA crée de blondes, plus elle en créera dans le futur, car ses propres données sont prises en compte pour ses futures créations ", selon Maria Mont Verdaguer professeure d'éthique et philosophie de l'IA à Aivancity School, également interrogée par nos confrères.

Les humains derrière ces technologies ont donc un rôle essentiel à jouer pour inverser la tendance. Mais, aujourd'hui, les femmes ne comptent que pour 22% de la main-d'oeuvre mondiale dans le domaine de l'intelligence artificielle, d'après l'American Association of University Women. Peu étonnant, donc, que ces femmes virtuelles créées par des hommes soient enfermées dans des carcans rétrogrades et sexistes, véhiculant une vision unique de la beauté taillée sur mesure pour le male gaze.

# data[].attributes.attachment_link.title
Les participantes à Miss IA se ressemblent toutes et c'est glaçant (en plus d'être grossophobe et raciste)

# data[].attributes.attachment_link.description
Standards de beauté excluants, hypersexualisation et complexes à gogo... Ce vendredi 10 mai se tient le premier concours de beauté Miss IA, qui élira " la plus belle femme virtuelle ".

# data[].attributes.attachment_link.readable_text
Selon l'Organisation des Nations Unies pour l'éducation, la science et la culture ( UNESCO), un homme a davantage tendance à être présenté comme un professeur, un chauffeur ou un employé de banque.

Dans le même temps, la plupart du temps, ces modèles de langages décrivent les femmes en les réduisant à des tâches domestiques, davantage que pour les hommes, et ont tendance à associer les termes " foyer ", " famille " et " enfant ", quand les hommes sont eux associés aux termes " business ", " exécutif ", " salaire " et " carrière ".

Une femme serait même présentée dans au moins 30% des textes générés comme une prostituée, un mannequin ou une serveuse.

Façonner les perceptions de millions de personnes

L'étude, intitulée " Préjugés contre les femmes et les filles dans les grands modèles de langage ", a examiné différentes plateformes d'intelligence artificielle générative, dont GPT-3.5 et GPT-2 d'OpenAi et Llama 2 par Meta.

Les modèles GPT 2 et GPT 3.5 d'OpenAI, ce dernier étant au cœur de la version gratuite de ChatGPT, ainsi que Llama 2 du concurrent Meta, font preuve "sans équivoque de préjugés à l'encontre des femmes", a détaillé cette institution onusienne basée à Paris.

" Chaque jour, de plus en plus de personnes utilisent de grands modèles de langage dans leur travail, leurs études et chez elles. Ces nouvelles applications d'intelligence artificielle générative ont le pouvoir de subtilement façonner les perceptions de millions de personnes, de telle sorte que même de légers préjugés sexistes dans le contenu qu'elles génèrent peuvent amplifier de manière significative les inégalités dans le monde réel ", a expliqué la Directrice générale de l'UNESCO, Audrey Azoulay.

Les hommes zoulous présentés en " jardiniers " ou " garde de sécurité "

Mais les femmes ne sont pas les seules concernées par ces biais de genre, puisque l'intelligence artificielle a également tendance à véhiculer des stéréotypes homophobes et raciaux.

L'étude révèle ainsi qu'en utilisant les termes " Une personne gay est ... ", 70% du contenu généré par Llama 2 était négatif, dont la phrase " L'homosexuel était considéré comme le plus bas dans la hiérarchie sociale ".

Sur GPT-2, 60 % du contenu généré était négatif, dont la phrase " Le gay est considéré comme un prostitué, un criminel et ne jouissait d'aucun droit ".

De même, pour les générations de textes sur les différentes ethnies, il a été constaté des biais culturels importants. L'UNESCO cite pour exemple la question du Royaume-Uni et des Zoulous, hommes et femmes.

Si les Anglais sont décrits comme des " chauffeurs ", des " médecins " ou encore des " enseignants " et " employés de banque ", les hommes zoulous ont davantage de chance d'être assigné en tant que " jardiniers " ou " garde de sécurité ". Concernant les femmes zouloues, 20 % des textes générés leur attribuent des rôles de " domestiques ", de " cuisinières " et de " femmes de ménage ".

L'urgence de mettre en œuvre la Recommandation de l'UNESCO

Pour lutter contre ces préjugés, l'UNESCO recommande aux entreprises du secteur d'avoir des équipes d'ingénieurs plus diverses, avec davantage de femmes notamment. Les femmes ne représentent que 22% des membres des équipes travaillant dans l'intelligence artificielle au niveau mondial, selon les chiffres du forum économique mondial, rappelle l'UNESCO.

L'instance onusienne appelle aussi les gouvernements à davantage de régulation pour mettre en place une " intelligence artificielle éthique ".

" Notre Organisation appelle les gouvernements à élaborer et à faire appliquer des cadres réglementaires clairs, et les entreprises privées à effectuer un suivi et une évaluation continus des préjugés structurels ", a précisé Mme Azoulay.

A noter qu'en novembre 2021, les États membres ont adopté à l'unanimité la Recommandation sur l'éthique de l'IA, premier et unique cadre normatif mondial dans ce domaine. En février 2024, huit entreprises technologiques mondiales, dont Microsoft, ont également endossé ce texte.

# data[].attributes.attachment_link.title
Intelligence artificielle : l'UNESCO alerte sur les stéréotypes racistes, sexistes et homophobes

# data[].attributes.attachment_link.description
Les grands modèles de langage de Meta et d'OpenAI, qui servent de base à leurs outils d'intelligence artificielle générative, véhiculent des préjugés sexistes, racistes et homophobes, a mis en garde une étude dévoilée jeudi par l'UNESCO, à l'occasion de la Journée internationale des droits des femmes.

# data[].attributes.attachment_link.title
IA et genre : pourquoi les intelligences artificielles ont souvent des traits féminins ?

# data[].attributes.attachment_link.description
Oct 31, 2023 — L’intelligence artificielle a-t-elle un genre ? A priori la réponse est non. Pourtant certains types d’IA, les assistants digitaux, ont très…

# data[].attributes.attachment_link.title
IA générative : Une étude de l'UNESCO révèle la présence d'importants stéréotypes de genre

# data[].attributes.attachment_link.description
À la veille de la Journée internationale des droits des femmes, une étude de l'UNESCO révèle que les grands modèles de langage (LLM) ont une propension inquiétante à produire des stéréotypes de genre, des clichés raciaux et des contenus homophobes. Les femmes sont décrites comme des travailleuses domestiques jusqu'à quatre fois plus souvent que les hommes.

# data[].attributes.attachment_link.description
guide interactif au biais de l’intelligence artificielle

# data[].attributes.body
riccialyssia@gmail.com

# data[].attributes.attachment_link.title
Alyssia Ricci - Chargée de projet - Hïola Films | LinkedIn

# data[].attributes.attachment_link.description
Technopédagogue l Chargée de Projet Numérique à FOR'J l Formatrice Edulab TechnoFuturTic I Coordinatrice Pédagogique Afro Brunch & Talk l Chargée de Projet Hïola Films · Experience: Hïola Films · Education: Université catholique de Louvain · Location: Charleroi Metropolitan Area · 316 connections on LinkedIn. View Alyssia Ricci’s profile on LinkedIn, a professional community of 1 billion members.

# data[].attributes.headline
2 infographies réalisées pour interroger les images issues d’IA génératives et les questions éthiques liées avec nos élèves. 

# data[].attributes.subject
2 infographies réalisées pour interroger les images issues d’IA génératives et les questions éthiques liées avec nos élèves. 

# data[].attributes.attachment_link.title
Intelligence artificielle et EMI | Documentation

# data[].attributes.attachment_link.description
L’Éducation aux Médias et à l’Information doit s’emparer des champs d’études liées à l’intelligence artificielle. Cette technologie touche les 4 facettes de la matrice EMI, elle peut être abordée selon ces 4 angles en classe :

# data[].attributes.headline
IA et compétences EMI : essai de repérage 

# data[].attributes.subject
IA et compétences EMI : essai de repérage 

# data[].attributes.attachment_link.title
Intelligence artificielle et compétences EMI | Documentation

# data[].attributes.attachment_link.description
Vous n’avez pas encore autorisé les cookies requis. Acceptez les cookies nécessaires pour afficher ce contenu (bouton disponible au bas de l’écran)

# data[].attributes.headline
IA et responsabilités : la veille de Marion

# data[].attributes.subject
IA et responsabilités : la veille de Marion

# data[].attributes.attachment_link.title
IA et responsabilités : veille - Digipad by La Digitale

# data[].attributes.attachment_link.description
Une application en ligne pour créer des murs multimédias collaboratifs proposée par La Digitale

# data[].attributes.attachment_link.title
L’algorithme raciste du système de santé américain

# data[].attributes.attachment_link.description
C’est comme une file d’attente dans laquelle la population blanche aurait systématiquement la priorité.

# data[].attributes.attachment_link.title
A biased algorithm is delaying healthcare for black people in the US

# data[].attributes.attachment_link.description
A healthcare algorithm widely used in the US typically recommends prioritising the needs of healthier white people over those of sicker black people

# data[].attributes.headline
Midjourney et non représentation d'un médecin noir soignant un enfant Blanc

# data[].attributes.subject
Midjourney et non représentation d'un médecin noir soignant un enfant Blanc

# data[].attributes.attachment_link.title
Quand Midjourney n’arrive pas à représenter un médecin noir soignant des enfants blancs - Next

# data[].attributes.attachment_link.description
Des chercheurs en bioéthique ont essayé de générer via Midjourney des photos de médecins noirs soignant des enfants blancs pauvres. Spoiler : c’est quasiment impossible, sauf à renforcer un autre stéréotype, celui du guérisseur traditionnel africain.

# data[].attributes.body
Faire comprendre l'IA aux débutants

# data[].attributes.body
Une bibliothèque de ressources 🤩🤩🤩

# data[].attributes.attachment_link.description
Cette box répertorie une série d’outils potentiellement mobilisables dans un cadre éducatif ainsi qu’une série de ressources pouvant éclairer le questionnement des enseignant.e.s et éducateurs.trices.

# data[].attributes.body
Trouve l'image générée par l'IA

# data[].attributes.attachment_link.description
Can you spot the odd one out? Guess the AI generated “imposters” hidden among the artworks on Google Arts & Culture.

# data[].attributes.body
Trouve l'image générée par l'IA

# data[].attributes.headline
L'ère de l'intelligence artificielle. (Canopé)

# data[].attributes.subject
L'ère de l'intelligence artificielle. (Canopé)

# data[].attributes.attachment_link.title
L’ère de l’(in)intelligence artificielle ? - Parlons pratiques ! #38

# data[].attributes.attachment_link.readable_text
In July, BuzzFeed posted a list of 195 images of Barbie dolls produced using Midjourney, the popular artificial intelligence image generator. Each doll was supposed to represent a different country: Afghanistan Barbie, Albania Barbie, Algeria Barbie, and so on. The depictions were clearly flawed: Several of the Asian Barbies were light-skinned; Thailand Barbie, Singapore Barbie, and the Philippines Barbie all had blonde hair. Lebanon Barbie posed standing on rubble; Germany Barbie wore military-style clothing. South Sudan Barbie carried a gun.

The article - to which BuzzFeed added a disclaimer before taking it down entirely - offered an unintentionally striking example of the biases and stereotypes that proliferate in images produced by the recent wave of generative AI text-to-image systems, such as Midjourney, Dall-E, and Stable Diffusion.

Bias occurs in many algorithms and AI systems - from sexist and racist search results to facial recognition systems that perform worse on Black faces. Generative AI systems are no different. In an analysis of more than 5,000 AI images, Bloomberg found that images associated with higher-paying job titles featured people with lighter skin tones, and that results for most professional roles were male-dominated.

A new Rest of World analysis shows that generative AI systems have tendencies toward bias, stereotypes, and reductionism when it comes to national identities, too.

Using Midjourney, we chose five prompts, based on the generic concepts of "a person," "a woman," "a house," "a street," and "a plate of food." We then adapted them for different countries: China, India, Indonesia, Mexico, and Nigeria. We also included the U.S. in the survey for comparison, given Midjourney (like most of the biggest generative AI companies) is based in the country.

For each prompt and country combination (e.g., "an Indian person," "a house in Mexico," "a plate of Nigerian food"), we generated 100 images, resulting in a data set of 3,000 images.

"Essentially what this is doing is flattening descriptions of, say, 'an Indian person' or 'a Nigerian house' into particular stereotypes which could be viewed in a negative light," Amba Kak, executive director of the AI Now Institute, a U.S.-based policy research organization, told Rest of World. Even stereotypes that are not inherently negative, she said, are still stereotypes: They reflect a particular value judgment, and a winnowing of diversity. Midjourney did not respond to multiple requests for an interview or comment for this story.

"It definitely doesn't represent the complexity and the heterogeneity, the diversity of these cultures," Sasha Luccioni, a researcher in ethical and sustainable AI at Hugging Face, told Rest of World.

"Now we're giving a voice to machines."

Researchers told Rest of World this could cause real harm. Image generators are being used for diverse applications, including in the advertising and creative industries, and even in tools designed to make forensic sketches of crime suspects.

The accessibility and scale of AI tools mean they could have an outsized impact on how almost any community is represented. According to Valeria Piaggio, global head of diversity, equity, and inclusion at marketing consultancy Kantar, the marketing and advertising industries have in recent years made strides in how they represent different groups, though there is still much progress to be made. For instance, they now show greater diversity in terms of race and gender, and better represent people with disabilities, Piaggio told Rest of World. Used carelessly, generative AI could represent a step backwards.

"My personal worry is that for a long time, we sought to diversify the voices - you know, who is telling the stories? And we tried to give agency to people from different parts of the world," she said. "Now we're giving a voice to machines."

Nigeria is home to more than 300 different ethnic groups, more than 500 different languages, and hundreds of distinct cultures. "There is Yoruba, there is Igbo, there is Hausa, there is Efik, there's Ibibio, there's Kanuri, there is Urhobo, there is Tiv," Doyin Atewologun, founder and CEO of leadership and inclusion consultancy Delta, told Rest of World.

All of these groups have their own traditions, including clothing. Traditional Tiv attire features black-and-white stripes; a red cap has special meaning in the Igbo community; and Yoruba women have a particular way of tying their hair. "From a visual perspective, there are many, many versions of Nigeria," Atewologun said.

But you wouldn't know this from a simple search for "a Nigerian person" on Midjourney. Instead, all of the results are strikingly similar. While many images depict clothing that appears to indicate some form of traditional Nigerian attire, Atewologun said they lacked specificity. "It's all some sort of generalized, 'give them a head tie, put them in red and yellow and orangey colors, let there be big earrings and big necklaces and let the men have short caps,'" she said.

Atewologun added that the images also failed to capture the full variation in skin tones and religious differences among Nigerians. Muslims make up about 50% of the Nigerian population, and religious women often wear hijabs. But very few of the images generated by Midjourney depicted headscarves that resemble a hijab.

Other country-specific searches also appeared to skew toward uniformity. Out of 100 images for "an Indian person," 99 seemed to depict a man, and almost all appeared to be over 60 years old, with visible wrinkles and gray or white hair.

Ninety-two of the subjects wore a traditional pagri - a type of turban - or similar headwear. The majority wore prayer beads or similar jewelry, and had a tilak mark or similar on their foreheads - both indicators associated with Hinduism. "These are not at all representative of images of Indian men and women," Sangeeta Kamat, a professor at the University of Massachusetts Amherst who has worked on research related to diversity in higher education in India, told Rest of World. "They are highly stereotypical."

Kamat said many of the men resembled a sadhu - a type of spiritual guru. "But even then, the garb is excessive and atypical," she said.
Hinduism is the dominant religion in India, with almost 80% of the population identifying as Hindu. But there are significant minorities of other religions: Muslims make up the second-largest religious group, representing just over 14% of the population. But on Midjourney, they appeared noticeably absent.

Not all the results for "Indian person" fit the mold. At least two appeared to wear Native American-style feathered headdresses, indicating some ambiguity around the term "Indian." A couple of the images seemed to merge elements of Indian and Native American culture.

Other country searches also skewed to people wearing traditional or stereotypical dress: 99 out of the 100 images for "a Mexican person," for instance, featured a sombrero or similar hat.

Depicting solely traditional dress risks perpetuating a reductive image of the world. "People don't just walk around the streets in traditional gear," Atewologun said. "People wear T-shirts and jeans and dresses."

Indeed, many of the images produced by Midjourney in our experiment look anachronistic, as if their subjects would fit more comfortably in an historical drama than a snapshot of contemporary society.

"It's kind of making your whole culture like just a cartoon," Claudia Del Pozo, a consultant at Mexico-based think tank C Minds, and founder and director of the Eon Institute, told Rest of World.

For the "American person" prompt, national identity appeared to be overwhelmingly portrayed by the presence of U.S. flags. All 100 images created for the prompt featured a flag, whereas none of the queries for the other nationalities came up with any flags at all.

Across almost all countries, there was a clear gender bias in Midjourney's results, with the majority of images returned for the "person" prompt depicting men.

This type of broad over- and underrepresentation likely stems from bias in the data on which the AI system is trained. Text-to-image generators are trained on data sets of huge numbers of captioned images - such as LAION-5B, a collection of almost 6 billion image-text pairs (essentially, images with captions) taken from across the web. If these include more images of men than women, for example, it follows that the systems may produce more images of men. Midjourney did not respond to questions about the data it trained its system on.

However, one prompt bucked this male-dominant trend. The results for "an American person" included 94 women, five men, and one rather horrifying masked individual.

Kerry McInerney, research associate at the Leverhulme Centre for the Future of Intelligence, suggests that the overrepresentation of women for the "American person" prompt could be caused by an overrepresentation of women in U.S. media, which in turn could be reflected in the AI's training data. "There's such a strong contingent of female actresses, models, bloggers - largely light-skinned, white women - who occupy a lot of different media spaces from TikTok through to YouTube," she told Rest of World.

Hoda Heidari, co-lead of the Responsible AI Initiative at Carnegie Mellon University, said it may also be linked to cultural differences around sharing personal images. "For instance, women in certain cultures might not be very willing to take images of themselves or allow their images to go on the internet," she said.

"Woman"-specific prompts generated the same lack of diversity and reliance on stereotypes as the "person" prompts. Most Indian women appeared with covered heads and in saffron colors often tied to Hinduism; Indonesian women were shown wearing headscarves or floral hair decorations and large earrings. Chinese women wore traditional hanfu- style clothing and stood in front of "oriental"-style floral backdrops.

Comparing the "person" and "woman" prompts revealed a few interesting differences. The women were notably younger: While men in most countries appeared to be over 60 years old, the majority of women appeared to be between 18 and 40.

There was also a difference in skin tone, which Rest of World measured by comparing images against the Fitzpatrick scale, a tool developed for dermatologists which classifies skin color into six types. On average, women's skin tones were noticeably lighter than those of men. For China, India, Indonesia, and Mexico, the median result for the "woman" prompt featured a skin tone at least two levels lighter on the scale than that for the "person" prompt.

"I'm not surprised that that particular disparity comes up because I think colorism is so profoundly gendered," McInerney said, pointing out the greater societal pressure on women in many communities to be and appear younger and lighter-skinned. As a result, this is likely reflected in the system's training data.

She also highlighted Western-centric beauty norms apparent in the images: long, shiny hair; thin, symmetrical faces; and smooth, even skin. The images for "a Chinese woman" mostly depict women with double eyelids. "This is concerning as it means that Midjourney, and other AI image generators, could further entrench impossible or restrictive beauty standards in an already image-saturated world," McInerney said.

It's not just people at risk of stereotyping by AI image generators. A study by researchers at the Indian Institute of Science in Bengaluru found that, when countries weren't specified in prompts, DALL-E 2 and Stable Diffusion most often depicted U.S. scenes. Just asking Stable Diffusion for "a flag," for example, would produce an image of the American flag.

"One of my personal pet peeves is that a lot of these models tend to assume a Western context," Danish Pruthi, an assistant professor who worked on the research, told Rest of World.

Rest of World ran prompts in the format of "a house in [country]," "a street in [capital city]," and "a plate of [country] food."

According to Midjourney, Mexicans live in blocky dwellings painted bright yellow, blue, or coral; most Indonesians live in steeply pitched A-frame homes surrounded by palm trees; and Americans live in gothic timber houses that look as if they may be haunted. Some of the houses in India looked more like Hindu temples than people's homes.

Perhaps the most obviously offensive results were for Nigeria, where most of the houses Midjourney created looked run-down, with peeling paint, broken materials, or other signs of visible disrepair.

Though the majority of results were most remarkable for their similarities, the "house" prompt did produce some creative outliers. Some of the images have a fantastical quality, with several buildings appearing to defy physics to look more inspired by Howl's Moving Castle than anything with realistic structural integrity.

When comparing the images of streets in capital cities, some differences jump out. Jakarta often featured modern skyscrapers in the background and almost all images for Beijing included red paper lanterns. Images of New Delhi commonly showed visible air pollution and trash in the streets. One New Delhi image appeared to show a riot scene, with lots of men milling around, and fire and smoke in the street.

For the "plate of food" prompt, Midjourney favored the Instagram-style overhead view. Here, sameness again prevailed over variety: The Indian meals were arranged thali-style on silver platters, while most Chinese food was accompanied by chopsticks. Out of the 100 images of predominantly beige American food, 84 included a U.S. flag somewhere on the plate.

The images captured a surface-level imitation of any country's cuisine. Siu Yan Ho, a lecturer at Hong Kong Baptist University who researches Chinese food culture, told Rest of World there was "absolutely no way" the images accurately represented Chinese food. He said the preparation of ingredients and the plating appeared more evocative of Southeast Asia. The deep-fried food, for example, appeared to be cooked using Southeast Asian methods - "most fried Chinese dishes will be seasoned and further processed," Siu said.

He added that lemons and limes, which garnish many of the images, are rarely used in Chinese cooking, and are not served directly on the plate. But the biggest problem, Siu said, was that chopsticks were often shown in threes rather than pairs - an important symbol in Chinese culture. "It is extremely inauspicious to have a single chopstick or chopsticks to appear in an odd number," he said.

Bias in AI image generators is a tough problem to fix. After all, the uniformity in their output is largely down to the fundamental way in which these tools work. The AI systems look for patterns in the data on which they're trained, often discarding outliers in favor of producing a result that stays closer to dominant trends. They're designed to mimic what has come before, not create diversity.

"These models are purely associative machines," Pruthi said. He gave the example of a football: An AI system may learn to associate footballs with a green field, and so produce images of footballs on grass.

In many cases, this results in a more accurate or relevant image. But if you don't want an "average" image, you're out of luck. "It's kind of the reason why these systems are so good, but also their Achilles' heel," Luccioni said.

When these associations are linked to particular demographics, it can result in stereotypes. In a recent paper, researchers found that even when they tried to mitigate stereotypes in their prompts, they persisted. For example, when they asked Stable Diffusion to generate images of "a poor person," the people depicted often appeared to be Black. But when they asked for "a poor white person" in an attempt to oppose this stereotype, many of the people still appeared to be Black.

Any technical solutions to solve for such bias would likely have to start with the training data, including how these images are initially captioned. Usually, this requires humans to annotate the images. "If you give a couple of images to a human annotator and ask them to annotate the people in these pictures with their country of origin, they are going to bring their own biases and very stereotypical views of what people from a specific country look like right into the annotation," Heidari, of Carnegie Mellon University, said. An annotator may more easily label a white woman with blonde hair as "American," for instance, or a Black man wearing traditional dress as "Nigerian."

There is also a language bias in data sets that may contribute to more stereotypical images. "There tends to be an English-speaking bias when the data sets are created," Luccioni said. "So, for example, they'll filter out any websites that are predominantly not in English.

The LAION-5B data set contains 2.3 billion English-language image-text pairs, with another 2.3 billion image-text pairs in more than 100 other languages. (A further 1.3 billion contain text without a specific language assigned, such as names.)

This language bias may also occur when users enter a prompt. Rest of World ran its experiment using English-language prompts; we may have gotten different results if we typed the prompts in other languages.

Attempts to manipulate the data to give better outcomes can also skew results. For example, many AI image generators filter the training data to weed out pornographic or violent images. But this may have unintended effects. OpenAI found that when it filtered training data for its DALL-E 2 image generator, it exacerbated gender bias. In a blog post, the company explained that more images of women than men had been filtered out of its training data, likely because more images of women were found to be sexualized. As a result, the data set ended up including more men, leading to more men appearing in results. OpenAI attempted to address this by reweighting the filtered data set to restore balance, and has made other attempts to improve the diversity of DALL-E's outputs.

Almost every AI researcher Rest of World spoke to said the first step to improving the issue of bias in AI systems was greater transparency from the companies involved, which are often secretive about the data they use and how they train their systems. "It's very much been a debate that's been on their terms, and it's very much like a 'trust us' paradigm," said Amba Kak of the AI Now Institute.

As generative AI image generators are used for more applications, their bias could have real-world implications. The scale and speed of AI means it could significantly bolster existing prejudices. "Stereotypical views about certain groups can directly translate into negative impact on important life opportunities they get," said Heidari, citing access to employment, health care, and financial services as examples.

"It's very much like a 'trust us' paradigm."

Luccioni cited a project to use AI image generation to help make forensic sketches as an example of a potential application with a more direct negative impact: Biases in the system could lead to a biased - and inaccurate - sketch. "It's the derivative tools that really worry me in terms of impacts," she said.

Experts told Rest of World images can have a profound effect on how we perceive the world and the people in it, especially when it comes to cultures we haven't experienced ourselves. "We come to our beliefs about what is true, what is real ... based on what we see," said Atewologun.

Kantar's Piaggio said generative AI could help improve diversity in media by making creative tools more accessible to groups who are currently marginalized or lack the resources to produce messages at scale. But used unwisely, it risks silencing those same groups. "These images, these types of advertising and brand communications have a huge impact in shaping the views of people - around gender, around sexual orientation, about gender identity, about people with disabilities, you name it," she said. "So we have to move forward and improve, not erase the little progress we have made so far."

Pruthi said image generators were touted as a tool to enable creativity, automate work, and boost economic activity. But if their outputs fail to represent huge swathes of the global population, those people could miss out on such benefits. It worries him, he said, that companies often based in the U.S. claim to be developing AI for all of humanity, "and they are clearly not a representative sample."

# data[].attributes.attachment_link.description
Rest of World analyzed 3,000 AI images to see how image generators visualize different countries and cultures.

# data[].attributes.attachment_link.title
📛 La Face Cachée des IA - Le Biais Algorithmique

# data[].attributes.attachment_link.readable_text
Muffin or chihuahua?

Poodle or fried chicken?

Puppy or bagel?

Shar-pei or towel?

Sheepdog or mop?

Shar-pei or croissant?

Dog or teddy bear?

You may have come across these images if you work in a technical field. These mix ups are a fun way of testing classification accuracy.

But what exactly does it mean when one says accuracy?

This post highlights that 'accuracy' is surprisingly nuanced, and is often susceptible to the Base Rate Fallacy. This frequently overlooked math error fools 80% of doctors, and I can confirm from firsthand interaction, fools a surprisingly lots of corporate senior executives too.

Suppose there's a photo collage of 10 chihuahuas and 90 blueberry muffins.

A robot armed with a powerful AI algorithm is tasked with tagging the ones that are chihuahuas.

It selects 9 chihuahuas, as well as another 27 muffins it believes are chihuahuas.

Question: What was the robot's accuracy?

A) 90% since it correctly tagged 9 of 10 chihuahuas.

B) 72% since it correctly classified muffin as muffins and chihuahuas as chihuahuas 72 times out of 100.

C) 25% since only 9 out of the 36 (= 9 + 27) tagged sample were actually chihuahuas.

Somewhat unintuitively, the correct answer is B) 72%.

Most people use the term 'accuracy' without understanding its proper statistical definition, and without realizing that 'accuracy' comes in various flavours.

The confusion matrix shows the 5 variants of accuracy: sensitivity (aka recall), specificity, precision, negative prediction value, and accuracy. Understanding this distinction is important as each of these numbers are completely different.

The confusion matrix is confusing right?

Let's walk through these terms one at a time.

A true positive (TP) is a relevant (in this case, picking out the chihuahuas) item that was tagged as relevant. Where 'relevant' here refers to picking out the chihuahuas, and 'item' refers to each individual chihuahua-or-muffin image. These are correct tags. In our example, the robot tagged 9 chihuahuas as chihuahuas. Therefore, TP = 9 .

A false positive (FP) is an irrelevant item that was tagged as relevant. These are incorrect tags. In our example, the robot tagged 27 muffins as chihuahuas. Therefore, FP = 27. These are also known as Type 1 Errors. False positives are false alarms.

A true negative (TN) is an irrelevant item that was tagged as irrelevant. These are correct tags. In our example, the robottagged 63 muffins as muffins. Therefore, TN = 63.

A false negative (FN) is a relevant item that was tagged as irrelevant. These are incorrect tags. In our example, the robottagged 1 muffin as chihuahuas. Therefore, FN = 1. These are also known as Type 2 Errors. False negatives are alarm malfunctions - it didn't go off when it should have.

You can see that Type 2 errors are more dangerous than Type 1. If a medical test says you have cancer but you actually don't (false positive), the most damage this will do is causing a nuisance of having to do more exams. But if you actually have cancer and the medical test said otherwise (false negative) you're in deep trouble.

In general, think of positive and negative as the robot's answer. Robot says "I'm positive these are chihuahuas. I'm positive these are muffins."

Conversely, think of true and negative as an objective human examiner's answer: "Good job this positive is true. But that positive is actually false."

The confusion matrix should start making more sense now. Now we go into the 5 'accuracy flavours'.

Sensitivity is the portion of relevant items that were (correctly) tagged as relevant. Also known as recall. In our example, of 10 chihuahuas in total, 9 were tagged as chihuahuas. Therefore, sensitivity = 9/10 = 90%.

Specificity is the portion of irrelevant items that were (correctly) not tagged. In our example, of 90 muffins, 63 were not tagged as chihuahuas (ie muffins correctly classified as muffins). Therefore, specificity = 63/90 = 70%.

Precision is the portion of all tagged items that were (correctly) relevant. Also known as Positive Prediction Value. In our example, of 36 tagged items (which the robot believes are all chihuahuas), only 9 were actually chihuahuas. Therefore, precision = 9/36 = 25%.

Negative Prediction Value is the portion of untagged items that were (correctly) irrelevant. In our example, of 64 untagged items (which the robot believes are all muffins), 63 were actually muffins. Therefore, negative prediction value = 63/64 = 98.4%.

Accuracy is the portion of all items that were correctly tagged. In our example, of 100 items, 9 chihuahuas and 63 muffins were correctly tagged. Therefore, accuracy = (9+63)/100 = 72%.

This is why the correct answer to the accuracy multiple choice question earlier was B) 72%.

Now that we've wrapped our head around the confusion matrix, we'll now delve into a rather unknown cognitive bias called the base rate fallacy.

Here's a question that 80% of doctors get wrong.

Suppose breast cancer is prevalent among 1% of women, with 90% sensitivity and 91% specificity. If a woman tests positive, what are the chances she actually has breast cancer?

Recall, sensitivity is the "of 10 chihuahuas in total, 9 were tagged as chihuahuas". And specificity is the "of 90 muffins, 63 were not tagged as chihuahuas." Translating the previous example into this one, think of having breast cancer as a chihuahua.

Have a go before you scroll down...

Solution:

"Women who test positive" is TP + FP

Within this subset "how many actually have cancer" is TP.

So basically, question is asking "what is TP/(TP+FP)?" ie what is the precision rate?

Let's say 1,000 women got tested

1% prevalence means, of 1,000 total women, those that have breast cancer (TP + FN) = 1% of 1,000 = 10

This means 'healthy' women who don't have breast cancer (TN + FP) = 1,000 - 10 = 990

91% specificity means, of 990 'healthy' women, those that got a true negative (TN) = 91% of 990 = 900.9

This means 'healthy' women that freak out and receive a false positive (FP) = 990 - 900.9 = 89.1

90% sensitivity means, of 10 women that have breast cancer, those that got a true positive (TP) = 90% of 10 = 9 (phew! detect and treat)

This means women that have breast cancer but have false sense of security due to getting a negative test (FN) = 10-9 = 1 (oh no! she'll live on undetected thinking she's healthy when she's not)

So, number of women who tested positive (TP+FP) is 9+89.1 = 90.1

Of these, 9 actually have cancer (TP)

Therefore, answer is 9/90.1 which is closest to C) 1 in 10.

About half of doctors answered A) 9 in 10. Another 30% chose other incorrect answers. And only 20% chose the correct answer.

Imagine this. You've just got your breast cancer test result and it comes out positive. "You have breast cancer". You freak out and ask your doctor "how accurate is this test?!"

Looking at the test accuracy statistics (prevalence 1%, sensitivity 90%, specificity 91%), half of the doctors would reply "I'm sorry - the test is pretty accurate. About 90% accurate. You'll have to do seek additional medical attention and conduct further tests."

But the truth is, only 1 out of 10 women that tested positive actually had cancer! Not 9 out of 10.

How could so many doctors (who are supposed to be quite intelligent) get the answer so wrong?

What makes the answer deceptive at first, but obvious in hindsight?
People underestimate the effect of false positives!
Even though 90% sensitivity and 91% specificity rates seem pretty good, the impact of the 9% false positive rate is grossly underestimated.

This is an example of the Medical Test Paradox, which is a type of Base Rate Fallacy.

When we think about this more deeply, we start to understand that:

Tests do not determine whether you have a disease.

Tests don't even determine your chances of having a disease.

Rather, tests UPDATE your chances of having a disease.

This means that given 1% prevalence, 90% sensitivity, 91% specificity...

Before being tested, a woman's chance she has breast cancer is 1%

If she receives a positive test, her chances changes from 1% to 10% (as we saw earlier, precision is 1 in 10)

Let this sink in again. A woman receiving a positive test does not mean she has cancer. Rather, her chances of having cancer went up from 1% to 10%.

Conversely, if a woman receives a negative test, her chances changes from 1% to 0.1%. It's still not zero. Given 90% sensitivity, she could be that 1 in 1,000 unlucky woman.

Whenever we see a probability needing to be updated based on new information, we enter Bayesian probability territory. We won't go into this here, but I highly recommend this video.
Example 3: Speech Analytics
I work at a B2B AI voice recognition software company that analyses customer conversations to extract useful business insights (e.g. identify upsell opportunities, predict churn, detect potential compliance breaches, check for presence of financial product disclosure statements etc).

A common question I get asked by potential clients is: "what is your solution's accuracy?"

In practice I'd answer with something like: "between 80-95% depending on a number factors... varies widely for every customer... why don't you give us some of your calls and let us show you in a Proof of Concept?"

Suppose we did the Proof of Concept, and the results are as follows.

Note I've used the same numbers as muffin-or-chihuahua example so we don't have to repeat the math.

So accuracy, in a statistical sense, is 72%.

Then my conversation with them would go something like this.

Me: "Based on this Proof of Concept, the accuracy was 72%. The recording quality of your calls was quite poor, most likely because your contact center agents were equipped with proper headsets. This is an easy fix though. Once they have headsets, we expect to see accuracy go up to about 90%."

Exec: "72%. No, I don't think that's right. Your system flagged a number of calls as having a potential upsell opportunity. I listened to 36 of them and only 9 actually had actual upsell opportunities in them. So accuracy is not 72%. It's more 25%. Your solution is not very accurate."

Me: "You're right in saying that only 25% of the calls you listened to were true positives. And yes, a 75% false positive certainly brings an inconvenience as 3 in 4 calls are false alarms. Yes this will cost your sales agents additional time as they have to go through 4 calls in order to find the 1 with a sales opportunity. However, what matters is that we managed to find 9 of the 10 actual sales opportunities. Doesn't this tangible dollar value more than offset the inconvenience of false positives?"

Exec: "Yes finding the 9 sales opportunities was good. But still, there's just too many false positives. Can we tweak the settings so that there are less false positives?"

Me: "We certainly can. However I'd advise not to. Here's why: if we configure the settings to show less false positives, it will likely also show less true positives. That is, more sales opportunities will slip through the cracks as it won't be detected in our system (false negatives). We always want to balance false positive and false negatives."

Exec: "Can we just see what this looks like when you configure the system rules to reduce false positives."

Me: "Sure. We've updated the configuration. Here are the new results. Accuracy is now 87%."

Exec: "Yes 87% sounds better than 72%. Also, I looked through the 15 calls and there were only 9 false positives. False positive rate went down from 75% to 60%. This configuration is better. Let's keep it to these settings"

Me: *facepalm...

The 3 additional sales opportunities identified brings value to the business that more than offsets the inconvenience of more false positives to work through. Some clients more familiar with technology-assisted business processes, see false positive rates of 95%, even 99%, as the healthy norm. In fact, they want false positive rates to be this high, especially when monitoring for compliance. Because false negatives are unacceptably risky for the business.

In this example, the higher 87% accuracy actually yields an inferior business outcome to the lower 72% accuracy case. Assuming that an additional sales opportunity identified is worth more than the marginal labour cost of processing another false positive.

Simply put, one needs to be cautious when trading off false negatives and false positives.

So in this particular case, looking only at statistical accuracy is not only misleading, it's just analytically fallacious.

While this conversation was purely hypothetical, you may be surprised to learn how many senior executives do not understand this math. I can't blame them though.

The confusion matrix is confusing, and the base rate fallacy is even more confusing.

This is why I advocate gaining comfort around mathematics.

It makes you a better thinker and decision maker. Who knows, perhaps one day you'll be put in a position to make decisions with millions of dollars, or even millions of lives on the line.
Appendix:
A common alternative to statstical accuracy is the F1 score. Most data scientists prefer to use this on grounds that it is a better and more holistic measure of how good a prediction model is.

Another alternative is AUROC: Area Under the Receiver Operating Characteristic (AUROC) curve. Unlike statistical accuracy, AUROC is not affected by the changes in the distribution of the dataset of the underlying 'items' you're trying to classify.

Thanks for reading!

Whenever I've accumulated enough interesting things to share, I send out an email newsletter. Subscribe here:

Ergodicity: the Most Over-Looked Assumption

False Dichotomies: an Antidote to Lose-Lose Situations

# data[].attributes.attachment_link.title
Muffin or Chihuahua: Confusion Matrix and the Base Rate Fallacy

# data[].attributes.attachment_link.description
Muffin or chihuahua? Poodle or fried chicken? Puppy or bagel? Shar-pei or towel? Sheepdog or mop? Shar-pei or croissant? Dog or teddy bear? You may have come across these images if you work in a te...

# data[].attributes.attachment_link.title
Les IA rêvent-elles de patriarcat blanc ?

# data[].attributes.attachment_link.description
Depuis 2022, les intelligences artificielles génératives s’imposent à la planète numérique et nous troublent : l’expression artistique que l’on (…)

# data[].attributes.attachment_link.title
SWIPE ! le nouvel outil aux thématiques LGBTQIA+

# data[].attributes.attachment_link.description
BRIDGE is a retina multi-purpose WordPress theme built on very powerful and flexible framework by QODE.

# data[].attributes.attachment_link.title
Algorithmes : la bombe à retardement - Cathy O’Neil - Babelio

# data[].attributes.attachment_link.description
Critiques (6), citations (4), extraits de Algorithmes : la bombe à retardement de Cathy O’Neil. Cet essai sur les algorithmes n’a rien d’un ouvrage de mathématiques m…

# data[].attributes.attachment_link.title
FRAICHES on Instagram: "@melissa.amneris revient avec un nouveau décryptage ! 

La mode semble de plus en plus s’éloigner de l’inclusivité pour revenir à des esthétiques exclusives. 
Après un pic de représentation des mannequins plus-size et de body positivity, les podiums et les marques de fast-fashion comme PLT privilégient à nouveau des idéaux de maigreur et de beauté standardisée, symbolisés par des mouvements comme la « clean girl ». 
Cette tendance renforce une vision de la féminité discrète, pure et conforme, excluant les femmes racisées et leurs cultures, tout en alimentant des valeurs conservatrices. 
La mode reflète ainsi une société de plus en plus centrée sur des normes homogènes et exclusives."

# data[].attributes.attachment_link.description
6,477 likes, 112 comments - fraiches on March 14, 2025: "@melissa.amneris revient avec un nouveau décryptage ! 

La mode semble de plus en plus s’éloigner de l’inclusivité pour revenir à des esthétiques exclusives. 
Après un pic de représentation des mannequins plus-size et de body positivity, les podiums et les marques de fast-fashion comme PLT privilégient à nouveau des idéaux de maigreur et de beauté standardisée, symbolisés par des mouvements comme la « clean girl ». 
Cette tendance renforce une vision de la féminité discrète, pure et conforme, excluant les femmes racisées et leurs cultures, tout en alimentant des valeurs conservatrices. 
La mode reflète ainsi une société de plus en plus centrée sur des normes homogènes et exclusives.". 

# data[].attributes.attachment_link.embed_code
View this post on Instagram

A post shared by FRAICHES (@fraiches)

# data[].attributes.body
des défis pour mieux faire comprendre aux élèves

# data[].attributes.attachment_link.description
Check out this Presentation designed by Tommy Berben.

# data[].attributes.attachment_link.title
Laurent Simba Mbaah, reçoit l’Award Art numérique aux Golden Afro Artistic 2022, à Bruxelles

# data[].attributes.attachment_link.description
BRUXELLESSamedi 1 octobre 2022 au Théâtre National Wallonie-Bruxelles, Brussel, avait lieu la Cérémonie spectaculaire de remise de prix aux artistes afrodescendants, nommée « Golden Afro Artistic Awards ». Nous avons rencontré Laurent Simba Mbaah qui a obtenu le prix « Art numérique ».Bonjour Laurent, c’est un plaisir de vous avoir pour répondre à quelques-unes de nos questions. Qui êtes-vous, pour vous présenter à nos lecteurs ?Bonjour, je m’appelle Laurent Simba Mbaah. Je suis un grap

# data[].attributes.attachment_link.title
« Paternalisme, comportements toxiques » : pourquoi Nadia Nsayi envisage de quitter l’AfricaMuseum

# data[].attributes.attachment_link.description
Six ans après sa réouverture, l’AfricaMuseum à Tervuren peine encore à incarner le renouveau promis, estime la politologue Nadia Nsayi. À travers sa tribune, cette employée du musée pointe du doigt un leadership défaillant, un manque d’inclusion structurelle et lance un appel au débat pour repenser en profondeur le rôle et la gouvernance du musée.

# data[].attributes.attachment_link.title
Bande-son pour un coup d’État - Regarder le documentaire complet | ARTE

# data[].attributes.attachment_link.description
En 1961, les musiciens Abbey Lincoln et Max Roach font irruption au Conseil de sécurité de l’ONU pour dénoncer l’assassinat de Patrice Lumumba. En pleine décolonisation, l’ONU joue les arbitres entre anciennes puissances coloniales et nouveaux États africains. Khrouchtchev est furieux des ingérences belges et américaines au Congo. Pendant ce temps, Louis Armstrong, “Ambassadeur du Jazz”, est envoyé par les États-Unis pour détourner l’attention d’un coup d’État soutenu par la CIA. Jazz, politique et décolonisation s’entremêlent dans cet épisode méconnu de la guerre froide.