# data[].attributes.attachment_caption
communiqué de presse du défenseur des droits séminaire biais discriminatoires algorithmes

# data[].attributes.attachment_link.readable_text
[Documents internes] Rapport annuel 2019

[Documents internes] Rapport annuel 2020

[Documents internes] Proposition de réforme

[Mots-clés] Justice

[Mots-clés] Législation

[Mots-clés] Dématérialisation des services publics

[Mots-clés] Relation des usagers avec les services publics

[Mots-clés] Accès au droit

[Mots-clés] Médiation

[Mots-clés] Libertés publiques et individuelles

[Mots-clés] Convention internationale relative aux droits des personnes handicapées (CIDPH)

[Mots-clés] Procédure civile

[Mots-clés] Procédure pénale

[Mots-clés] Enquête

[Mots-clés] Garde à vue

[Mots-clés] Droit des détenus

[Mots-clés] Peine de prison

[Mots-clés] Administration pénitentiaire

# data[].attributes.attachment_link.title
Avis 18-26 du 31 octobre 2018 relatif au projet de... Catalogue en ligne

# data[].attributes.attachment_link.description
Documents internes] Rapport annuel 2019 [Documents internes] Rapport annuel 2020 [Documents internes] Proposition de réforme [Mots-clés] Justice [Mots-clés] Législation [Mots-clés] Dématérialisation des services publics [Mots-clés] Relation des usagers avec les services publics [Mots-clés] Accès au droit [Mots-clés] Médiation [Mots-clés] Libertés publiques et individuelles [Mots-clés] Convention internationale relative aux droits des personnes handicapées (CIDPH) [Mots-clés] Procédure civile [Mots-clés] Procédure pénale [Mots-clés] Enquête [Mots-clés] Garde à vue [Mots-clés] Droit des détenus [Mots-clés] Peine de prison [Mots-clés] Administration pénitentiaire

# data[].attributes.headline
objectif : repérer les arguments de documents

# data[].attributes.subject
objectif : repérer les arguments de documents

# data[].attributes.body
On repèrera ici en en faisant la synthèse les arguments principaux qui montrent que les algorithmes peuvent induire des biais et produire ainsi ou reconduire des discriminations.

# data[].attributes.headline
On commencera par définir ce que peut être un biais 

# data[].attributes.subject
On commencera par définir ce que peut être un biais 

# data[].attributes.body
Et on se demandera ce que peut bien être un biais algorithmique

objectif de vocabulaire :
La précision du sens des mots, des acceptions, des concepts, revêt une importance énorme quant à :
- La justesse de la communication écrite et orale en fonction du sens philosophique ou non
- La qualité de la compréhension d’une explication, d’une thématique philosophique ou non ;
- L’appréciation que l’on porte sur un travail philosophique
- Le caractère particulièrement polysémique de la langue française et du sens philosophique, conceptuel, qui conduit à tant d’incompréhensions et de confusions.

# data[].attributes.attachment_caption
prévenir l automatisation des discriminations

# data[].attributes.attachment_caption
Algorithmes et discriminations le Défenseur des droits avec la CNIL appelle une mobilisation collective Défenseur des Droits

# data[].attributes.body
Répondez et corrigez vos réponses en vous rapportant au textes afin de prouver votre réponse/correction.

# data[].attributes.body
Ecrire, pour chacun une question dont la résolution se trouvera nécessairement dans les textes exploité et dont on aura fait la synthèse.
On la posera ensuite à son binôme ou entre pairs pour la suite de l'exercice oral.

# data[].attributes.body
Sa Posture
1)  ancrer son corps
2) faire des gestes pour communiquer

Son Regard
1) adresser pour porter une parole
2) observer pour réagir

# data[].attributes.headline
Remplir le cadre des compétences numériques

# data[].attributes.subject
Remplir le cadre des compétences numériques

# data[].attributes.body
Vous inscrirez ci-dessous les compétences acquises lors de ces exercices sur l'éthique et l'intelligence artificielle à partir des compétences répertoriées ici :

Domaine 1 : Informations et données
Compétence 1.1 Mener une recherche et une veille d’information
Compétence 1.2 Gérer des données
Compétence 1.3 Traiter des données

Domaine 2 : Communication et collaboration
Compétence 2.1 Interagir
Compétence 2.2 Partager et publier
Compétence 2.3 Collaborer
Compétence 2.4 S’insérer dans le monde numérique

Domaine 3 : Création de contenus
Compétence 3.1 Développer des documents textuels
Compétence 3.2 Développer des documents multimédia
Compétence 3.3 Adapter les documents à leur finalité
Compétence 3.4 Programmer

Domaine 4 : Protection et sécurité
Compétence 4.1 Sécuriser l’environnement numérique
Compétence 4.2 Protéger les données personnelles et la vie privée
Compétence 4.3 Protéger la santé, le bien-être et l’environnement

Domaine 5 : Environnement numérique
Compétence 5.1 Résoudre des problèmes techniques
Compétence 5.2 Évoluer dans un environnement numérique

# data[].attributes.body
lire et retenir les points essentiels de ce texte.

# data[].attributes.body
au cours de vos recherches vous pouvez ajouter des documents, écrit, images ou des liens pertinents ici

# data[].attributes.body
Faire votre synthèse ici

# data[].attributes.body
ici tout ce qui peut apparaître nécessaire à la compréhension

# data[].attributes.body
Lire et retenir les points essentiels de ce texte.
Lors de cet exercice votre professeur pourra vous guider dans la compréhension des textes ou vous donner des questions qui vous orienteront.

# data[].attributes.attachment_link.readable_text
Les outils numériques, dont l'usage s'est accru avec la crise sanitaire actuelle, reposent souvent sur des algorithmes sans que le grand public en soit toujours conscient ou informé. Désormais utilisés dans des domaines tels que l'accès aux prestations sociales, la police, la justice ou encore le recrutement, ils constituent des sources de progrès, mais sont également porteurs de risques pour les droits fondamentaux, comme l'ont déjà souligné le Défenseur des droits et la CNIL.

Derrière l'apparente neutralité des algorithmes, des recherches ont mis à jour l'ampleur des biais qui peuvent intervenir lors de leur conception et leur déploiement. Tout comme les bases de données qui les alimentent, ils sont conçus et générés par des humains dont les stéréotypes, en se répétant automatiquement, peuvent engendrer des discriminations.

Considérant que cet enjeu ne doit pas être un angle mort du débat public, le Défenseur des droits, en partenariat avec la CNIL, a réuni les 28 et 29 mai, des spécialistes, chercheurs, juristes et développeurs autour des enjeux de transparence des algorithmes et des biais discriminatoires. Tous les experts ont pointé les risques considérables de discrimination que leur usage exponentiel peut faire peser sur chacun et chacune d'entre nous, dans toutes les sphères de notre vie.

Pour prévenir ces discriminations, les corriger et sanctionner leurs auteurs, le Défenseur des droits appelle à une prise de conscience collective et engage les pouvoirs publics et les acteurs concernés à prendre des mesures pour éviter que les discriminations soient reproduites et amplifiées par ces technologies.

Le Défenseur des droits, en partenariat avec la CNIL, propose les orientations suivantes :

Former et sensibiliser les professionnels des métiers techniques et d'ingénierie informatique aux risques que les algorithmes font peser sur les droits fondamentaux ;

Soutenir la recherche pour développer les études de mesure et de prévention des biais, et approfondir la notion de " fair learning " - c'est-à-dire la conception d'algorithmes répondant à des objectifs d'égalité et de compréhension, et non seulement de performance ;

Renforcer les obligations légales en matière d'information, de transparence et d'explicabilité des algorithmes à l'égard des usagers et personnes concernées, mais également des tiers et des professionnels utilisateurs de ces systèmes, au nom de l'intérêt général, comme en témoignent par exemple les questions suscitées par Parcoursup ;

Réaliser des études d'impact pour anticiper les effets discriminatoires des algorithmes et contrôler leurs effets après leur déploiement.

Le développement phénoménal des technologies algorithmiques et des systèmes apprenants impose, pour les institutions, de maintenir une grande vigilance quant aux conséquences de ces évolutions technologiques, mais aussi de les anticiper, pour permettre au débat démocratique de se tenir de manière éclairée tout en pensant un cadre juridique et une régulation protecteurs des droits et libertés.

Le Défenseur des droits et la CNIL continueront leurs réflexions sur ce sujet et contribueront à celles des décideurs publics. Dans cette perspective, leur boussole ne saurait être que la volonté de garantir à toutes et à tous le respect de leurs droits fondamentaux, et en particulier celui de ne pas être discriminé et celui de la protection de leurs données personnelles.

# data[].attributes.attachment_link.title
Algorithmes et discriminations : le Défenseur des droits, avec la CNIL, appelle à une mobilisation collective

# data[].attributes.attachment_link.description
Les outils numériques, dont l'usage s'est accru avec la crise sanitaire actuelle, reposent souvent sur des algorithmes sans que le grand public en soit toujours conscient ou informé.

# data[].attributes.body
Ecrivez vos questions ici

# data[].attributes.body
lire et retenir les points essentiels de ce texte

# data[].attributes.body
Son Débit
1) placer des silences
2) articuler pour se faire comprendre

Sa Diction
1) un volume pour se faire entendre
2) une intonation pour nuancer

# data[].attributes.body
Vous indiquerez ici les protagonistes

# data[].attributes.body
Inscrivez ici les compétences numériques acquises

# data[].attributes.body
prendre connaissance du document écrit dans sa version pdf ou en suivant le lien

# data[].attributes.body
en utilisant le logiciel Anki et créer une flachcard

# data[].attributes.attachment_link.title
Comment faire ses premières flashcards avec Anki ? (Tutoriel)

# data[].attributes.body
repérer les compétences de sa voix (rapport quantitatif)
- mesurer son débit

- caler son débit

- moduler son débit

# data[].attributes.body
Vous écrirez ici le synopsis

# data[].attributes.body
avec le logiciel ci dessus créez vos propres flaschcads pour construire, mémoriser et apprendre vos questions/réponses

# data[].attributes.body
repérer les compétences (rapport qualitatif)
- lire et savoir respirer

- placer sa voix

- varier la mélodie de sa voix

- varier la diction en intensité et qualité

# data[].attributes.body
Vous ferez à l'écrit votre interprétation du film en fonction du rôle des machines et des algorithmes

# data[].attributes.body
Vous montrez le rôle du test de Turing dans le film

# data[].attributes.body
On écrira une synthèse en rapport aux notions du programme en faisant le lien avec le film

# data[].attributes.headline
Travaux d'élèves :  Nina, Valentine, Lili 

# data[].attributes.subject
Travaux d'élèves :  Nina, Valentine, Lili 

# data[].attributes.body
Le titre et les acteurs :
Le film s'appelle Ex-Machina.
Les protagonistes sont :
- Caleb (Domhnall Gleeson) : codeur dans l’une des plus grandes entreprises d’informatique au monde : BlueBook
- Nathan (Oscar Isaac) : le PDG mystérieux de l'entreprise dans laquelle travaille Caleb
- Ava (Alicia Vikander) : l'intelligence artificielle à forme humaine créée par Nathan

# data[].attributes.headline
travaux d'élèves : Nina, Valentine, Lili

# data[].attributes.subject
travaux d'élèves : Nina, Valentine, Lili

# data[].attributes.body
Synopsis :
Caleb, brillant codeur travaillant pour le géant de la technologie BlueBook gagne un séjour chez Nathan, le mystérieux PDG de l'entreprise.
Arrivé dans la maison-laboratoire isolée de son patron, Caleb comprend rapidement le but de sa venue. Sa mission est de définir si Ava, la nouvelle intelligence artificielle à forme humaine créée par Nathan a une conscience. Dans cet environnement hypercontrôlé, Caleb va devoir garder la tête froide malgré les questionnements qui le tourmentent.

# data[].attributes.attachment_link.readable_text
Story by

Editor, Neural by TNW

Tristan covers human-centric artificial intelligence advances, quantum computing, STEM, Voltron, physics, and space stuff. Pronouns: He/him Tristan covers human-centric artificial intelligence advances, quantum computing, STEM, Voltron, physics, and space stuff. Pronouns: He/him

Robert Williams was wrongfully arrested earlier this year in Detroit, Michigan on suspicion of stealing five watches from a store. Police responding to the scene of the crime were given grainy surveillance footage of what appeared to be a black male absconding with the items.

Rather than perform an investigation, the police ran the footage through a facial recognition system that determined Williams was the suspect. The police then printed the image from Williams' driver's license and placed it in a "photo lineup" with other Black men's faces.

The police showed the lineup to a security guard at the store where the crime occurred. Despite having not witnessed the crime, the guard decided the individual in the surveillance footage was Williams.

That was enough evidence for the police: Williams was arrested on his front lawn while his wife and two daughters watched.

But Robert Williams was innocent. Facial recognition systems can't properly distinguish between different Black faces.

It wasn't until after spending a night in a cramped and filthy cell that Robert saw the surveillance image for himself. While interrogating Robert, an officer pointed to the image and asked if the man in the photo was him. Robert said it wasn't, put the image next to his face, and said "I hope you all don't think all Black men look alike."

One officer responded, "The computer must have gotten it wrong." Robert was still held for several more hours, before finally being released later that night into a cold and rainy January night, where he had to wait about an hour on a street curb for his wife to come pick him up. The charges have since been dismissed.

If Williams hadn't seen the image for himself, he wouldn't have been able to dispute it as the only piece of "evidence" of the crime he was wrongfully accused of. At a minimum, Williams would have been forced to either post bail or stay in jail awaiting trial - a trial where he would have been forced to prove his innocence. At worst he risked being seriously injured or murdered during his arrest.

Sure, the algorithm's gotten it wrong before. But this time was special. Williams got lucky. The justice system rarely admits it lets computers make decisions.

Police and their attorneys usually bypass the implication that AI tells the cops who to arrest by claiming these systems, facial recognition in this case, are just investigative tools. A human, we're told, makes the ultimate decision.

Like I said, Williams was lucky. Most people discriminated against by AI never get to see the evidence against them, especially when it can't be represented in a simple-to-understand format like an image.

The problem isn't that particular AI is racist. The one that cops used in lieu of conducting an actual investigation wasn't anomalous, it's the norm. All AI is racist. Most people just don't notice it unless it's blatant and obvious.

Recall Tay, the innocent chatbot Microsoft built to learn from the people it interacted with online. It took no time at all for Tay to become the chatbot version of an online racist. People could easily see that Tay was racist. Microsoft apologized and took it down immediately.

But Tay wasn't designed to produce outcomes for people. Tay's output wasn't weighed in decision making processes that affect humans. All of Tay's racism is right up-front where you can see it. Tay was merely an experiment in data bias

The truth is that when robots aren't being explicitly racist by outputting plain-language racial epithets, the general public assumes they're unbiased and trustworthy. But racism, as a concept, isn't calling a Black person the "n" word or drawing a swastika on a Jewish person's home. Those are of racism conducted by racists.

Racism isn't a collection of individual actions that we can point to. Racists are hell-bent on measuring racist acts because it helps create the illusion that racism only exists if we can prove it.

But AI isn't a racist being like a person. It doesn't deserve the benefit of the doubt, it deserves rigorous and constant investigation. When it recommends higher prison sentences for Black males than whites, or when it can't tell the difference between two completely different Black men it demonstrates that AI systems are racist. And, yet, we still use these systems.

Put another way: AI isn't racist because of its biased output, it's biased because of its racist input and that bias makes it inherently racist to use in any capacity that affects human outcomes. Even if none of the humans working on an AI system are racist, it will become a racist system if given the chance.

An AI that, for example, only determines the air temperature will become a demonstrably racist system if it is adapted in any capacity to produce output impacting outcomes for people of different races where at least one group is white and at least one group is not.

Wherever racial bias is measurable in AI, we find it.

A system trained exclusively on Black faces will typically not be as robust as the same system trained on white faces. And if you train a system on both white and Black faces simultaneously, it will produce better outcomes for white faces.

The reason for this is very simple: AI doesn't do many different things. It sorts and labels. Sometimes it makes guesses. That's about it.

When AI makes inferences, and those inferences involve the potential for racism, it makes racist inferences. This is because white is the default in technology and in many of the societies that have the greatest influence on the field of technology.

We just usually don't notice the racism until it's as easy to see as Tay's foul language.

Predictive policing systems are demonstrably racist. You ask it where crime will happen and it directs you to where police have the densest historical presence. It doesn't predict crime, it demonstrates that cops spend more time policing Black neighborhoods than white ones.

Sentencing algorithms don't predict recidivism. They show that judges have historically handed down harsher sentences for Black people.

Hiring algorithms don't choose the best candidate. They choose the candidate that most aligns with previous successful candidates.

Technologies such as facial recognition, emotion detection, and natural language processing just flat out work better for white men than anyone else.

It's only considered acceptable to profit off of and use products that serve white men above all others because racism is the default.

The fact that we still use these racist AI systems indicates that society generally views the concept of better outcomes for whites as acceptable. That's the very definition of systemic racism.

# data[].attributes.attachment_link.description
Robert Williams was wrongfully arrested earlier this year in Detroit, Michigan on suspicion of stealing five watches from a store. Police responding to the scene of the crime were given grainy surveillance footage of what appeared to be a b

# data[].attributes.attachment_link.readable_text
On a spring afternoon in 2014, Brisha Borden was running late to pick up her god-sister from school when she spotted an unlocked kid's blue Huffy bicycle and a silver Razor scooter. Borden and a friend grabbed the bike and scooter and tried to ride them down the street in the Fort Lauderdale suburb of Coral Springs.

Just as the 18-year-old girls were realizing they were too big for the tiny conveyances - which belonged to a 6-year-old boy - a woman came running after them saying, "That's my kid's stuff." Borden and her friend immediately dropped the bike and scooter and walked away.

But it was too late - a neighbor who witnessed the heist had already called the police. Borden and her friend were arrested and charged with burglary and petty theft for the items, which were valued at a total of $80.

Subscribe to the Series

Machine Bias: Investigating the algorithms that control our lives.

Compare their crime with a similar one: The previous summer, 41-year-old Vernon Prater was picked up for shoplifting $86.35 worth of tools from a nearby Home Depot store.

Prater was the more seasoned criminal. He had already been convicted of armed robbery and attempted armed robbery, for which he served five years in prison, in addition to another armed robbery charge. Borden had a record, too, but it was for misdemeanors committed when she was a juvenile.

Yet something odd happened when Borden and Prater were booked into jail: A computer program spat out a score predicting the likelihood of each committing a future crime. Borden - who is black - was rated a high risk. Prater - who is white - was rated a low risk.

Two years later, we know the computer algorithm got it exactly backward. Borden has not been charged with any new crimes. Prater is serving an eight-year prison term for subsequently breaking into a warehouse and stealing thousands of dollars' worth of electronics.

Scores like this - known as risk assessments - are increasingly common in courtrooms across the nation. They are used to inform decisions about who can be set free at every stage of the criminal justice system, from assigning bond amounts - as is the case in Fort Lauderdale - to even more fundamental decisions about defendants' freedom. In Arizona, Colorado, Delaware, Kentucky, Louisiana, Oklahoma, Virginia, Washington and Wisconsin, the results of such assessments are given to judges during criminal sentencing.

Rating a defendant's risk of future crime is often done in conjunction with an evaluation of a defendant's rehabilitation needs. The Justice Department's National Institute of Corrections now encourages the use of such combined assessments at every stage of the criminal justice process. And a landmark sentencing reform bill currently pending in Congress would mandate the use of such assessments in federal prisons.

In 2014, then U.S. Attorney General Eric Holder warned that the risk scores might be injecting bias into the courts. He called for the U.S. Sentencing Commission to study their use. "Although these measures were crafted with the best of intentions, I am concerned that they inadvertently undermine our efforts to ensure individualized and equal justice," he said, adding, "they may exacerbate unwarranted and unjust disparities that are already far too common in our criminal justice system and in our society."

The sentencing commission did not, however, launch a study of risk scores. So ProPublica did, as part of a larger examination of the powerful, largely hidden effect of algorithms in American life.

We obtained the risk scores assigned to more than 7,000 people arrested in Broward County, Florida, in 2013 and 2014 and checked to see how many were charged with new crimes over the next two years, the same benchmark used by the creators of the algorithm.

The score proved remarkably unreliable in forecasting violent crime: Only 20 percent of the people predicted to commit violent crimes actually went on to do so.

When a full range of crimes were taken into account - including misdemeanors such as driving with an expired license - the algorithm was somewhat more accurate than a coin flip. Of those deemed likely to re-offend, 61 percent were arrested for any subsequent crimes within two years.

We also turned up significant racial disparities, just as Holder feared. In forecasting who would re-offend, the algorithm made mistakes with black and white defendants at roughly the same rate but in very different ways.

The formula was particularly likely to falsely flag black defendants as future criminals, wrongly labeling them this way at almost twice the rate as white defendants.

White defendants were mislabeled as low risk more often than black defendants.

Could this disparity be explained by defendants' prior crimes or the type of crimes they were arrested for? No. We ran a statistical test that isolated the effect of race from criminal history and recidivism, as well as from defendants' age and gender. Black defendants were still 77 percent more likely to be pegged as at higher risk of committing a future violent crime and 45 percent more likely to be predicted to commit a future crime of any kind. ( Read our analysis.)

The algorithm used to create the Florida risk scores is a product of a for-profit company, Northpointe. The company disputes our analysis.

In a letter, it criticized ProPublica's methodology and defended the accuracy of its test: "Northpointe does not agree that the results of your analysis, or the claims being made based upon that analysis, are correct or that they accurately reflect the outcomes from the application of the model."

Northpointe's software is among the most widely used assessment tools in the country. The company does not publicly disclose the calculations used to arrive at defendants' risk scores, so it is not possible for either defendants or the public to see what might be driving the disparity. (On Sunday, Northpointe gave ProPublica the basics of its future-crime formula - which includes factors such as education levels, and whether a defendant has a job. It did not share the specific calculations, which it said are proprietary.)

Northpointe's core product is a set of scores derived from 137 questions that are either answered by defendants or pulled from criminal records. Race is not one of the questions. The survey asks defendants such things as: "Was one of your parents ever sent to jail or prison?" "How many of your friends/acquaintances are taking drugs illegally?" and "How often did you get in fights while at school?" The questionnaire also asks people to agree or disagree with statements such as "A hungry person has a right to steal" and "If people make me angry or lose my temper, I can be dangerous."

The appeal of risk scores is obvious: The United States locks up far more people than any other country, a disproportionate number of them black. For more than two centuries, the key decisions in the legal process, from pretrial release to sentencing to parole, have been in the hands of human beings guided by their instincts and personal biases.

If computers could accurately predict which defendants were likely to commit new crimes, the criminal justice system could be fairer and more selective about who is incarcerated and for how long. The trick, of course, is to make sure the computer gets it right. If it's wrong in one direction, a dangerous criminal could go free. If it's wrong in another direction, it could result in someone unfairly receiving a harsher sentence or waiting longer for parole than is appropriate.

The first time Paul Zilly heard of his score - and realized how much was riding on it - was during his sentencing hearing on Feb. 15, 2013, in court in Barron County, Wisconsin. Zilly had been convicted of stealing a push lawnmower and some tools. The prosecutor recommended a year in county jail and follow-up supervision that could help Zilly with "staying on the right path." His lawyer agreed to a plea deal.

But Judge James Babler had seen Zilly's scores. Northpointe's software had rated Zilly as a high risk for future violent crime and a medium risk for general recidivism. "When I look at the risk assessment," Babler said in court, "it is about as bad as it could be."

Then Babler overturned the plea deal that had been agreed on by the prosecution and defense and imposed two years in state prison and three years of supervision.

Criminologists have long tried to predict which criminals are more dangerous before deciding whether they should be released. Race, nationality and skin color were often used in making such predictions until about the 1970s, when it became politically unacceptable, according to a survey of risk assessment tools by Columbia University law professor Bernard Harcourt.

In the 1980s, as a crime wave engulfed the nation, lawmakers made it much harder for judges and parole boards to exercise discretion in making such decisions. States and the federal government began instituting mandatory sentences and, in some cases, abolished parole, making it less important to evaluate individual offenders.

But as states struggle to pay for swelling prison and jail populations, forecasting criminal risk has made a comeback.

Dozens of risk assessments are being used across the nation - some created by for-profit companies such as Northpointe and others by nonprofit organizations. (One tool being used in states including Kentucky and Arizona, called the Public Safety Assessment, was developed by the Laura and John Arnold Foundation, which also is a funder of ProPublica.)

There have been few independent studies of these criminal risk assessments. In 2013, researchers Sarah Desmarais and Jay Singh examined 19 different risk methodologies used in the United States and found that "in most cases, validity had only been examined in one or two studies" and that "frequently, those investigations were completed by the same people who developed the instrument."

Their analysis of the research through 2012 found that the tools "were moderate at best in terms of predictive validity," Desmarais said in an interview. And she could not find any substantial set of studies conducted in the United States that examined whether risk scores were racially biased. "The data do not exist," she said.

Since then, there have been some attempts to explore racial disparities in risk scores. One 2016 study examined the validity of a risk assessment tool, not Northpointe's, used to make probation decisions for about 35,000 federal convicts. The researchers, Jennifer Skeem at University of California, Berkeley, and Christopher T. Lowenkamp from the Administrative Office of the U.S. Courts, found that blacks did get a higher average score but concluded the differences were not attributable to bias.

The increasing use of risk scores is controversial and has garnered media coverage, including articles by the Associated Press, and the Marshall Project and FiveThirtyEight last year.

Most modern risk tools were originally designed to provide judges with insight into the types of treatment that an individual might need - from drug treatment to mental health counseling.

"What it tells the judge is that if I put you on probation, I'm going to need to give you a lot of services or you're probably going to fail," said Edward Latessa, a University of Cincinnati professor who is the author of a risk assessment tool that is used in Ohio and several other states.

But being judged ineligible for alternative treatment - particularly during a sentencing hearing - can translate into incarceration. Defendants rarely have an opportunity to challenge their assessments. The results are usually shared with the defendant's attorney, but the calculations that transformed the underlying data into a score are rarely revealed.

"Risk assessments should be impermissible unless both parties get to see all the data that go into them," said Christopher Slobogin, director of the criminal justice program at Vanderbilt Law School. "It should be an open, full-court adversarial proceeding."

Black Defendants' Risk Scores

White Defendants' Risk Scores

These charts show that scores for white defendants were skewed toward lower-risk categories. Scores for black defendants were not. (Source: ProPublica analysis of data from Broward County, Fla.)

Proponents of risk scores argue they can be used to reduce the rate of incarceration. In 2002, Virginia became one of the first states to begin using a risk assessment tool in the sentencing of nonviolent felony offenders statewide. In 2014, Virginia judges using the tool sent nearly half of those defendants to alternatives to prison, according to a state sentencing commission report. Since 2005, the state's prison population growth has slowed to 5 percent from a rate of 31 percent the previous decade.

In some jurisdictions, such as Napa County, California, the probation department uses risk assessments to suggest to the judge an appropriate probation or treatment plan for individuals being sentenced. Napa County Superior Court Judge Mark Boessenecker said he finds the recommendations helpful. "We have a dearth of good treatment programs, so filling a slot in a program with someone who doesn't need it is foolish," he said.

However, Boessenecker, who trains other judges around the state in evidence-based sentencing, cautions his colleagues that the score doesn't necessarily reveal whether a person is dangerous or if they should go to prison.

"A guy who has molested a small child every day for a year could still come out as a low risk because he probably has a job," Boessenecker said. "Meanwhile, a drunk guy will look high risk because he's homeless. These risk factors don't tell you whether the guy ought to go to prison or not; the risk factors tell you more about what the probation conditions ought to be."

"I'm surprised [my risk score] is so low. I spent five years in state prison in Massachusetts." (Josh Ritchie for ProPublica)

Sometimes, the scores make little sense even to defendants.

James Rivelli, a 54-year old Hollywood, Florida, man, was arrested two years ago for shoplifting seven boxes of Crest Whitestrips from a CVS drugstore. Despite a criminal record that included aggravated assault, multiple thefts and felony drug trafficking, the Northpointe algorithm classified him as being at a low risk of reoffending.

"I am surprised it is so low," Rivelli said when told by a reporter he had been rated a 3 out of a possible 10. "I spent five years in state prison in Massachusetts. But I guess they don't count that here in Broward County." In fact, criminal records from across the nation are supposed to be included in risk assessments.

Less than a year later, he was charged with two felony counts for shoplifting about $1,000 worth of tools from Home Depot. He said his crimes were fueled by drug addiction and that he is now sober.

Northpointe was founded in 1989 by Tim Brennan, then a professor of statistics at the University of Colorado, and Dave Wells, who was running a corrections program in Traverse City, Michigan.

Wells had built a prisoner classification system for his jail. "It was a beautiful piece of work," Brennan said in an interview conducted before ProPublica had completed its analysis. Brennan and Wells shared a love for what Brennan called "quantitative taxonomy" - the measurement of personality traits such as intelligence, extroversion and introversion. The two decided to build a risk assessment score for the corrections industry.

Brennan wanted to improve on a leading risk assessment score, the LSI, or Level of Service Inventory, which had been developed in Canada. "I found a fair amount of weakness in the LSI," Brennan said. He wanted a tool that addressed the major theories about the causes of crime.

Brennan and Wells named their product the Correctional Offender Management Profiling for Alternative Sanctions, or COMPAS. It assesses not just risk but also nearly two dozen so-called "criminogenic needs" that relate to the major theories of criminality, including "criminal personality," "social isolation," "substance abuse" and "residence/stability." Defendants are ranked low, medium or high risk in each category.

As often happens with risk assessment tools, many jurisdictions have adopted Northpointe's software before rigorously testing whether it works. New York State, for instance, started using the tool to assess people on probation in a pilot project in 2001 and rolled it out to the rest of the state's probation departments - except New York City - by 2010. The state didn't publish a comprehensive statistical evaluation of the tool until 2012. The study of more than 16,000 probationers found the tool was 71 percent accurate, but it did not evaluate racial differences.

A spokeswoman for the New York state division of criminal justice services said the study did not examine race because it only sought to test whether the tool had been properly calibrated to fit New York's probation population. She also said judges in nearly all New York counties are given defendants' Northpointe assessments during sentencing.

In 2009, Brennan and two colleagues published a validation study that found that Northpointe's risk of recidivism score had an accuracy rate of 68 percent in a sample of 2,328 people. Their study also found that the score was slightly less predictive for black men than white men - 67 percent versus 69 percent. It did not examine racial disparities beyond that, including whether some groups were more likely to be wrongly labeled higher risk.

Brennan said it is difficult to construct a score that doesn't include items that can be correlated with race - such as poverty, joblessness and social marginalization. "If those are omitted from your risk assessment, accuracy goes down," he said.

In 2011, Brennan and Wells sold Northpointe to Toronto-based conglomerate Constellation Software for an undisclosed sum.

Wisconsin has been among the most eager and expansive users of Northpointe's risk assessment tool in sentencing decisions. In 2012, the Wisconsin Department of Corrections launched the use of the software throughout the state. It is used at each step in the prison system, from sentencing to parole.

In a 2012 presentation, corrections official Jared Hoy described the system as a " giant correctional pinball machine " in which correctional officers could use the scores at every "decision point."

Wisconsin has not yet completed a statistical validation study of the tool and has not said when one might be released. State corrections officials declined repeated requests to comment for this article.

Some Wisconsin counties use other risk assessment tools at arrest to determine if a defendant is too risky for pretrial release. Once a defendant is convicted of a felony anywhere in the state, the Department of Corrections attaches Northpointe's assessment to the confidential presentence report given to judges, according to Hoy's presentation.

In theory, judges are not supposed to give longer sentences to defendants with higher risk scores. Rather, they are supposed to use the tests primarily to determine which defendants are eligible for probation or treatment programs.

Prediction Fails Differently for Black Defendants

Overall, Northpointe's assessment tool correctly predicts recidivism 61 percent of the time. But blacks are almost twice as likely as whites to be labeled a higher risk but not actually re-offend. It makes the opposite mistake among whites: They are much more likely than blacks to be labeled lower risk but go on to commit other crimes. (Source: ProPublica analysis of data from Broward County, Fla.)

But judges have cited scores in their sentencing decisions. In August 2013, Judge Scott Horne in La Crosse County, Wisconsin, declared that defendant Eric Loomis had been "identified, through the COMPAS assessment, as an individual who is at high risk to the community." The judge then imposed a sentence of eight years and six months in prison.

Loomis, who was charged with driving a stolen vehicle and fleeing from police, is challenging the use of the score at sentencing as a violation of his due process rights. The state has defended Horne's use of the score with the argument that judges can consider the score in addition to other factors. It has also stopped including scores in presentencing reports until the state Supreme Court decides the case.

"The risk score alone should not determine the sentence of an offender," Wisconsin Assistant Attorney General Christine Remington said last month during state Supreme Court arguments in the Loomis case. "We don't want courts to say, this person in front of me is a 10 on COMPAS as far as risk, and therefore I'm going to give him the maximum sentence."

That is almost exactly what happened to Zilly, the 48-year-old construction worker sent to prison for stealing a push lawnmower and some tools he intended to sell for parts. Zilly has long struggled with a meth habit. In 2012, he had been working toward recovery with the help of a Christian pastor when he relapsed and committed the thefts.

After Zilly was scored as a high risk for violent recidivism and sent to prison, a public defender appealed the sentence and called the score's creator, Brennan, as a witness.

Brennan testified that he didn't design his software to be used in sentencing. "I wanted to stay away from the courts," Brennan said, explaining that his focus was on reducing crime rather than punishment. "But as time went on I started realizing that so many decisions are made, you know, in the courts. So I gradually softened on whether this could be used in the courts or not."

"Not that I'm innocent, but I just believe people do change." (Stephen Maturen for ProPublica)

Still, Brennan testified, "I don't like the idea myself of COMPAS being the sole evidence that a decision would be based upon."

After Brennan's testimony, Judge Babler reduced Zilly's sentence, from two years in prison to 18 months. "Had I not had the COMPAS, I believe it would likely be that I would have given one year, six months," the judge said at an appeals hearing on Nov. 14, 2013.

Zilly said the score didn't take into account all the changes he was making in his life - his conversion to Christianity, his struggle to quit using drugs and his efforts to be more available for his son. "Not that I'm innocent, but I just believe people do change."

Florida's Broward County, where Brisha Borden stole the Huffy bike and was scored as high risk, does not use risk assessments in sentencing. "We don't think the [risk assessment] factors have any bearing on a sentence," said David Scharf, executive director of community programs for the Broward County Sheriff's Office in Fort Lauderdale.

Broward County has, however, adopted the score in pretrial hearings, in the hope of addressing jail overcrowding. A court-appointed monitor has overseen Broward County's jails since 1994 as a result of the settlement of a lawsuit brought by inmates in the 1970s. Even now, years later, the Broward County jail system is often more than 85 percent full, Scharf said.

In 2008, the sheriff's office decided that instead of building another jail, it would begin using Northpointe's risk scores to help identify which defendants were low risk enough to be released on bail pending trial. Since then, nearly everyone arrested in Broward has been scored soon after being booked. (People charged with murder and other capital crimes are not scored because they are not eligible for pretrial release.)

The scores are provided to the judges who decide which defendants can be released from jail. "My feeling is that if they don't need them to be in jail, let's get them out of there," Scharf said.

Scharf said the county chose Northpointe's software over other tools because it was easy to use and produced "simple yet effective charts and graphs for judicial review." He said the system costs about $22,000 a year.

In 2010, researchers at Florida State University examined the use of Northpointe's system in Broward County over a 12-month period and concluded that its predictive accuracy was "equivalent" in assessing defendants of different races. Like others, they did not examine whether different races were classified differently as low or high risk.

Scharf said the county would review ProPublica's findings. "We'll really look at them up close," he said.

Broward County Judge John Hurley, who oversees most of the pretrial release hearings, said the scores were helpful when he was a new judge, but now that he has experience he prefers to rely on his own judgment. "I haven't relied on COMPAS in a couple years," he said.

Hurley said he relies on factors including a person's prior criminal record, the type of crime committed, ties to the community, and their history of failing to appear at court proceedings.

ProPublica's analysis reveals that higher Northpointe scores are slightly correlated with longer pretrial incarceration in Broward County. But there are many reasons that could be true other than judges being swayed by the scores - people with higher risk scores may also be poorer and have difficulty paying bond, for example.

Most crimes are presented to the judge with a recommended bond amount, but he or she can adjust the amount. Hurley said he often releases first-time or low-level offenders without any bond at all.

However, in the case of Borden and her friend Sade Jones, the teenage girls who stole a kid's bike and scooter, Hurley raised the bond amount for each girl from the recommended $0 to $1,000 each.

Hurley said he has no recollection of the case and cannot recall if the scores influenced his decision.

Sade Jones, who had never been arrested before, was rated a medium risk. (Josh Ritchie for ProPublica)

The girls spent two nights in jail before being released on bond.

"We literally sat there and cried" the whole time they were in jail, Jones recalled. The girls were kept in the same cell. Otherwise, Jones said, "I would have gone crazy." Borden declined repeated requests to comment for this article.

Jones, who had never been arrested before, was rated a medium risk. She completed probation and got the felony burglary charge reduced to misdemeanor trespassing, but she has still struggled to find work.

"I went to McDonald's and a dollar store, and they all said no because of my background," she said. "It's all kind of difficult and unnecessary."

Julia Angwin is a senior reporter at ProPublica. From 2000 to 2013, she was a reporter at The Wall Street Journal, where she led a privacy investigative team that was a finalist for a Pulitzer Prize in Explanatory Reporting in 2011 and won a Gerald Loeb Award in 2010.

Lauren Kirchner is a senior reporting fellow at ProPublica. Surya Mattu is a contributing researcher. Design and production by Rob Weychert and David Sleight.

# data[].attributes.attachment_link.description
There's software used across the country to predict future criminals. And it's biased against blacks.

# data[].attributes.body
Usages algorithmes divers et dans des domaines divers

Évolutions des algorithmes : progrès pour individus et sociétés et ils se perfectionnent sans cesse

Mais la CNIL et le Défenseur des Droits sont préoccupés par les conséquences des algorithmes sur les droits individuels

-> Peut mener à des discriminations

Hubert, Gavoille, Couturier, Baumler

# data[].attributes.headline
Travaux d'élèves : Pourquoi est-ce discriminatoire ?

# data[].attributes.subject
Travaux d'élèves : Pourquoi est-ce discriminatoire ?

# data[].attributes.body
En théorie : les algorithmes sont plus objectifs mais les algorithmes sont fait par des humains donc avec des critères humains.

Des biais peuvent se créer à toutes les étapes : par exemple lors de la création de l'algorithme.

Certains critères sont intentionnels et légaux (Ex : l’âge pour le prêt bancaire ou encore le lieu de résidence pour moduler des primes).

Comme la plupart des algorithmes sont "apprenants", il faut leur fournir des données qui ne sont pas toujours significatives (Ex : pour les reconnaissances faciales et vocales, beaucoup plus de données masculines et blanches sont enregistrées ce qui rend donc moins performant les algorithmes vis-a-vis des femmes et des personnes de couleurs).

Hubert, Gavoille, Couturier, Baumler

# data[].attributes.headline
Travaux d'élèves : La fausse neutralité et ses effets discriminatoires:

# data[].attributes.subject
Travaux d'élèves : La fausse neutralité et ses effets discriminatoires:

# data[].attributes.body
Le plus souvent, c’est la combinaison de plusieurs critères neutres qui peut emporter ces effets discriminatoires

Des discriminations invisibles et potentiellement massives :

Dans les algorithmes : biais discriminatoires automatiques et systématiques, donc possibilité de systématiser les discriminations.

Ces systèmes risquent ainsi « de renforcer les discriminations en leur donnant une apparence d’objectivité.

Intégrant des pratiques discriminatoires antérieures dans le cadre du jeu de données mobilisées pour son apprentissage, les biais des systèmes dits « intelligents » tendent à se renforcer au fil de leur déploiement.

Hubert, Gavoille, Couturier, Baumler

# data[].attributes.body
Les biais algorithmiques doivent pouvoir être identifiés puis corrigés et les auteurs de décisions discriminatoires issues de traitement algorithmiques doivent pouvoir être sanctionnés.

Hubert, Gavoille, Couturier, Baumler

# data[].attributes.headline
Travaux d'élèves : Réaliser des études d’impact pour anticiper les effets discriminatoires des algorithmes

# data[].attributes.subject
Travaux d'élèves : Réaliser des études d’impact pour anticiper les effets discriminatoires des algorithmes

# data[].attributes.body
-La question du contrôle des algorithmes ne doit pas se poser car elle doit être résolue dès la création afin d’éviter tous problèmes.

-Au Canada depuis avril 2020 des audits sont obligatoires dans les entreprises pour informer sur les discriminations. Il y a aussi la mise en place d’une plateforme: L’IEA = évaluation de l’incidence algorithmique. En France il est possible de voir cela arriver sous le nom de: AIPD (analyse d’impact relatives à la protection des données).

- Ils doivent contenir une évaluation des risques pour les droits et libertés des personnes. Cela constituerait donc déjà un moyen d’anticiper de tels effets discriminatoires.

- Suite au déploiement des algorithmes il faut un contrôle régulier

Tout cela nous amène à nous demander: Faut-il créer en prévoyant les risques? Anticiper au point de se brider?

Hubert, Gavoille, Couturier, Baumler

# data[].attributes.headline
Travaux d'élèves : Lois de protection contre les discriminations 

# data[].attributes.subject
Travaux d'élèves : Lois de protection contre les discriminations 

# data[].attributes.body
Peu importe la personne qui a créé l'algorithme ("l'outil numérique"), c'est l'utilisateur qui sera tenu pour responsable par rapport à l'usage qu'il en a fait.

Protection du droit à la vie privée

Art. L1221-6; L'1221-9 du code du travail "La vérification du profit d'un candidat via les réseaux sociaux personnels et la collecte de données personnelles à son insu sont interdites"

Interdiction de discriminer

Art. L1132-1 du code du travail ou Art. 225-1 du code pénal "La recherche ("sourcing") et la sélection de candidats fondées sur un critère discriminatoire sont interdites et sanctionnées"

MAIS une dérogation est possible selon le contexte (exemple= l'âge du candidat pour un contrat aidé.)

Une procédure de recrutement doit respecter trois aspect : l'objectivité ; la traçabilité ; la transparence

S'il y a un manque de transparence il peut y avoir présomption de discrimination.

Protection des données personnelles

Loi N°78-17 du 6 janvier 1978 :

"Les candidats à l'emploi disposent d'un droit d'accès et de rectification des données qui les concernent et d'un droit d'opposition à ce que leurs données figurent dans un fichier"

"Le responsable du fichier doit permettre aux personnes concernées par les informations qu'il détient d'exercer pleinement leurs droits par une mention d'information"

Hubert, Gavoille, Couturier, Baumler

# data[].attributes.body
_ Les discriminations existeront s'il n’y a pas assez de précisions de la part du créateur. D’autant plus que l’utilisateur n’est pas forcément au courant de l’utilisation

- Il y a souvent absence d’outil spécifique dédié au recrutement et recours au TIC (technologie informatique et communication)

*Tic inexistant : absence transparence et de traçabilités procédures

* Outils pensés pour le recrutement sur des emplois de cadres ( outils inadaptés / favorise sélection selon diplôme / risque sélection candidat via données personnelles

-Outils non spécifiques au recrutement( absence de garantie juridique contre discrimination)

Risque lié à la visibilité non maîtrisée des données personnelles

Risque indirect de discrimination lié à la facture numérique (possibilité d’accès aux appareils numériques)

Les acteurs en charge du recrutement ne font pas suffisamment le lien entre l’usage des outils numériques et les risques discriminatoires qui en découlent

Cette exposition aux risques vient de plusieurs facteurs:
_ Le fait de ne pas savoir ce qui va être fait des informations que le candidat laissé sur l’espace prévu à cet effet.
_ Même s’il y a une liste de mots-clés qui paraissent neutres, l’utilisation qu’on fait de l’algorithme ne protège pas des discriminations car certaines associations de mots peuvent y être associées.
_ Aucun contrôle sur ce qui est des offres d’emploi proposé sur le site (et encore plus sur les sites non spécialisés).
_ Le fait de rester anonyme ou semi-anonyme rend suspect aux yeux d’un potentiel employeur et donne l’accès au recruteur alors qu’on ne le voulait pas spécialement.
_ Les sites peuvent être difficiles d’utilisation si on est pas assez formé pour cela.
_ Dans les cas des travaux pas/ peu qualifiés, on ne juge pas sur le niveau de diplôme mais sur qui est la personne.

Hubert, Gavoille, Couturier, Baumler

# data[].attributes.headline
travaux d'élèves : Les préconisations du Défenseur des droits

# data[].attributes.subject
travaux d'élèves : Les préconisations du Défenseur des droits

# data[].attributes.body
1: Exposer au début ou en fin de site, les conditions respectées par ce logiciel.

2: Répartir les algorithmes et ne pas cumuler trop de filtres.

3: Il doit y avoir une liste de mots-clefs ou des interpellations lors de l’utilisation d’un mot à caractère discriminatoire.

4: Les CIL (Correspondants Informatiques et Libertés) devraient avoir accès à ce que font les éditeurs afin de s’assurer du bon respect des normes prévues.

5: Adapter les filtres pour valoriser tout type de dossier.

6: Contrôler les offres d’emploi.

7: Informer les recruteurs et les demandeurs d’emploi sur la législation anti-discrimination.

8: Instaurer une anonymisation cohérente avec la législation.

9: Limiter les zones de textes pour aller à l’essentiel et limiter les remarques discriminatoires.

10: Garantir la traçabilité du processus de recrutement

11: Formaliser en interne la procédure de recours aux TIC

12: Contrôler la conformité des pratiques aux procédures internes.

13: Généraliser l’existence de « CIL » (Correspondants Informatique et Libertés) et développer le  système de mutualisation de CIL pour les petites et moyennes entreprises.

14: Inclure un volet spécifique sur les risques de discrimination liés à l’usage des TIC.

15: Intégrer dans les guides internes de procédures de recrutement des mentions spécifiques sur l’usage des outils numériques et les risques existant

16: Créer des onglets spécifiques ou des messages automatiques rappelant l’interdiction de discrimination .

17: Inciter les candidats à utiliser les sites d’e-recrutement spécialisés.

18: Informer les candidats: sur les risques discriminatoires et sur la nécessité de cohérence des données fournies

19: Afficher clairement les informations transférées ou visibles par les employeurs

20: Alerter régulièrement les candidats inscrits sur les sites d’e-recrutement sur l’état de leur compte.

Hubert, Gavoille, Couturier, Baumler

# data[].attributes.headline
Travaux d'élèves : Communiqué de presse du défenseur des droits 

# data[].attributes.subject
Travaux d'élèves : Communiqué de presse du défenseur des droits 

# data[].attributes.body
“Algorithmes et discriminations : le Défenseur des Droits; avec la CNIL, appelle à une mobilisation collective”

L'usage des outils numériques s’est accru avec la crise sanitaire. Cela repose souvent sur des algorithmes sans que les gens soient toujours au courant.

Désormais utilisé dans différents domaines comme la justice, la police, les prestations sociales ou encore le recrutement.

Source de progrès mais aussi porteurs de risques.

Les algorithmes peuvent être discriminants si les personnes qui l’ont créé ont intégré des stéréotypes au sein de l’algorithme.

Algorithmes apparemment neutres mais des biais sont présents et avec une grande ampleur qui peuvent intervenir lors de la conception et du déploiement des algorithmes.

Pour faire face à ces dangers, le Défenseur des droits appelle à une prise de conscience collective car ces problèmes ne doivent pas être un “angle mort” du débat public. Lui et le CNIL proposent différentes mesures :

-> Former et sensibiliser notamment les professionnels des métiers techniques et de l’ingénierie.

-> Soutenir les recherches pour les études de mesures et de prévention des biais

->Renforcer les obligations légales : Informer, être transparent sur les informations, expliquer.

->Réaliser des études d’impact : Pour anticiper les discriminations dû aux algorithmes et pouvoir gérer leurs conséquences après leurs diffusions.

Hubert, Gavoille, Couturier, Baumler

# data[].attributes.headline
 Travaux d'élèves : Lili, Nina, Valentine

# data[].attributes.subject
 Travaux d'élèves : Lili, Nina, Valentine

# data[].attributes.body
• Les faits: Le communiqué informe de la dangerosité des outils numériques qui se répandent depuis quelques années. En effet, ils constituent un risque pour les droits fondamentaux, ils sont vecteurs de discriminations car conçus par des humains intériorisants des stéréotypes.
• Solutions et objectifs: Pour y remédier, des solutions sont misent en avant tel que l’appel à une prise de conscience, un changement d’objectif des outils comme l’égalité et la compréhension et non plus l’augmentation, le renforcement des obligations et l’étude des impacts qu’ils produisent. La vigilance et l’anticipation permettront de solutionner le risque premier des outils numériques.

# data[].attributes.headline
Travaux d'élèves : Lili, Nina, Valentine

# data[].attributes.subject
Travaux d'élèves : Lili, Nina, Valentine

# data[].attributes.body
Qu’est ce qu’un biais algorithmique?

• la définition: “Un biais algorithmique est le fait que le résultat d'un algorithme d'apprentissage ne soit pas neutre, loyal ou équitable.”

• origines du fait: Les biais de l'algorithme peuvent résulter de différents biais tel que les biais cognitifs du programmeur de l'algorithme, des biais statistiques liées notamment aux données d’apprentissage ou encore des biais économiques. Il s’agit dans tous les cas d’une distorsion de traitement dû à des jugements faux liés à un traitement basé sur une utilisation automatique et inconsciente de règles de raisonnement qu’on appelle “heuristique” en psychologie.

• qu’est ce qu’un biais? définition architecture: “Oblique par rapport à une direction principale“ ( on peut se rendre compte que il s’agit d’un détour de direction prise par rapport à celle qui devrait être prise à l’origine, c’est une déviance inconsciente)

au figuré: Côté, aspect.

• synonymes: erreur systématique, détour, côté, aspect…

• caractère polysémique de la langue: Un biais peut être une erreur, un détournement mais également un aspect de tous les côtés d’une chose. Peut on qualifier un détournement de trajectoire d’erreur? Est ce légitime?

# data[].attributes.headline
Travaux d'élèves : Lili, Nina, Valentine 

# data[].attributes.subject
Travaux d'élèves : Lili, Nina, Valentine 

# data[].attributes.body
Les algorithmes sont régulièrement utilisés dans la police, la justice ou encore le recrutement. Cependant ils peuvent engendrer de la discrimination dans ces domaines de part les stéréotypes que les algorithmes utilisent (le sexe, le genre, le lieu d'habitation, l'origine, la couleur de peau...) car les algorithmes sont créés par les humains donc leurs stéréotypes se retrouvent en eux (un Homme qui a des stéréotypes et qui crée un algorithme, ses stéréotypes se retrouveront dans son algorithme.

Ainsi, des mesures sont prises pour limiter cette discrimination des algorithmes, comme former et sensibiliser les personnes aux risques des algorithmes, soutenir la recherche pour que les algorithmes deviennent plus égalitaires et compréhensibles, renforcer les obligations légales sur l'information, et la transparence des algorithmes ou encore réaliser des études d'impact pour anticiper les discriminations et contrôler leurs effets.

# data[].attributes.headline
Travaux d'élèves : Lili, Nina, Valentine 

# data[].attributes.subject
Travaux d'élèves : Lili, Nina, Valentine 

# data[].attributes.body
Les algorithmes sont à première vue neutres mais ce n'est pas totalement le cas. En effet les algorithmes sont créés par l'Homme, et l'Homme n'est pas 100% neutre, ni objectif. Ainsi la manière dont la personne qui va créer un algorithme voit le monde, va impacter la manière dont l'algorithme fonctionne, étant plus ou moins discriminant. Les algorithmes sont souvent discriminatoires car ils récupèrent des données biaisées, sont faussement neutres (quand un algorithme demande l'établissement d'origine de quelqu'un sur un site de recrutement, ce n'est pas seulement pour savoir où la personne habite), ont de nombreuses limites techniques (ils ne savent nuancer une langue, comprendre des tics de langage, l'ironie d'une phrase...) et stigmatisent des groupes déjà défavorisés. De plus, ce sont des discriminations invisibles, car les utilisateurs, les victimes ne sont pas au courant que leurs données peuvent être utilisées à des fins discriminatoires.

# data[].attributes.headline
travaux d'élèves : Lili, Nina, Valentine 

# data[].attributes.subject
travaux d'élèves : Lili, Nina, Valentine 

# data[].attributes.body
Juridiquement, la vérification du profil personnel d'un candidat via les réseaux sociaux dans le cadre d'un recrutement par exemple et la collecte de données personnelles à son insu sont interdites. La sélection de candidats pour un recrutement fondée sur un ou plusieurs critères discriminatoires est également interdite, sauf de manière exceptionnelle (si nous avons besoin pour un spectacle d'une femme ou d'un homme spécifiquement par exemple, il peut y avoir un critère sur le genre et le sexe de la personne). Cependant les algorithmes ne sont pas forcément programmés pour respecter ces conditions. Les logiciels de recrutement par exemple, présentent un risque face au paramétrage par défaut, une absence de limitation concernant la collecte de tout type de données, et du fait que les utilisateurs ne soient pas au courant du paramétrage et des absences de limitation dans ces algorithmes (ce qui augmente les discriminations). Pour cela il faudrait instaurer des systèmes permettant de limiter la recherche, le tri et la sélection de candidats sur des critères discriminatoires. Les sites internet de recrutement présentent également des risques : une discrimination par rapport aux critères fournis par le candidat (sexe, âge, apparence), une anonymisation possible du candidat (ce qui peut paraître suspect aux yeux du recruteur) ou partielle donc inutile au final...

De plus, ce sont des sites conçus à la base pour le recrutement de cadres mais aujourd'hui ils servent pour tout type d'emploi, ce qui est complexe pour les profils moins qualifiés et/ou moins formés à l'usage des outils numériques, il y a également plus d'importance accordée au diplôme, qui n'est pas le même selon l'emploi (qui nécessite une qualification ou non) donc si l'emploi est peu/pas qualifié, ce seront les éléments personnels qui seront utilisés comme critères de sélection étant donné que le diplôme ne ""compte pas"". Ce système augmente bien évidemment les discriminations. Il faudrait ainsi adapter l'ergonomie des filtres pour valoriser les profils peu ou non qualifiés, systématiser l'anonymisation, limiter les zones de texte libre ou encore prévoir un filtre basé sur l'aire de mobilité acceptée par le candidat pour éviter le filtrage des candidats en fonction du lieu de résidence.

Quant à l'utilisation des outils numériques pour les candidats, il existe un risque car les sites de recrutement ont souvent été créés pour des emplois de cadres. Ainsi pour les emplois peu et/ou pas qualifiés, le recours aux TIC est soit inexistant (les recrutements sont encore très peu formalisés : il y a donc un risque de transparence et de traçabilité de la procédure), soit inadapté (les sites ont été créés à la base pour des cadres, l'algorithme se base donc sur le niveau du diplôme du candidat, ce qui est discriminant car le candidat ne cherche pas spécialement à être cadre, soit non spécifique au recrutement (puisque ce sont des sites d'annonces généralistes). De plus, dans ces cas-là, les recruteurs vont alors beaucoup plus recourir aux réseaux sociaux personnels du candidat (ses données personnelles sont alors dévoilées). Il faudrait donc permettre à ces candidats de recourir à des outils numériques adaptés pour ces emplois, augmenter la possibilité de recourir aux TIC pour limiter la discrimination pour les candidats. Il serait également judicieux d'informer et de sensibiliser les recruteurs sur le lien entre l'usage des outils numériques et les risques discriminatoires qui en découlent et donc d'inclure un volet spécifique sur les risques de discrimination liés à l'usage des TIC, ou bien d'intégrer des messages automatiques rappelant l'interdiction de la discrimination. Il serait également intelligent d'accompagner les candidats, car il existe un risque indirectement discriminatoire puisque les personnes mal ou peu formées aux TIC utilisent moins les outils numériques pour rechercher des offres d'emplois et voient donc leur chance d'accès à un emploi réduite. De plus, il existe également un risque lié à une visibilité non maîtrisée des données personnelles du candidat (une surexposition sur les réseaux sociaux du candidat par exemple : photos, opinions politiques, religion, orientation sexuelle, etc...) qui ne sont pas pertinentes dans l'emploi normalement mais qui, en fonction des stéréotypes et des préjugés du recruteur, vont défavoriser ou bien favoriser un candidat. Il faudrait donc inciter les candidats à utiliser des sites spécialisés, informer les candidats sur les risques discriminatoires et afficher clairement les informations qui sont visibles par les employeurs.

# data[].attributes.body
De plus en plus utilisés dans des domaines tels que l’accès aux prestations sociales, la police, la justice ou encore le recrutement, les algorithmes se veulent représentatifs de l’évolution des hommes dans le domaine numérique. Les algorithmes on y a recours de plus en plus.

Cependant en plus du problème lié à la protection des données personnelles un autre problème majeur se pose lorsque nous sommes confrontés à des algorithmes : le problèmes des discriminations.

On a tendance à concevoir les algorithmes comme des êtres à part entière qui sont partial et neutre car dépourvus de toute sensibilité, dépourvus d’affects. Ce n’est pas le cas car les algorithmes ne sont pas vivant mais ils sont conçus et générés par le vivant.

Des humains qui ont des stéréotypes retransmettent automatiquement leurs stéréotypes dans les algorithmes au cour de la programmation ce qui peut engendrer des discriminations.

# data[].attributes.headline
Travaux d'élèves : Nina, Valentine, Lili 

# data[].attributes.subject
Travaux d'élèves : Nina, Valentine, Lili 

# data[].attributes.body
Le but des algorithmes est de faire preuve de neutralité, malheureusement cet objectif n’est pas encore atteint car les algorithmes étant créés par les Hommes, leurs stéréotypes et préjugés se retrouvent dans leur création.
Ils arrivent à dépasser certains biais, mais en créent d'autres malgré eux.
Dans le recrutement, le lieu de résidence peut être pris en compte par un algorithme et induire un certain jugement basé sur un stéréotype par exemple.

Les algorithmes ont beaucoup de limites, par exemple,  ils ne savent pas nuancer et comprendre l'ironie, des tics de langage ainsi que certains accents. Cela entraine une possible discrimination sur des groupes d'individus déjà défavorisé et stygmatisé dans la société.

Ce sont des discriminations invisibles car les utilisateurs ne sont pas au courant que leurs données vont être utilisées par des algorithmes discriminants.
Parce que les algorithmes sont des technologies utilisées depuis peu, les informations sur leurs dangers sont encore peu connues de la population.

# data[].attributes.body
L'usage nouveau et grandissant des algorithmes dans notre société (on pourra ajouter à cela le cas récent de la crise sanitaire). Ainsi des organismes comme la CNIL émettent la supposition que les algorithmes pourraient être vecteurs de discriminations alors même qu'ils étaient supposés les réduire. Nous pouvons citer l'exemple des technologies de reconnaissance faciale, qui rencontrent des difficultés dans l'analyse des données concernant certaines catégories d'usager.
Selon le Défenseur des Droits, les algorithmes pousseraient à la stigmatisation "des membres des groupes sociaux déjà défavorisés et dominés."
Ce potentiel discriminatoire des algorithmes serait lié selon le rapport au manque de vigilance de la part des concepteurs de ceux-ci.

# data[].attributes.body
Dans un premier temps, il est important de rappeler que depuis plusieurs années l’utilisation des algorithmes s’est généralisée, ils sont de plus en plus utilisés dans divers domaines.

Toutefois, bien que la plupart des outils numériques que nous utilisons reposent sur des algorithmes, nous n’en sommes pas toujours conscients. Le problème c’est qu’ils peuvent être à l’origine d’inégalités. Ces systèmes intelligents risqueraient alors de systématiser les discriminations sans que les victimes en aient conscience et puissent les contester.

Pourtant à première vue, les algorithmes nous semblent être objectifs, fiables et neutres car ils sont dépourvus d’affects et de sensibilité comme c’est le cas pour les hommes. Mais les algorithmes ne sont neutres qu’en apparence car en réalité ils sont conçus par des humains et sont donc programmés à partir de critères humains qui ne sont pas toujours neutres et objectifs. De fait des biais pouvant engendrer des discriminations se retrouvent dans les algorithmes. C’est ce qu’on appelle les données biaisées, elles retranscrivent les stéréotypes humains au sein des algorithmes. À l’instar d’un biais cognitif qui est un mécanisme de pensée qui vient fausser le jugement d’un individu, les biais des algorithmiques altèrent les algorithmes en les rendant partiaux et non-neutres.

Le danger de la discrimination des algorithmes c’est qu’elle est invisible au sens où si on ne s’intéresse pas au fonctionnement du programme en profondeur on ne s’en rend pas compte. En effet, la discrimination se trouve dans des critères neutres en apparence. Prenons l’exemple de la plateforme Parcoursup qui permet aux établissements de l’enseignement supérieur de «faire le tri» parmi les candidatures. Parmi les informations que les élèves doivent fournir il y a leur lycée d’origine. A plusieurs reprises Parcoursup à été accusé d’être discriminatoire envers les lycéens de banlieues qui parce que ce critère est renseigné, ont eu plus de mal à intégrer les formations qu’ils demandaient. Les personnes issues de l’immigration et les jeunes issus d’un milieu défavorisé faisait déjà l’objet de discriminations systémiques et l’algorithme censé aider à la mixité sociale n’a en rien aidé ce groupe social. De fait, les algorithmes pousseraient à la stigmatisation des membres des groupes sociaux déjà défavorisés et dominés.

Or nous pouvons noter qu’au moment de rentrer leur lycée d’origine les élèves ne se doutaient pas que c’était un critère engendrant une discrimination, ils n’en avaient pas conscience. Et encore aujourd’hui puisque l’on ne sait avec précision comment fonctionne l’algorithme parcoursup on ne peut pas dire quels sont tous les effets discriminatoires engendrés par les critères que l'on renseigne.

Ainsi face à l’accélération des usages du numérique liée à la crise du COVID-19, la CNIL et le Défenseur des droits s’inquiètent de l’impact des algorithmes sur les droits fondamentaux. Ils recommandent aux pouvoirs publics de prendre des mesures afin de prévenir et de lutter contre les discriminations.

Le CNIL préconise de

- Soutenir la recherche pour développer les études de mesure et les méthodologies de prévention des biais

- Former et sensibiliser les professionnels

- Renforcer les obligations en matière d’information, de transparence et d’explicabilité des algorithmes

- Réaliser des études d’impact pour anticiper les effets discriminatoires des algorithmes.

# data[].attributes.body
Aujourd’hui avec l’utilisation des «job board» – sites de e-recrutement – et des réseau sociaux tels que LinkedIn ou Viadeo il paraît impensable aux demandeurs d’emploi tout comme aux recruteurs de se passer d’outils numériques pour s’insérer dans le marché du travail. Mais les outils numériques, aujourd’hui prépondérants présentent également un certain nombres de risques juridiques, dont les professionnels du recrutement n’ont pas toujours conscience.

Dans un premier temps, beaucoup de recruteurs ont tendance à vérifier le profil d’un candidat via leurs réseaux sociaux personnels pour la simple et bonne raison que ces profils sont souvent très simples d’accès. Or, cette utilisation des réseaux sociaux dans le cadre d’un recrutement représente une infraction au code de travail et une intrusion dans la vie privée du demandeur d’emploi puisque un recruteur, intermédiaire de l’emploi ou employeur, n’a pas le droit de demander aux candidats à un emploi des informations sans lien direct avec le poste à pourvoir. La facilité d’accès aux outils numériques et aux algorithmes nous fait oublier que de telles pratiques sont illégales et intrusives vis à vis de la vie privée.

Il en va de même pour l’interdiction de pratiques discriminatoires. Là encore les algorithmes et outils numériques contribuent à des pratiques illégales en matière de recrutement et ce de manière non conscientes la plupart du temps. Sauf exception, la sélection de candidats pour un recrutement fondée sur un ou plusieurs critères prohibés par la loi est interdite. Ainsi une procédure de recrutement pour être jugée non discriminatoire, qu’elle soit ou non dématérialisée, ne doit pas traiter différemment un candidat sur la base d’un ou plusieurs critères de discrimination prohibés par la loi et doit être objective, traçable et transparente. Or, les algorithmes ne sont pas forcément programmés pour respecter ces conditions et peuvent sélectionner des candidats en fonction de critères discriminatoires. Les algorithmes facilite la discrimination parce qu’ils la rende moins visible. C’est pourquoi la transparence est un critère indispensable auquel cas le recruteur sera soupçonné d’utiliser des algorithmes programmé pour traiter différemment un candidat sur la base d’un ou plusieurs critères et de il sera accusé d’enfreindre la loi.

Les sites internet de recrutement présentent également des risques plus important de discriminations du fait des critères fournis par le candidat (sexe, âge, apparence). Seuls trois métiers peuvent se baser sur ces critères sans que cela soit considéré comme étant de la discrimination: mannequin, modèle, comédien.

Ainsi au sein des pro logiciels par exemple l’absence de limitation permet de collecter tout type de données et d’effectuer des recherches par mots-clés, sans prendre en compte la nécessité et la pertinence des données au regard de l’emploi concerné et de la phase de recrutement. Pour remédier à ses problèmes engendrés par les algorithmes il faudrait alors mettre en place des filtres restreints avant l’utilisation et instaurer des systèmes permettant de limiter la recherche, le tri et la sélection des candidats sur des critères discriminatoires

Ce g uide pratique du recrutement numérique propose encore d'autres solutions à d'autres problématiques juridiques et éthiques engendrés par le recrutement 2.0 et les algorithmes qui sont utilisés pour les recrutement. Le problème qui est mis en évidence c'est que les algorithmes donnent accès de plus en plus facilement à divers données sur les demandeurs d'emplois alors que les recruteurs ne sont pas censés se basé sur ces données privées ou jugées discriminantes par la loi.

Le but de ce guide est donc d’informer les recruteurs sur les risques juridiques liés à la conception et à l’usage des outils numériques dans les procédures de recrutement (réseaux sociaux, progiciels, sites internet) et après cette prise de conscience, leur proposer des recommandations et bonnes pratiques pour limiter ces risques et ces problématiques juridiques.

# data[].attributes.body
Ce communiqué de presse alerte sur les dangers liés à l’utilisation massives des algorithmes depuis plusieurs années. Le principal problème étant que les utilisateurs n’ont pas toujours conscience d’utiliser des algorithmes et ne sont pas bien informés sur leur utilisations pouvant engendrer des discriminations et sur les impacts que les algorithmes peuvent avoir sur leur droits fondamentaux.

Il est alors primordial que le grand public soit plus vigilant et prenne conscience des risques encourus face à l’utilisation conséquentes d’algorithmes, ce qui permettra de prendre des mesures pour réduire les risques, les discriminations amplifier par les technologies (du fait que les stéréotypes humains se retrouvent dans les programmations des algorithmes).

Former et sensibiliser pour ne plus se laisser berner par l’apparente neutralité des algorithmes et de la technologie ; soutenir la rechercher pour éviter la multiplication des données biaisées; renforcer les obligations légales pour permettre plus de transparence rendant moins facile les discriminations et permettant aux utilisateurs d’être en pleine conscience des impacts qu’auront les données qu’ils renseignent et enfin réaliser des études sur les impacts des algorithmes pour mieux les comprendre et anticiper les conséquences de leur utilisation, tel sont les directives qui permettront un usage des algorithmes plus serein.

# data[].attributes.body
Les algorithmes sont faillibles et engendrent pour l’homme beaucoup de problèmes notamment en créant de nouvelles discriminations sans que l’on s’en rende compte. L’humain doit donc être plus vigilant lors de la création et de l’utilisation des algorithmes.

Les algorithmes ont pour but de trier et classer massivement des données afin de faciliter la vie de l’homme dans sa vie quotidienne. Plus besoin de réfléchir des heures et des heures et de comparer des profils pour faire un choix, il suffit de s’en remettre aux algorithmes. Plus besoin non plus de porter le poids de la responsabilité d’un choix car le choix n’est plus fait par l’homme lui même ; si il a recours à l’algorithme le choix est effectué par l’algorithme qui a été programmé pour cela.

En apparence ces programmations informatiques qui se sont immiscées dans nos vie quotidiennes aux vus du nombres d’outils numériques que nous utilisons chaque jours et qui fonctionne à l’aide d’algorithmes, nous sembles efficaces, objectifs et neutres. Ce qui amène à penser que les algorithmes sont bon et compétents pour prendre des décisions (et il est bien question des algorithmes eux même car l’animisme numérique nous fait souvent oublier que derrière les programmes il y des humains). De fait, nous y avons de plus en plus recours et nous ne nous en méfions pas.

Toutefois, cette volonté de faire toujours mieux en matières de technologie pour régler par exemple des problèmes de temps (un algorithme étant plus rapide que l’homme pour prendre une décision) et pour se libérer de nos responsabilités engendre de nouvelles problématiques car l’homme qui s’en remet aux algorithmes est déresponsabilisé et de fait il perd son autonomie et son attention au monde. Il peut même dans certains cas y devenir dépendant (on peut penser aux algorithmes des réseaux sociaux qui sont extrêmement addictifs pour les utilisateurs).

L’humain n’a pas conscience des problèmes engendrés par les algorithmes et n’est pas assez vigilant avec les outils issu du progrès technologiques qu’il utilise chaque jour. L’humain est donc inconscients des risques et des dangers qu’il encoure lorsqu’il utilise les algorithmes. En effet, ceux ci peuvent conduire les utilisateurs à réaliser des actes illégaux notamment des actes de discriminations et d’intrusion dans la vie privées avec l’utilisation massive de données personnelles.

Les algorithmes ne sont pas neutres, il sont conçus par les hommes qui eux mêmes possèdent des biais, ont des stéréotypes, des préjugés et ils vont les introduire (bien souvent inconsciemment) dans les algorithmes qui vont alors les amplifier.
Ainsi, certains algorithmes comportant des données biaisées peuvent au lieu d’aider à la mixité social engendrer des discriminations encore plus importante. De plus, ces discriminations engendrées par les algorithmes et leurs critères sont bien souvent invisibles car les utilisateurs ne sont jamais informer précisément de leur fonctionnement. Il y donc de nouveaux problèmes éthiques et juridiques qui naissent de l’utilisation des algorithmes dans des domaines variées (monde du travail, prestations sociales etc)

Les algorithmes ont également au sein même de leur fonctionnement beaucoup de limites. Ils ne peuvent pas comprendre et détecter l'ironie. Ils sont facile à perturber car un algorithme conçu pour détecter certains panneaux pourrait ne plus les détecter si on collait sur ces panneaux un autocollants. N’étant pas infaillibles ce ne sont pas des outils qui nous assurent une protection complète contre les discriminations c’est même le contraire.

# data[].attributes.body
Qu’est ce qu’un biais algorithmique ?

Pour commencer, qu’est ce qu’un biais ? En architecture, un biais est une ligne oblique par rapport à la direction principale. On peut donc y voir la notion de détournement. D’ailleurs le biais peut également signifier un moyen détourné pour atteindre un but. Le biais c’est aussi une démarche ou un procédé qui engendre des erreurs dans les résultats d'une étude.

Les hommes sont régulièrement victimes de biais cognitifs. Ce sont des mécanismes de pensée inconscients qui engendrent une altération du jugement, ils influencent nos choix, en particulier lorsqu’il faut gérer une quantité d’informations importantes ou que le temps est limité. À cause des biais cognitifs, la prise de décision de l’individu est faussée.

Il en va de même des biais algorithmiques puisque un biais algorithmique est le fait que le résultat d'un algorithme d'apprentissage ne soit pas neutre, loyal ou équitable (donc faussé). A noter que les biais algorithmiques peuvent être engendrés par les biais cognitifs des hommes puisque les algorithmes sont conçus par les hommes (et ils peuvent aussi venir de la composition des données de l'algorithme car si les données utilisées ne sont pas complètes, elles peuvent ne pas être représentatives et donc inclure des biais ).

Chez les hommes, les biais sont naturels et n’ont pas toujours des conséquences néfastes.
Il est complexe d’empêcher un cerveau d’user de raccourcis dans ses raisonnements et chacun est limité par sa connaissance du monde. Par exemple, si un individu n’a observé que des chiens de petite taille au cours de sa vie, il est probable qu’il ait une réaction biaisée à la vue d’un chien de grande taille, partant du principe que celui-ci n’est pas normal.

Le principe est le même pour les algorithmes qui sont ont conçus en étant entraînés sur une portion d’information ne représentant pas la complexité du réel, cela peut créer des biais.

La différence entre les individus biaisés et les algorithmes comportant des données biaisées, c’est l’impact qu’ils ont dans le réel. Un biais cognitif n’engendre pas toujours de la discrimination : Si nous reprenons l’exemple de l’individu qui n’a vu que des chiens de petites tailles, on peut supposer qu’en rencontrant un chien de grande taille il ne le repoussera pas forcément et comprendra que le chine de grande taille n’est pas anormal. Les biais cognitifs sont donc naturels, et ne mènent pas toujours à de la discrimination.

Alors que les biais algorithmiques ont des conséquences plus complexes. Des données biaisées mènent souvent à des discriminations systémiques. Quand les algorithmes sont conçus en étant entraînés sur une portion d’information ne représentant pas la complexité du réel souvent les minorités ou informations les plus rares en pâtissent. C’est là que les algorithmes parce qu'ils comportent des données baisées deviennent discriminants.

# data[].attributes.headline
travaux d'élèves : Questions soulevées par les biais algorithmiques

# data[].attributes.subject
travaux d'élèves : Questions soulevées par les biais algorithmiques

# data[].attributes.body
Quels sont les effets des biais algorithmiques dans notre société actuelle ?

Le terme “biais” vient de l’anglais “bias” qui veut dire “obliquité”, “pente”. Cette allusion à une diagonale (et non une simple droite) nous informe déjà de l'inégalité présente au sein même du terme. De plus un “biais algorithmique” est: “Le fait que le résultat d’un algorithme d’apprentissage ne soit pas neutre ou équitable”. Les effets des biais algorithmiques sont donc négatifs puisqu’ils sont créateurs d'inégalités (imprévues par l’algorithme initial) entre tous les individus et chacun est susceptible d’en être la cible.

Hubert, Gavoille, Couturier, Baumler

# data[].attributes.body
Les biais algorithmiques sont-ils plutôt des avantages ou des inconvénients ?

Les algorithmes sont des avantages. Ils permettent à leurs utilisateurs de gagner du temps pour des recherches, et pour certains, par exemple des recruteurs, de ne pas s’attarder sur des candidatures inadéquates. Leurs créateurs ont choisi des critères pertinents, ce qui empêche des discriminations non désirées.

Les biais algorithmiques quant à eux ne sont pas choisis par le créateur et encore moins par l'utilisateur. Ils sont une sorte d’anomalies qui vient créer des critères en plus à l'algorithme et comme ces derniers n’étaient pas prévu à la base cela crée des inégalités.

Hubert, Gavoille, Couturier, Baumler

# data[].attributes.headline
Elèves : Baumler, Couturier, Hubert, Gavoille

# data[].attributes.subject
Elèves : Baumler, Couturier, Hubert, Gavoille

# data[].attributes.attachment_link.readable_text
Cet article est publié dans le cadre de la Fête de la science (du 5 au 13 octobre 2019 en métropole et du 9 au 17 novembre en outre-mer et à l'international) dont The Conversation France est partenaire. Cette nouvelle édition a pour thème " À demain, raconter la science, imaginer l'avenir ". Retrouvez tous les débats et les événements de votre région sur le site Fetedelascience.fr.
L'intelligence artificielle (IA) suscite depuis quelques années un fort engouement. On attend grâce à elle l'avènement d'une médecine personnalisée voire prédictive, et l'on s'extasie de son immense potentiel en matière d' éducation, d'égalité sociale et économique... ou encore de lutte contre les fléaux contemporains, comme la faim dans le monde ou les crises climatiques.

Ces belles promesses ne doivent toutefois pas occulter les difficultés que généreront les changements provoqués par l'IA. Son avènement pose de nouveaux défis, comme l' évolution des emplois, et peut présenter une menace pour la démocratie via ses algorithmes : on connaît désormais la manipulation d'opinion qu'ils peuvent engendrer sur les réseaux sociaux. Par ailleurs, des systèmes d'IA utilisés aux États-Unis par la justice ou la police en vue de prédire le risque de récidive ou de survenance de crimes, se sont révélés racistes envers les populations noires et latino-américaines.

Algorithmes biaisés

De tels résultats discriminants s'expliquent en grande partie par des données biaisées, utilisées pour entraîner les algorithmes qui deviennent, à leur tour, biaisés. Les difficultés rencontrées lors de la construction d'algorithmes sont liées aux conditions d'apprentissage des décisions. Par exemple, un algorithme avait été créé pour trier des CV : or il a " appris " sur la base de recrutements précédents qui étaient eux-mêmes biaisés, puisque plus favorables aux hommes qu'aux femmes à compétence égale. Mais les biais peuvent aussi porter sur la non-représentativité de la population ou simplement refléter les biais structurels de la société : il y a là des sources de rupture d'équité.

La prise de décision algorithmique ou aide à la décision, comme Parcoursup, reproduit voire renforce le biais. Plus dangereux encore, la décision peut devenir une prévision auto-révélatrice. L'estimation (trop) élevée d'un risque de crédit va donner accès au crédit mais à un taux élevé, ce qui va renforcer le risque de défaut de paiement. Ce qui révèle un problème de sur-représentation de certaines populations dans les jeux de données.

À l'inverse, la sous-représentation d'une population peut tout autant être problématique. Si on manque de données sur certaines catégories d'habitants, alors les systèmes d'IA ne peuvent être pertinents à leur égard. Tel est par exemple le cas des bases de données de reconnaissance d'images qui sont majoritairement composées de personnes blanches : la machine les reconnaît donc aisément, tandis que les photos de personnes de couleur étant présentes en nombre insuffisant, elle se trompe plus facilement. En 2015, le fait que l'algorithme de Google ait pu confondre des images d'Afroaméricains avec des gorilles a évidemment beaucoup choqué.

Une prise de conscience internationale

Conscients de ces difficultés, le Canada et la France ont adopté une Déclaration commune en juin 2018, dans laquelle ils affirment vouloir œuvrer pour une intelligence artificielle éthique, responsable, centrée sur l'humain et respectueuse des droits de la personne dans la lignée du rapport du député et mathématicien Cédric Villani. Ces deux pays œuvrent pour la constitution d'un Groupe international d'experts en intelligence artificielle (le G2IA).

Dans son communiqué sur " L'intelligence artificielle pour l'Europe " du 25 avril 2018, la Commission européenne a elle aussi proclamé sa volonté d'encourager des principes éthiques de l'IA. Des lignes directrices en matière d'éthique pour une IA digne de confiance ont été adoptées en juin 2018 par le Groupe d'experts de haut niveau sur l'IA constitué par la Commission européenne.

Quant à l' OCDE, elle a adopté cinq principes en mai 2019 : ils envisagent que l'intelligence artificielle soit au service des intérêts de la planète et des individus, et qu'ils soient conçus dans le respect de l'État de droit, des droits de l'homme, des valeurs démocratiques et de la diversité. Ils évoquent également la nécessité de leur transparence, de leur sécurité et d'un contrôle en amont de ces systèmes.

L'adoption de ces principes éthiques souligne une préoccupation naissante chez les législateurs. Mais concrètement, est-il possible d'y soumettre les algorithmes ? Le problème majeur est qu'une discrimination algorithmique est le plus souvent systémique et non-intentionnelle : leurs biais sont donc particulièrement difficiles à prouver et à expliquer au juge, a fortiori lorsque les algorithmes utilisés fonctionnent comme des " boîtes noires ".

Rééduquer les algorithmes

Au sein de la Chaire de recherche " Droit, responsabilité and confiance sociale dans l'intelligence artificielle " du nouvel institut d'IA à Toulouse, nous cherchons à vérifier que les exigences légales dans la conception et l'utilisation des outils d'IA sont bien respectées.

Nous avons pour cela recours à différents critères mathématiques, afin de détecter des biais algorithmiques, comme la méthode de l'impact disproportionné par exemple. Elle s'applique aux groupes minoritaires protégés selon les critères légaux de discrimination, en comparaison des groupes non protégés. L'idée est de comparer la probabilité que la décision soit positive, sachant que le groupe est protégé, en comparaison avec la probabilité que la décision soit positive pour le groupe non protégé. La note de 1 représente le fait qu'il n'y ait pas de différence de résultat entre les deux cas. En deçà, il y aura une différence mais encore faut-il déterminer à quel seuil on estime que la discrimination, sanctionnée par la loi, est caractérisée.

Un des objectifs de la chaire est de rechercher des méthodes qui permettent un certain niveau d'explication des décisions prises ou aide à la décision algorithmique. Par exemple, il s'agirait de comprendre les raisons pour lesquelles un crédit est refusé à un client. Cette exigence permet à la personne concernée de connaître les motivations de la décision, de vérifier qu'elle est loyale (nondiscriminante) et de pouvoir la contester en justice. Les enjeux sont majeurs pour assurer le respect des droits fondamentaux et des garanties procédurales des individus. De nombreuses méthodes sont envisagées en recherche mais il faut encore améliorer leur efficacité et pouvoir attester la qualité du résultat. Ces outils mathématiques seront utiles au juge pour évaluer si la décision, qu'elle soit humaine, algorithmique ou les deux, a été prise dans le respect de la loi.

À l'inverse, le droit peut servir la technique, afin de consolider des algorithmes grâce à un dispositif de certificabilité. Ses critères et conditions de mise en œuvre doivent encore être déterminées et varieront probablement selon les secteurs d'activité et la criticité de la décision. En cas de taux d'erreur élevé, les conséquences ne sont pas les mêmes qu'il s'agisse d'évaluer un algorithme de publicité ou s'il s'agit d'un algorithme qui aide à reconnaître les tumeurs sur les images médicales.

Notre objectif est de créer un cadre de confiance pour les individus sur la façon dont les systèmes d'IA sont conçus et utilisés. L'acceptabilité sociale est une condition sine qua non à un déploiement réussi d'IA, au service des individus et dans le respect de leurs droits fondamentaux. C'est à ce prix que l'on garantira une IA responsable et inclusive.

# data[].attributes.attachment_link.title
Intelligence artificielle : combattre les biais des algorithmes

# data[].attributes.attachment_link.description
Cet article est publié dans le cadre de la Fête de la science (du 5 au 13 octobre 2019 en métropole et du 9 au 17 novembre en outre-mer et à l'international) dont The Conversation France est partenaire. Cette nouvelle édition a pour thème " À demain, raconter la science, imaginer l'avenir ".

# data[].attributes.headline
Elèves : Baumler, Hubert, Couturier, Gavoille

# data[].attributes.subject
Elèves : Baumler, Hubert, Couturier, Gavoille

# data[].attributes.attachment_link.title
Biais algorithmiques en 3 minutes par Marko Erman, Directeur Scientifique - Thales

# data[].attributes.headline
Elèves : Baumler, Couturier, Hubert, Gavoille

# data[].attributes.subject
Elèves : Baumler, Couturier, Hubert, Gavoille

# data[].attributes.attachment_link.title
Yann Truong - Les biais algorithmiques dans l'IA | Deep Dive Artificial Intelligence

# data[].attributes.body
Le présent document reviens sur l'usage des algorithmes. Il en décrit premièrement l'importance croissante dans tout les domaines, on cite par exemple la justice. Il y est soutenu l'idée que les algorithmes étant pensés et conçus par l'humain, ils peuvent s'avérer vecteurs de discriminations malgré leur initiale neutralité liée à leur qualité de mécanisme numérique. Le défenseur des droits appelle les autorités à faire appel à des "chercheurs" ou encore à des juristes. Cela afin de permettre une meilleure connaissance du phénomène et ainsi d'en traiter les supposées imperfections.

# data[].attributes.headline
Travaux d'élèves : Aupicq Maeva Gueraud Tinlé

# data[].attributes.subject
Travaux d'élèves : Aupicq Maeva Gueraud Tinlé

# data[].attributes.body
L'essor des outils numériques marquent un tournant considérable dans le recrutement et dans l'univers professionnel. Depuis, cette nouvelle technologie, les recruteurs peuvent diffuser leurs recommandations et leurs différente propositions d'emplois à travers un large périmètre. De plus, la diffusion d'emploi à travers les réseaux sociaux est un moyen plus accessible pour les demandeurs. Des services sont alors mis en place pour apporter des demandes personnalisés aux demandeurs, nous pouvons notamment parler du Big Data qui est "un véritable marché de l’information où les données personnelles sont collectées et analysées dans le but de proposer aux utilisateurs les services les plus personnalisés." comme le cite le défenseur des droits.
Malheureusement, cette nouvelle technologie est un marqueur de discriminations. En effet, certains candidats n'ont pas accès la plupart du temps aux réseaux sociaux, ce qui les handicap fortement pour trouver du travail. De plus, ces logiciels mis en place pour collecter les donnés et les faire parvenir aux recruteurs ne sont pas sans risques, "Les progiciels sont perçus par les acteurs du recrutement comme un  cadre protecteur [...] Or, sans précision de la part du commanditaire,le paramétrage est largement ouvert par défaut. [...] sans prendre en compte la nécessité et la pertinence de la donnée." Les préconisations engagé par le défenseur des droits serait de sécuriser le contenu des demandeurs d'emplois et également adapté le numérique à des situations bien particulière, comme "Prévoir un filtre basé sur l’aire de mobilité acceptée par le candidat, pour éviter un filtrage des candidatures en fonction du lieu de résidence."