이유 - 이 프로그램이 여성보다 남성 직원 비율이 높은 회사의 직원 이력 사항을 학습한 결과 남성 지원자에게 더 높은 점수를 주었기 때문이다.

법적 해결 방안 - 차별 금지법, 공정성 감사 의무화

윤리적 해결 방안 - 인간의 최종 결정권을 통해 검증, 보완

사회적 해결 방안 - AI에 학습되는 데이터가 편향되지 않도록 사회적 노력 기울이기

이유 - 구글 AI분석으로 여성이 평균적으로 남성보다 오래 산다는 결과가 나와 같은 나이의 사람이더라도 남성을 더 세밀하게 돌보게 됨

AI프로그램을 수정해 성별에 상관없이 세밀하게 돌보도록 프로그래밍한다.

이유 - 특정 인구 집단에 대해 과거에 더 적은 비용의 치료나 검사가 제공되었다면, AI는 이러한 데이터를 학습하여 해당 집단에 대해 덜 적극적이거나 저렴한 치료를 권고하는 것이 '정상적인 패턴'이라고 오인하게 됨

법적 해결 방안 -

AI 규제 강화: 의료 AI를 '고위험'으로 규정하고 데이터 공정성 및 감사를 법적으로 의무화합니다.

차별금지법 적용: AI가 유발한 간접 차별에 대해 책임을 부과하고, 환자의 공정한 치료 권리를 보호합니다.

이유:

• 훈련 데이터의 편향- AI 모델은 훈련 데이터의 편향을 그대로 학습할 수 있으며, 이로 인해 비합리적 편향이 생성된다.

• 데이터 수집 방식- 비대표적이거나 평등하지 않은 데이터가 AI에 공급될 경우, 편향성이 유발된다.

이유: 과거 범죄 기록 데이터 자체가 인종차별적 경향을 가지고 있었기 때문이다.

• 과거 범죄 기록 데이터에는 인종차별적 경찰 단속, 체포, 판결 기록이 포함되어 있음.

  • → 데이터에서 **차별적 요소(예: 인종, 지역, 사회경제적 요인)**를 제거하거나 가중치를 조정.

• 
  

  • 한쪽 인종이나 지역에 치우치지 않게 다양한 인구 집단의 데이터 확보.

  • 예: 백인·흑인·아시아계 등 인종별 비율을 실제 인구 비율과 유사하게 맞춤.

이유: 백인과 흑인 차별 데이터가 학습되어서

법적: 차별 금지 데이터 학습 시키기

윤리: 보완

이유: 빅데이터에 내재한 인간의 편향성 때문

AI가 수집하는 데이터를 올바르게 수정한다.

이유-영국 연구진이 AI가 여성 환자 증상 축소하는 편향성 발견을 발견했다. 구글 AI는 같은 사례라도 상대적으로 여성은 건강하다는 답을 줬다. 이는 AI 의료 활용이 여성에게 불리할 수 있음을 경고한다.

해결방안-

• 알고리즘적 편향 해소 기법 적용: 데이터의 불균형을 해결하기 위해 과표집(oversampling), 재표집(resampling) 또는 합성 데이터 생성 등의 기술을 활용합니다.

• 모델 평가의 정교화: 개발 단계에서부터 다양한 인구 그룹별로 모델의 성능을 평가하고, 성능 저하가 확인되면 재학습하여 보완해야 합니다.

• 설명 가능성(Explainability) 및 투명성 확보: AI의 의사결정 과정을 이해하고 해석할 수 있도록 설계하여, 편향이 어떻게 작용했는지 파악할 수 있어야 합니다.

• 다학제적 개발팀 구성: 데이터 과학자뿐 아니라 임상의, 윤리학자, 사회학자 등 다양한 전문가와 소외 계층 대표가 참여하여 잠재적 편향을 식별하고 해결합니다. 

이유:'가정부 = 유색인종', '기내 승무원 = 여성'이라는 인식도 오랫동안 미디어와 사회에서 반복돼 온 고정관념입니다. AI는 이러한 패턴을 학습했기때문

법적해결방안:AI 윤리 및 편향 규제 법안 제정

이유- 인터넷의 흑인과 동향인은 잘 못 살고 가정주 일을 한다는 편향적인 이미지만을 학습해서

해결 방안- Ai 가 편향적인 이미지를 생성할 수 없게 막는 코드를 입력

이유- 생성형 AI 설루션을 개발한 SK C&C는 최근 펴낸 '생성형 AI에 대한 보안 위협과 안전대책' 보고서 "생성형 AI는 학습용 데이터의 영향을 받을 수밖에 없다"며 "편향된 데이터에 의해 AI 모델의 결과물도 특정 성향을 갖게 된다"고함. 생성형AI의 무분별한 학습 과정에서 인간의 혐오 표현, 범죄, 정치적 편향성 등이 답변에 반영된다는 것임.

법적 해결 방안- 차별 금지법 만들어서 차별을 하는 인공지능을 만든 이들에게 벌금을 부과하며 그 인공지능이 편견이 사라지기 전까지는 인공지능 사용을 막는다.

이유: IDEMIA의 알고리즘이 훈련 데이터 세트에 흑인 여성의 비율이 적었거나 흑인 여성을 다른 집단과 혼동하기 쉽다는 점을 학습하게 했기 때문

해결방안: 다양한 데이터를 사용하고, 알고리즘을 감시하고 수정하는 데 투명성과 책임성이 필요.

또한 다양한 배경과 관점을 가진 사람들로 구성된 다양한 팀이 인공지능의 개발과 적용에 참여해야함.

하지만 이 기술이 특정 인종, 특히 유색 인종(흑인, 아시아인, 히스패닉 등)을 정확하게 인식하지 못하거나 잘못 인식하는 문제가 자주 발생한다

이유: AI는 수많은 얼굴 사진을 학습해서 인식 능력을 키우는데,

대부분의 데이터가 백인 남성 중심으로 모여 있었다

따라서 AI가 백인 얼굴에는 익숙하지만, 다른 인종의 얼굴은 덜 배워서 인식률이 떨어진다

사회적 해결방안:

다양한 인종과 성별이 포함된 데이터를 수집하고 학습시켜야 함.

AI 윤리 기준과 인종 감수성 교육을 개발자에게 강화.

AI 성능을 공개적으로 검증하는 절차를 만들어야 함.

(예: 정부나 국제기구가 인종별 인식률을 평가하고 결과를 공개)

법적 해결방안:

인공지능 차별 방지법 제정: 인종, 성별 등을 이유로 차별하는 AI는 사용 금지.

투명성 의무화: 기업은 AI가 어떤 데이터를 기반으로 작동하는지 공개해야 함.

피해자 구제 제도: AI의 잘못된 판단으로 피해를 입은 사람은

법적으로 보상받을 수 있게 해야 함.

이유:1. 데이터 편향

→ 인공지능은 과거 데이터를 학습하므로, 데이터에 이미 존재하는 사회적 편견(성별, 인종 등)이 그대로 반영됨.

2. 개발자 편향

→ AI를 설계하고 훈련시키는 개발자들의 무의식적 가치관이나 시각이 알고리즘 설계에 영향을 줌.

3. 검증 과정 부족

→ 다양한 집단을 대상으로 충분히 테스트하지 않아 특정 집단에 불리한 결과를 내는 경우가 있음.

4. 투명성 부족

→ AI의 작동 원리를 공개하지 않아 문제 원인을 파악하거나 개선하기 어려움.

법적해결 방안:1. AI 윤리 법 제정 및 규제 강화

→ 인공지능 개발과 활용 시 차별 금지, 투명성 확보, 설명 가능성을 의무화함.

(예: 유럽연합(EU)의 AI법(AI Act) 은 위험도 높은 AI를 엄격히 규제)

2. 데이터 다양성 확보 의무

→ 기업이 AI 학습 데이터에 인종, 성별, 연령 등 다양한 집단을 반영하도록 법으로 규정.

3. AI 투명성·설명 책임 법제화

→ AI가 내린 결정의 근거를 설명할 수 있도록 의무화(“설명 가능한 AI”, XAI).

→ 피해자가 차별을 입은 이유를 파악하고 소송을 제기할 수 있도록 함.

4. 감독 기구 설치

→ 국가 차원의 AI 윤리위원회나 감독 기관을 설치해 편향 여부를 점검하고 제재할 수 있도록 함.

법적 해결방안

인종차별법 강화:인공지능과 사람이 차별을 하지 않게 법을 강화해야 한다.

사회적 해결방안:AI에게 편향된정보 학습시키지 않기

이유: 인공지능(AI) 신용평가에서 편향 사례가 발생하는 이유는 AI 모델이 학습하는 데이터와 알고리즘의 문제, 그리고 사회적 맥락의 복잡성 때문이다.

법적 해결 방안 - 데이터셋이 특정 그룹에 대해 불균형을 보이는지 정기적으로 감사를 실시해야 합니다.

이유-데이터 시스템에 흑인 여성보다 백인 남성이 더 많기 떄문에, AI가 흑인 여성을 식별하기가 더 어렵다는 설명이다. 

해결 방안-다양한 데이터를 분석하게 해야 한다.

이유 - 특정 사람들에게만 부정적인 평가가 있는 데이터를 학습하여 흑인이 더 위험수치가 높게 나왔다 .

해결방안 - 차별금지법, ai 관련 규제 법안 제정적용,데이터 다양성 확보,편향 감시 및 수정 시스템 운영

구글 번역기가 성별 중립적인 문장을 번역할 때, 특정 직업을 남성이나 여성으로 자동 할당하는 경우가 있었다.

이유

성별 고정관념 강화

공정성 문제

사용자 혼란 초래 등등의 문제를 불러올 수 있기 때문이다.

해결방법

성별 중립적 번역 옵션 제공

번역 결과를 성별 중립적으로 표현할 수 있도록 옵션을 주는 것

예를 들어, 한국어처럼 성별이 명확히 드러나는 언어에서는 중립적 표현(예: “그 사람은 의사다”)를 선택할 수 있게 하는 방식이다

학습 데이터 다양화 및 편향 제거

AI 모델이 학습하는 데이터셋에 다양한 성별 표현과 균형 잡힌 사례를 포함시켜야 한다

직업과 성별이 특정 방향으로 치우치지 않도록, 남성과 여성 모두 다양한 직업군에서 고르게 등장하는 데이터를 사용하는 거다.

편향 검출 및 수정 알고리즘 개발

번역 과정에서 편향이 발생하는지를 자동으로 감지하는 시스템을 개발한다.

성별 편향 의심 문장이 나오면 경고하거나, 여러 번역 후보를 제시해서 사용자가 선택할 수 있게 하는 방법도 있다.

이유-스캐터랩은 이루다가 실제 연인들이 나눈 대화 데이터 약 100억건을 딥러닝(컴퓨터가 인간의 뇌처럼 사물이나 데이터를 분류할 수 있도록 하는 기계학습의 일종) 방식으로 학습했다고 밝혔다.

법적해결방안-차별금지법 도입 혹은 강화 → AI서비스의 차별발언 대응

개인정보보호 강화 → 데이터 수집·동의·비식별화 절차 명확히

책임체계 구축 → AI발언으로 인한 피해에 대한 책임주체 규명 및 손해배상 가능성 확보

거버넌스 및 인증제도 마련 → AI 서비스 출시 전 · 후 검증·감독 체계

투명성 및 사용자권리 보장 → 설명가능성, 신고·구제 절차, 이용자 권리 강화

이유- 직업이나 빈곤도에 대한 편견이 있어서

법적 해결 방안: 법 개정, 제도 개선, 성차별에 대한 법 강화 등

사회적 해결 방안: 신고하기...?

윤리적 해결 방안: 옳은 데이터 학습시키기..?

이유 - ai가 미인판단 학습에 사용된 사진이 거의 다 백인여성이었기 때문

법적 해결 방안 - AI 시스템의 투명성과 설명 가능성 요구: 정부는 AI 시스템이 어떻게 결정을 내리는지에 대한 명확한 설명을 요구하는 법적 기준을 마련해야 합니다. 이를 통해 AI의 편향적인 결과를 예방할 수 있으며, AI가 특정 인구 집단에 불이익을 주거나 편향된 결정을 내리는 경우 그에 대한 법적 책임을 묻는 근거를 마련할 수 있다

사회적 해결방안 - AI 개발자 교육: AI 개발자와 데이터 과학자들에게 편향성을 인식하고 이를 줄이는 방법에 대한 교육을 강화해야 합니다. 다양한 문화적 배경과 가치관을 이해하고 이를 AI 시스템 설계에 반영할 수 있도록 돕는 교육이 필요합니다.

이유- 업계는 빅데이터에 내재한 인간의 편향성에 따른 결과라고 본다

법적 해결 방안- 차별 금지법 및 AI 규제 강화

윤리적 해결 방안- AI 개발 단계에서의 편향 제거 노력

사회적 해결방안- 다양성과 포용성을 촉진하는 사회 문화조성

이유-구글 번역기는 대규모 텍스트 데이터를 기반으로 학습하는데, 이 데이터는 인터넷에 있는 문서, 뉴스, 책, 웹사이트 등에서 수집됩니다. 그런데 현실 세계에서 특정 직업이나 역할에 대해 남성 또는 여성으로 묘사되는 경우가 많아서, AI도 자연스럽게 그런 편향을 학습하게 돼요.
예를 들어, "간호사"라는 직업은 역사적으로 여성 이미지가 강하게 연관되어 있고, "엔지니어"는 남성 이미지가 더 많았던 데이터가 많다면, 번역기는 이걸 반영해서 성별을 할당하게 됩니다.

해결방안-

데이터의 다양성과 품질 개선

• 다양한 데이터 수집: 다양한 인종, 성별, 연령, 문화적 배경 등을 반영한 데이터를 수집해 편향된 데이터셋을 보완합니다.

• 데이터 클렌징: 잘못된 레이블, 노이즈, 중복 데이터를 제거해 데이터 품질을 높입니다.

• 데이터 증강: 적은 데이터 그룹에 대해 증강 기법을 사용해 균형을 맞춥니다.

흑인 여성 포샤 우드러프, 흑인일 경우 범죄자의 가능성이 크다고 인식한 AI 오류로 부당하게 체포돼흑인 여성 포샤 우드러프, 흑인일 경우 범죄자의 가능성이 크다고 인식한 AI 오류로 부당하게 체포돼흑인 여성 포샤 우드러프, 흑인일 경우 범죄자의 가능성이 크다고 인식한 AI 오류로 부당하게 체포돼흑인 여성 포샤 우드러프, 흑인일 경우 범죄자의 가능성이 크다고 인식한 AI 오류로 부당하게 체포돼

이유- 다른 인종의 얼굴은 덜 배워서 인식률이 떨어지기 때문이다.

1. 데이터 측면 해결방안

해결:

• 데이터 정제(Cleaning): 인종, 성별 등 불필요한 민감정보를 제거하거나 균형 있게 재구성

• 편향 감지(Bias detection): 데이터에 특정 인종이 과도하게 범죄자로 표시되어 있는지 검토

• 다양한 데이터 확보: 다양한 인종·문화권의 균형 잡힌 데이터셋

  2. 알고리즘 측면 해결방안

  
  

  해결:

  • 공정성 알고리즘(Fairness algorithm) 적용 → 인종별 예측 차이를 줄이는 수학적 보정

  • 블라인드 학습(Blind learning): 인종 정보를 제거하고 판단하도록 설계

  • 결과 검증(Outcome auditing): AI가 실제로 공정하게 예측하고 있는지 지속 평가

출처 : AI타임스(https://www.aitimes.com)