- A사에서 개발한 인공지능 채용 프로그램이 지원자 중 남성 지원자를 더 우대

이유

- 이 프로그램이 여성보다 남성 직원 비율이 높은 회사의 직원 이력 사항을 학습한 결과 남성 지원자에게 더 높은 점수를 주었기 때문이다.

해결 방안

- 차별 금지법 마련하기

- 인간의 최종 결정권을 통해 검증, 보완하기

- AI에 학습되는 데이터가 편향되지 않도록 사회적 노력 기울이기

28일 AI 업계에 따르면 이달 국제학술지 '네이처'(Nature)에 'AI 이미지 생성 도구가 종종 인종·성차별적 결과를 만들어 낸다'는 제목의 기고문이 올라왔다.

기고문은 미국 스탠퍼드대 연구진이 오픈AI의 이미지 생성 AI '달리'(DALLE)로 진행한 실험에 관한 것이었다.

달리는 아프리카와 빈곤을 연결해 이미지를 보여줬다. '아프리카 남자와 세련된 집'을 명령어로 입력하면 '진흙집 앞 흑인' 그림이 출력됐다. 가정부는 유색인종으로, 기내 승무원은 여성으로만 표현했다.

업계는 빅데이터에 내재한 인간의 편향성에 따른 결과라고 본다.

생성형 AI 설루션을 개발한 SK C&C는 최근 펴낸 '생성형 AI에 대한 보안 위협과 안전대책' 보고서 "생성형 AI는 학습용 데이터의 영향을 받을 수밖에 없다"며 "편향된 데이터에 의해 AI 모델의 결과물도 특정 성향을 갖게 된다"고 했다.

생성형AI의 무분별한 학습 과정에서 인간의 혐오 표현, 범죄, 정치적 편향성 등이 답변에 반영된다는 것이다.

업계는 윤리적 기준 등을 데이터에 부착해 정제하는 작업(라벨링)으로 문제를 해결할 수 있다고 설명한다.

네이버(035420)도 지난해 5월 '인간-AI 협업으로 구축한 대형 데이터 세트 : 민감 질문과 수용 가능한 답변' 연구를 통해 성과를 냈다.

AI 편향성을 낮추는 데이터 세트를 만드는 게 목표인 이 연구에 258명이 참여했다. 이들은 다양성·객관성·윤리 등 9가지 기준을 AI에 학습시켜 답변이 기준에 부합하는지 평가했다. 이를 반복해 AI 필터링 기능을 고도화할 수 있었다.

이를 하이퍼클로바에 적용하자 부적절한 답변 비율은 45.1%에서 20.8%로 감소했다. GPT3에서도 수치는 22.4%에서 7.8%로 감소했다. 생성형AI 국제 학회 ACL 2023에서 채택된 이 연구는 네이버의 차세대 AI 하이퍼클로바X 구축에도 활용됐다.

네이버 측은 "연구 데이터 세트를 오픈소스로 개방해 안전한 AI 생태계 조성에 기여하고 있다"고 했다.

이러한 편향이 생기는 가장 큰 이유는 학습 데이터의 불균형이다. 인공지능은 대량의 이미지 데이터를 학습하여 얼굴을 인식하는데, 이때 사용되는 데이터가 백인 남성의 얼굴 위주로 구성되어 있었다면, AI는 자연스럽게 그 집단의 특징에 더 익숙해지고 다른 인종이나 성별의 얼굴에는 부정확하게 반응하게 된다. 즉, 인공지능의 판단이 ‘객관적’이라기보다, 이미 사회에 존재하는 편향을 그대로 학습한 결과인 것이다.

이 문제를 해결하기 위해서는 몇 가지 접근이 필요하다.
첫째, 데이터의 다양성과 균형을 확보해야 한다. 얼굴 인식 AI를 개발할 때 다양한 인종, 성별, 연령, 문화적 배경을 고루 포함한 데이터셋을 구축해야 한다. 이를 통해 인공지능이 특정 집단의 얼굴만 잘 인식하는 현상을 완화할 수 있다.

둘째, 편향 검증 및 교정 기술을 적극적으로 도입해야 한다. 예를 들어, IBM은 “AI Fairness 360”이라는 툴을 통해 모델이 특정 집단에 대해 불공정하게 작동하는지를 점검할 수 있도록 하고 있다. 이러한 도구를 활용하면 AI가 실제로 어느 집단에서 오류를 더 자주 범하는지를 객관적으로 파악하고 개선할 수 있다.

셋째, 인간의 감독 체계를 유지하는 것도 중요하다. 인공지능이 모든 결정을 자동으로 내리도록 두기보다, 특히 사회적 영향이 큰 분야에서는 사람이 AI의 판단을 검토하고 최종 결정을 내리는 구조를 마련해야 한다. 이를 통해 잘못된 인식이 실제 피해로 이어지는 것을 방지할 수 있다.

마지막으로, 윤리적 기준과 제도적 장치의 마련이 필요하다. 정부와 기업은 인공지능 기술의 공정성과 투명성을 확보하기 위한 법적·정책적 가이드라인을 마련하고, 이를 지속적으로 점검해야 한다.

결론적으로, 얼굴 인식 시스템의 편향 문제는 단순한 기술적 오류가 아니라 사회 전반의 불균형이 기술 속으로 스며든 결과이다. 따라서 이를 해결하기 위해서는 기술 개발자뿐 아니라 사회 전체가 공정성과 다양성을 존중하는 방향으로 함께 나아가야 한다. 인공지능이 진정으로 ‘공정한 기술’이 되기 위해서는, 우리가 먼저 공정한 데이터를 제공하고 공정한 사회를 만들어야 한다.

얼굴 인식 인공지능이 흑인이나 아시아인의 얼굴을 잘못 인식하는 문제가 있었다.

이유:

백인 중심의 데이터로만 학습되어 다양한 인종의 얼굴 특징이 충분히 반영되지 않았기 때문이다.

해결방안:

모든 인종과 성별의 데이터를 고르게 수집하고, 편향 여부를 꾸준히 점검하여 공정하고 정확한 인공지능을 만들어야 한다.

해결방안:공정성 검증 알고리즘 도입

AI 모델 개발 시 공정성(fairness)을 측정하고 검증하는 알고리즘을 함께 적용해 편향 여부를 사전에 탐지하고 수정할 수 있습니다.

- 미국 일부 주에서 사용된 **COMPAS**는 피고인의 재범 가능성을 예측하는 AI 시스템입니다.

- **문제**: 흑인 피고인에게 **과도하게 높은 재범 위험 점수**를 부여하는 경향이 발견됨.

---

이유

- **편향된 학습 데이터**: 과거 범죄 기록 자체에 인종적 편향이 존재.

- **알고리즘의 불투명성**: COMPAS는 비공개 알고리즘으로, 판단 기준을 외부에서 검증할 수 없음.

- **사회 구조 반영**: AI가 기존의 사회적 불평등을 그대로 학습함.

---

해결 방안

- **데이터 정제 및 다양성 확보**: 인종, 성별 등 다양한 집단을 균형 있게 반영.

- **알고리즘 투명성 강화**: 공개 가능한 모델 사용 및 설명 가능한 AI(XAI) 도입.

- **독립적 검증 체계 마련**: 제3자가 AI 시스템을 평가하고 감시할 수 있도록 제도화.

업계는 윤리적 기준 등을 데이터에 부착해 정제하는 작업(라벨링)으로 문제를 해결할 수 있다고 설명한다.

네이버(035420)도 지난해 5월 '인간-AI 협업으로 구축한 대형 데이터 세트 : 민감 질문과 수용 가능한 답변' 연구를 통해 성과를 냈다.

AI 편향성을 낮추는 데이터 세트를 만드는 게 목표인 이 연구에 258명이 참여했다. 이들은 다양성·객관성·윤리 등 9가지 기준을 AI에 학습시켜 답변이 기준에 부합하는지 평가했다. 이를 반복해 AI 필터링 기능을 고도화할 수 있었다.

이를 하이퍼클로바에 적용하자 부적절한 답변 비율은 45.1%에서 20.8%로 감소했다. GPT3에서도 수치는 22.4%에서 7.8%로 감소했다. 생성형AI 국제 학회 ACL 2023에서 채택된 이 연구는 네이버의 차세대 AI 하이퍼클로바X 구축에도 활용됐다.

해결방안

다양한 구조적 데이터 수집하기 ·학습 데이터 이해하기

기고문은 미국 스탠퍼드대 연구진이 오픈AI의 이미지 생성 AI '달리'(DALLE)로 진행한 실험에 관한 것이었다.

달리는 아프리카와 빈곤을 연결해 이미지를 보여줬다. '아프리카 남자와 세련된 집'을 명령어로 입력하면 '진흙집 앞 흑인' 그림이 출력됐다. 가정부는 유색인종으로, 기내 승무원은 여성으로만 표현했다.

업계는 빅데이터에 내재한 인간의 편향성에 따른 결과라고 본다.

생성형AI의 무분별한 학습 과정에서 인간의 혐오 표현, 범죄, 정치적 편향성 등이 답변에 반영된다는 것이다.

AI 악용으로 인한 피해 사례도 최근 2~3년 사이 급증하는 추세다. 미국 민간 AI 연구기관 ‘Responsible AI Collaborative’ 집계에 따르면 올해 들어 지난달까지 가짜 뉴스 생성·여론 조작 등 AI 남용으로 인한 피해는 지난해 같은 기간보다 36%나 증가했다.

특히 구글의 Gemini가 여성 건강 문제를 경시하는 경향이 뚜렷했고, 메타의 Llama 3는 상대적으로 적었다.

이로 인해 여성 환자가 치료나 돌봄을 덜 받을 위험이 있어, 연구팀은 AI 설계와 데이터 다양성 확보가 필요하다고 강조했다

해결방안

AI 학습 데이터 다양화와 편향 검증 절차 강화.

예를 들어 “The doctor said he is tired.”는 “의사는 그가 피곤하다고 말했다.”, “The nurse said she is tired.”는 “간호사는 그녀가 피곤하다고 말했다.”로 번역돼요.

이유: 인공지능이 인터넷의 문장을 학습하면서

사람들이 자주 쓰던 성별 고정관념이 담긴 표현을 그대로 배웠기 때문이에요.

문제점:이런 번역은 “의사는 남자, 간호사는 여자”라는 편견을 강화해요.

해결 방안: 1. 성별이 치우치지 않은 성중립적 데이터로 학습하기

2. AI 결과를 사람이 검토하고 수정하기

3. 다양한 성 역할 표현이 포함된 문장으로 모델을 훈련시키기

• 사례: 미국 MIT 연구에 따르면 일부 얼굴 인식 AI는 백인 남성보다 유색인 여성의 얼굴을 잘못 인식할 확률이 훨씬 높았음.

• 원인: 학습 데이터에서 백인 남성의 얼굴 사진이 훨씬 많았기 때문.

• 결과: 흑인 여성의 얼굴 인식 오류율이 35%에 달한 사례도 존재.

• 교훈: AI의 학습 데이터 다양성이 매우 중요함.

해결방안

인공지능의 학습 데이터의 편향된 정보를 줄이고 다양성을 높여야함

기업은 공정성을 달성하는 것뿐만 아니라 더 나은 결과를 보장하기 위해 AI의 편향성 문제를 해결하고자 합니다. 그러나 현실 세계에서 인종과 성별에 대한 편견을 없애는 것이 어려운 것처럼, AI의 편향성을 없애는 것도 쉬운 일이 아닙니다.

McKinsey 자료 What AI can and can’t do (yet) for your business에서 저자인 Michael Chui, James Manyika, Mehdi Miremadi는 이렇게 설명합니다. "이러한 편견은 계속 내재해 있기 쉽습니다. 이러한 편견을 인식하고 이를 해결하기 위한 조치를 취하려면 데이터 과학 기법에 심층적으로 숙달하고 데이터 수집을 포함해 기존의 사회적 요인에 대한 메타 이해가 필요하기 때문입니다. 결론적으로, 편견 해소는 지금까지 가장 어려운 장애 요인 중 하나이며 사회적으로 분명 가장 큰 우려 사항입니다."

실생활에서 발생하는 AI 편향의 예를 통해 조직은 편향을 식별하고 해결하는 방법에 대한 유용한 인사이트를 얻을 수 있습니다. 이러한 사례를 비판적으로 살펴보고 편향을 극복한 성공 사례를 통해 데이터 과학자는 머신 러닝 모델에서 편향을 식별하고 예방하기 위한 로드맵을 구축할 수 있습니다.

인공 지능의 편향성이란 무엇인가요?

머신 러닝 편향 또는 알고리즘 편향이라고도 하는 AI 편향은 과거 및 현재의 사회적 불평등을 포함하여 사회 내에서 인간의 편향을 반영하고 영속시키는 편향된 결과를 생성하는 AI 시스템을 말합니다. 편향성은 초기 학습 데이터, 알고리즘 또는 알고리즘이 생성하는 예측에서 발견될 수 있습니다.

편향이 해결되지 않으면 사람들이 경제와 사회에 참여할 수 있는 능력이 저하됩니다. 또한 이로 인해 AI의 잠재력도 감소합니다. 유색인종, 여성, 장애인, 성소수자 커뮤니티 또는 기타 소외된 사람들 사이에서 왜곡된 결과를 낳고 불신을 조장하는 시스템으로부터 기업은 이익을 얻을 수 없습니다.

AI 편향의 원인

AI 편향성을 제거하려면 데이터 세트, 머신 러닝 알고리즘 및 기타 AI 시스템의 요소를 자세히 분석하여 잠재적인 편향성의 원인을 파악해야 합니다.

학습 데이터 편향성

AI 시스템은 훈련 데이터를 기반으로 의사 결정을 내리는 방법을 학습하므로 데이터 세트에 편향이 있는지 평가하는 것이 필수적입니다. 한 가지 방법은 학습 데이터 내에서 과대 또는 과소 대표된 그룹에 대한 데이터 샘플링을 검토하는 것입니다. 예를 들어, 백인을 과도하게 나타내는 얼굴 인식 알고리즘의 학습 데이터는 유색인종에 대한 얼굴 인식을 시도할 때 오류가 발생할 수 있습니다. 마찬가지로, 흑인이 주로 거주하는 지역에서 수집된 정보가 포함된 보안 데이터는 경찰이 사용하는 AI 툴에서 인종적 편견을 유발할 수 있습니다.

편향은 학습 데이터에 라벨을 지정하는 방식에서도 발생할 수 있습니다. 예를 들어, 일관되지 않은 라벨을 사용하거나 특정 특성을 제외하거나 과도하게 나타내는 AI 채용 툴은 자격을 갖춘 지원자를 고려 대상에서 제외할 수 있습니다.

알고리즘 편향성

결함이 있는 학습 데이터를 사용하면 알고리즘이 반복적으로 오류를 생성하거나, 부당한 결과를 초래하거나, 결함이 있는 데이터에 내재된 편향을 증폭시킬 수 있습니다. 알고리즘 편향은 개발자가 자신의 의식적 또는 무의식적 편향에 따라 알고리즘 의사 결정에 부당하게 가중치를 부여하는 등의 프로그래밍 오류로 인해 발생할 수도 있습니다. 예를 들어, 소득이나 어휘와 같은 지표가 알고리즘에서 특정 인종이나 성별의 사람들을 의도치 않게 차별하는 데 사용될 수 있습니다.

인지 편향성

사람들이 정보를 처리하고 판단을 내릴 때, 우리는 필연적으로 경험과 선호도의 영향을 받을 수밖에 없습니다. 결과적으로 사람들은 데이터를 선택하거나 데이터에 가중치를 부여하는 방식을 통해 AI 시스템에 이러한 편향을 구축할 수 있습니다. 예를 들어, 인지 편향으로 인해 전 세계의 다양한 인구에서 표본을 추출하는 대신 미국인으로부터 수집한 데이터 세트를 선호하게 될 수 있습니다.

NIST에 따르면 이러한 편향의 원인은 생각보다 흔하게 찾아볼 수 있다고 합니다. 인공 지능의 편향성을 식별하고 관리하기 위한 표준을 향하여(NIST 특별 간행물 1270) 보고서에서 NIST는 "인간과 제도적, 사회적 요인도 AI 편향성의 중요한 원인이며 현재 간과되고 있다"고 지적했습니다. "이 과제를 성공적으로 해결하려면 모든 형태의 편향을 고려해야 합니다. 그렇게 하려면 우리는 머신 러닝 파이프라인을 넘어 이 기술이 우리 사회에서 어떻게 생성되고 영향을 미치는지 인식하고 조사하기 위해 우리의 관점을 확장해야 합니다."

실생활에서의 AI 편향성의 예

사회가 AI의 작동 방식과 편향 가능성에 대해 더 많이 인식하게 되면서, 조직들은 다양한 사용 사례에서 AI의 편향성에 대한 수많은 주목할 만한 사례를 발견했습니다.

• 의료 — 여성이나 소수 민족에 대한 데이터가 부족하면 예측 AI 알고리즘이 왜곡될 수 있습니다. 예를 들어, 컴퓨터 지원 진단(CAD) 시스템은 백인 환자보다 흑인 환자의 경우 정확도가 낮은 결과를 반환하는 것으로 나타났습니다.

• 지원자 추적 시스템 — 자연어 처리 알고리즘 문제로 인해 지원자 추적 시스템 내에서 편향된 결과가 생성될 수 있습니다. 예를 들어, Amazon은 채용 알고리즘이 남성 이력서에서 흔히 볼 수 있는 '실행됨' 또는 '포획됨'과 같은 단어를 기준으로 지원자를 선호한다는 사실을 발견한 후 채용 알고리즘 사용을 중단했습니다.

• 온라인 광고 — 검색 엔진 광고 알고리즘의 편향은 직무 역할의 성별 편향을 심화시킬 수 있습니다. 피츠버그에 있는 카네기 멜론 대학의 독립적인 연구에 따르면, Google의 온라인 광고 시스템 남성에게 더 자주 더 높은 급여를 제공하는 직책을 표시했습니다.

• 이미지 생성 — 학술 연구에 따르면 생성형 AI 아트 제너레이션 애플리케이션인 Midourney에서 편향이 발견되었습니다. 전문 직종에 종사하는 사람들의 이미지를 만들어 달라는 요청에는 젊은 사람과 나이든 사람이 모두 등장했지만, 나이든 사람은 항상 남성으로 나타나 직장에서 여성의 역할에 대한 성별 편견이 심화되었습니다.

• 예측 치안 도구 — AI 기반 예측 치안 도구는 범죄가 발생할 가능성이 높은 영역을 식별하는 데 사용됩니다. 그러나 과거의 체포 데이터에 의존하는 경우가 많으며, 이는 기존의 인종 프로파일링 패턴과 소수 민족 커뮤니티에 대한 불균형적인 표적화를 심화시킬 수 있습니다.

편향성 감소 및 AI 거버넌스

AI의 편향성을 파악하고 해결하는 것은 조직의 AI 활동을 지시, 관리 및 모니터링하는 능력, 즉 AI 거버넌스에서 시작됩니다. 실제로 AI 거버넌스는 AI 기술의 책임감 있는 개발과 사용을 안내하는 일련의 정책, 관행 및 프레임워크를 만듭니다. AI 거버넌스가 잘 수행되면 기업, 고객, 직원, 사회 전체에 균형 잡힌 혜택이 제공될 수 있습니다.

AI 거버넌스 정책을 통해 기업은 다음과 같은 관행을 구축할 수 있습니다.

• 규정 준수 — AI 솔루션 및 AI 관련 의사 결정은 관련 산업 규정 및 법적 요구 사항과 일치해야 합니다.

• 신뢰 — 고객의 정보를 보호하기 위해 노력하는 기업은 브랜드 신뢰를 구축하고 신뢰할 수 있는 AI 시스템을 만들 가능성이 더 높습니다.

• 투명성 — AI의 복잡성으로 인해 알고리즘은 알고리즘을 생성하는 데 사용된 데이터에 대한 인사이트가 거의 없는 블랙박스 시스템이 될 수 있습니다. 투명성은 편향되지 않은 데이터를 사용하여 시스템을 구축하고 공정한 결과를 보장하는 데 도움이 됩니다.

• 효율성 — AI의 가장 큰 장점 중 하나는 수작업을 줄이고 직원의 시간을 절약할 수 있다는 점입니다. AI는 비즈니스 목표를 달성하고 시장 출시 속도를 개선하며 비용을 절감하는 데 도움이 되도록 설계되어야 합니다.

• 공정성 — AI 거버넌스에는 공정성, 형평성 및 포용성을 평가하는 방법이 포함되는 경우가 많습니다. 사실과 반대되는 공정성과 같은 접근 방식은 성별, 인종 또는 성적 지향과 같은 민감한 속성이 변경된 경우에도 모델 결정의 편향을 식별하고 공평한 결과를 보장합니다.

• 인간의 손길 - "휴먼 인 더 루프(human-in-the-loop)" 시스템과 같은 프로세스는 옵션을 제공하거나 권장 사항을 제시한 다음 결정을 내리기 전에 사람이 검토하여 또 다른 품질 보증 계층을 제공합니다.

• 강화 학습 — 이 비지도 학습 기법은 보상과 처벌을 사용하여 시스템이 작업을 학습하도록 가르칩니다. McKinsey는 강화 학습이 인간의 편견을 초월하여 '노련한 실무자조차도 고려하지 않았던 이전에는 상상하지 못했던 솔루션과 전략'을 만들어낼 수 있는 잠재력을 가지고 있다고 말합니다.

편향성, AI 및 IBM

적절한 기술 조합은 효과적인 데이터 및 AI 거버넌스 전략에 매우 중요하며, 최신 데이터 아키텍처와 신뢰할 수 있는 AI가 핵심 구성 요소입니다. 데이터 패브릭 아키텍처 내의 정책 오케스트레이션은 복잡한 AI 감사 프로세스를 간소화할 수 있는 훌륭한 툴입니다. AI 감사 및 관련 프로세스를 데이터 아키텍처의 거버넌스 정책에 통합함으로써 조직은 지속적인 검사가 필요한 영역을 파악하는 데 도움을 받을 수 있습니다.

IBM Consulting에서는 고객이 편향 및 기타 영역에 대한 평가 프로세스를 설정하도록 돕고 있습니다. AI 도입이 확대되고 혁신이 발전함에 따라 보안 지침도 수년에 걸쳐 기업 구조에 내장된 모든 기술의 경우와 마찬가지로 성숙해질 것입니다. 아래에서는 조직이 환경 전반에 걸쳐 AI를 안전하게 배포할 수 있도록 준비하는 데 도움이 되는 IBM의 몇 가지 모범 사례를 공유합니다.

1. 공급업체의 정책 및 관행을 평가하여 신뢰할 수 있는 AI를 활용합니다.

2. 사용자, 모델 및 데이터에 대한 보안 액세스를 활성화합니다.

3. AI 모델, 데이터, 인프라를 적대적 공격으로부터 보호합니다.

4. 교육, 테스트 및 운영 단계에서 데이터 개인정보 보호를 구현합니다.

5. 위협 모델링 및 보안 코딩 관행을 AI 개발 라이프사이클에 적용합니다.

6. AI 애플리케이션 및 인프라에 대한 위협 탐지 및 대응을 수행합니다.

7. IBM AI 프레임워크를 통해 AI 성숙도를 평가하고 결정합니다.

이유 AI가 아프리카인은 뭐다 라고 학습을 해서다. 그 결과 AI가 아프리카인은 흙집에 산다고 했다.

해결 방안 차별금지법 마련하기

AI에게 제대로 되게 학습시키기

생성형AI의 무분별한 학습 과정에서 인간의 혐오 표현, 범죄, 정치적 편향성 등이 답변에 반영된다는 것이다.

업계는 윤리적 기준 등을 데이터에 부착해 정제하는 작업(라벨링)으로 문제를 해결할 수 있다고 설명한다.

해결방안:다양한 학습 데이터 수집: 성별, 인종, 문화적 배경 등 다양한 집단을 대표할 수 있는 데이터를 수집하여 편향된 결과가 나오지 않도록 합니다.

데이터 전처리: AI 개발의 첫 단계에서부터 균일하고 질 높은 데이터를 확보하기 위한 데이터 정제 및 전처리 과정을 강화합니다.

합성 데이터 활용: 프라이버시 문제로 인해 접근하기 어려운 민감 데이터를 대신할 합성 데이터를 활용하여 편향성을 줄이는 방안도 고려됩니다.

AI가 성차별적,인종차별적 그림을 생성함

이유

빅데이터에 내재한 인간의 편향성

해결방안

빅데이터를 뜯어고친다

기고문은 미국 스탠퍼드대 연구진이 오픈AI의 이미지 생성 AI '달리'(DALLE)로 진행한 실험에 관한 것이었다.

달리는 아프리카와 빈곤을 연결해 이미지를 보여줬다. '아프리카 남자와 세련된 집'을 명령어로 입력하면 '진흙집 앞 흑인' 그림이 출력됐다. 가정부는 유색인종으로, 기내 승무원은 여성으로만 표현했다.

업계는 빅데이터에 내재한 인간의 편향성에 따른 결과라고 본다.

해결방안:데이터 단계에서의 개선

데이터 다양성 확보: 인종, 성별, 연령, 지역 등 다양한 집단을 포함

편향 탐지 도구 사용: IBM AI Fairness 360, Google What-If Tool 등

데이터 라벨링 점검: 주관적 판단이 들어가지 않도록 가이드라인 마련

* **얼굴 인식 AI**가 흑인이나 아시아인의 얼굴을 잘못 인식하는 문제 (예: 일부 미국 경찰용 얼굴 인식 시스템).

**이유:**

* 학습 데이터에서 **백인 얼굴 이미지가 과도하게 많고**, **다른 인종 데이터가 부족**했기 때문.

* 알고리즘이 **다양한 인종의 특성을 충분히 학습하지 못함.**

**해결 방안:**

* **인종·성별 등 다양한 집단이 포함된 데이터셋 구축.**

* **정기적인 편향성 테스트**와 알고리즘 개선.

* **투명한 AI 개발 기준과 외부 검증 제도** 마련.

-영국 연구진이 AI가 여성 환자 증상 축소하는 편향성 발견을 발견했다. 구글 AI는 같은 사례라도 상대적으로 여성은 건강하다는 답을 줬다. 이는 AI 의료 활용이 여성에게 불리할 수 있음을 경고한다.

해결방안

-남성이 여성보다 건강하다는 편향된 데이터 학습x

-인간의 확인 절차

-백인은 의사, 흑인은 범죄자라는 사례

이유

-편향된 데이터를 인공지능이 학습했시 때문이다

해결 방안

-다양한 구조적 데이버 수집하기

이유: 학습에 사용된 데이터의 대부분이 백인 얼굴 중심으로 구성되어 있기 때문에 AI가 백인 얼굴의 특징은 많이 배우고, 다른 인종의 얼굴 특징은 충분히 학습하지 못해 인식 정확도가 떨어진다

해결방안: AI 학습에 사용하는 얼굴 데이터에 백인뿐만 아니라 아시아인, 흑인, 중남미인 등 다양한 인종의 얼굴을 포함하고 인종, 나이, 성별, 조명 조건 등을 다양하게 구성하면 편향을 줄일 수 있습니다.

이유:구글포토가 잘못된학습을 했기 때문이다.

해결방안:구글포토를 다시 학습시키기이다.

이유 - AI가 과거의 사회적 불평등을 그대로 학습하고 재연했다. AI는 본래 중립적이어야 하지만, 편향된 데이터를 학습하면 그 편향을 강화하는 결과를 낳는다.

해결방안 - 1. 데이터 다양성 확보

2. 알고리즘 감시 및 영향

3. 투명성 및 설명 가능성 강화

-연구팀은 동일한 사례에서 성별 정보만 바꿔 구글의 제미나이 모델에 입력했다. 그 결과 여성 환자의 의료 문제가 간과되는 경향이 확인됐다

이유

-연구의 주 저자인 샘 릭먼 박사는 "이 모델들은 매우 광범위하게 사용되고 있다는 점에서 우려가 크다"라고 말했다.

해결방안

-성별에 따른 차이를 거의 보이지 않는 모델인 메타의 리마3를 쓴다

​

특정 직업에 대한 사회적 고정관념을 그대로 드러내는 것이다. 생성형 AI를 사용하는 아동·청소년에게 편견이 고착화하지 않도록 충분한 사전 테스트와 함께 AI 리터러시(AI를 이해하고 활용할 수 있는 능력) 교육 필요성이 대두된다.

이미지 생성 AI가 “CEO”, “박사” 같은 단어에 백인 남성 이미지를 주로 생성했다.

해결 방안: 데이터 다양성 확보하기. 성별·인종·연령·문화권을 고르게 포함한 이미지와 텍스트 수집한다.

-영국 연구진이 AI가 여성 환자 증상 축소하는 편향성 발견을 발견했다. 구글 AI는 같은 사례라도 상대적으로 여성은 건강하다는 답을 줬다. 이는 AI 의료 활용이 여성에게 불리할 수 있음을 경고한다.

이유

-실험에서 라마3는 성별에 따른 차이를 거의 보이지 않았지만, 제미나이는 여러 지표에서 뚜렷한 편향성을 드러냈다. 특히 여성의 정신적·신체적 건강 문제를 경시하는 경향이 두드러졌다.

해결방안

- 성별 균형있는 데이터셋 구축 :남성과 여성, 그리고 다양한 성별 정체성을 반영한 데이터 수집하기.

• 사례: 2018년 MIT 미디어랩 연구에 따르면, 일부 상용 얼굴 인식 시스템이 백인 남성의 얼굴은 거의 완벽히 인식한 반면, 흑인 여성의 얼굴은 최대 35%까지 오인식했다.

• 이유:학습 데이터가 주로 백인 남성의 얼굴로 구성되어 있었기 때문이다.

• 해결방안:학습데이터를 여러가지로 구성되게

  만든다.