- A사에서 개발한 인공지능 채용 프로그램이 지원자 중 남성 지원자를 더 우대

이유

- 이 프로그램이 여성보다 남성 직원 비율이 높은 회사의 직원 이력 사항을 학습한 결과 남성 지원자에게 더 높은 점수를 주었기 때문이다.

해결 방안

- 차별 금지법 마련하기

- 인간의 최종 결정권을 통해 검증, 보완하기

- AI에 학습되는 데이터가 편향되지 않도록 사회적 노력 기울이기

기고문은 미국 스탠퍼드대 연구진이 오픈AI의 이미지 생성 AI '달리'(DALLE)로 진행한 실험에 관한 것이었다.

달리는 아프리카와 빈곤을 연결해 이미지를 보여줬다. '아프리카 남자와 세련된 집'을 명령어로 입력하면 '진흙집 앞 흑인' 그림이 출력됐다. 가정부는 유색인종으로, 기내 승무원은 여성으로만 표현했다.

업계는 빅데이터에 내재한 인간의 편향성에 따른 결과라고 본다.

기고문은 미국 스탠퍼드대 연구진이 오픈AI의 이미지 생성 AI '달리'(DALLE)로 진행한 실험에 관한 것이었다.

달리는 아프리카와 빈곤을 연결해 이미지를 보여줬다. '아프리카 남자와 세련된 집'을 명령어로 입력하면 '진흙집 앞 흑인' 그림이 출력됐다. 가정부는 유색인종으로, 기내 승무원은 여성으로만 표현했다.

이 사례는 형사 사법 제도에서 AI의 사용이 오히려 기존의 사회적 편견과 불평등을 강화할 수 있다는 점을 잘 보여준다.

기고문은 미국 스탠퍼드대 연구진이 오픈AI의 이미지 생성 AI '달리'(DALLE)로 진행한 실험에 관한 것이었다.

달리는 아프리카와 빈곤을 연결해 이미지를 보여줬다. '아프리카 남자와 세련된 집'을 명령어로 입력하면 '진흙집 앞 흑인' 그림이 출력됐다. 가정부는 유색인종으로, 기내 승무원은 여성으로만 표현했다.

업계는 빅데이터에 내재한 인간의 편향성에 따른 결과라고 본다.

기업은 공정성을 달성하는 것뿐만 아니라 더 나은 결과를 보장하기 위해 AI의 편향성 문제를 해결하고자 합니다. 그러나 현실 세계에서 인종과 성별에 대한 편견을 없애는 것이 어려운 것처럼, AI의 편향성을 없애는 것도 쉬운 일이 아닙니다.

McKinsey 자료 What AI can and can’t do (yet) for your business에서 저자인 Michael Chui, James Manyika, Mehdi Miremadi는 이렇게 설명합니다. "이러한 편견은 계속 내재해 있기 쉽습니다. 이러한 편견을 인식하고 이를 해결하기 위한 조치를 취하려면 데이터 과학 기법에 심층적으로 숙달하고 데이터 수집을 포함해 기존의 사회적 요인에 대한 메타 이해가 필요하기 때문입니다. 결론적으로, 편견 해소는 지금까지 가장 어려운 장애 요인 중 하나이며 사회적으로 분명 가장 큰 우려 사항입니다."

실생활에서 발생하는 AI 편향의 예를 통해 조직은 편향을 식별하고 해결하는 방법에 대한 유용한 인사이트를 얻을 수 있습니다. 이러한 사례를 비판적으로 살펴보고 편향을 극복한 성공 사례를 통해 데이터 과학자는 머신 러닝 모델에서 편향을 식별하고 예방하기 위한 로드맵을 구축할 수 있습니다.

이 사건을 조사한 결과 얼굴 인식 AI가 백인 얼굴 데이터 중심으로 훈련돼 흑인이나 유색인종에 대한 정확도가 현저히 낮은 것으로 드러났다.

특히 여성과 흑인에 대한 얼굴 인식 정확도는 상대적으로 낮아, 이들이 부당한 처우를 받을 가능성이 높아지고 있다는 보고서도 여러 차례 발표된 바 있다.

결국 미국 일부 지역에서는 공공기관에서의 얼굴 인식 기술 사용을 제한하거나 금지하는 법안까지 추진되고 있다.

이유:인공지능이 학습한 데이터

미국 캘리포니아 대학교 로스앤젤레스(UCLA) 연구팀이 스탠퍼드대에서 2022년 개발된 'CheXzero'라는 AI 모델을 통한 질환 검출 정확도를 검증한 결과, "흑인 및 여성 환자의 질환 검출에서 편향이 확인됐다"고 보고했다.

연구 결과는 국제학술지 '사이언스 어드밴시스 (Science Advances)'에 게재됐다.

CheXzero는 흉부 X선 이미지를 기반으로 질환을 검출하기 위해 사용되고 있는 AI 모델이다. 연구팀이 666장의 흉부 X선 영상 사진 데이터를 검증한 결과, ▲흑인 환자 ▲여성 환자 ▲40세 이하 환자의 경우 의사가 진단한 질환을 AI는 검출하지 못하는 비율이 높은 것으로 나타났다.

특히 흑인 여성 환자는 무려 절반의 비율로 심장 크기를 측정하는 '심비대증(Cardiomegaly) 등의 상태를 검출할 수 없었다. 이러한 문제는 스페인과 베트남 등 다른 지역의 데이터 세트에서도 동일하게 관찰됐다.

연구팀은 편향성의 원인을 찾기 위해 'CheXzero'가 흉부 X선 이미지에서 환자의 성별, 나이, 인종을 예측할 수 있는지 테스트했다. 그 결과, AI는 약 80%의 정확도로 인종을 식별하는 반면, 경험이 풍부한 방사선과 의사는 동일 테스트에서 최대 약 50%의 성공률에 그쳤다.

이를 바탕으로 연구팀은 '방사선 이미지 내에 사람이 시각적으로 식별할 수 없는 숨은 신호가 있을 가능성이 있다'고 추정했다.

보도에 따르면 마운트 시나이 아이칸 의과대학(ISMMS) 연구팀은 응급실 입원환자 1,000명에 대한 의료 행위 170만 건을 9개의 대규모 언어모델(LLM)을 입력해 환자마다 치료 어떻게 치료해야 하는지를 확인∙분석했다. 연구팀은 각 사례의 임상적 세부사항을 동일하게 유지했으며, 31개의 사회인구학적 요인을 별도로 입력해 이를 대조했다. 

그 결과, AI 모델은 동일한 임상적 세부사항에도 개인적 특성에 따라 치료 및 진단, 치료 접근 방식, 정신건강평가 등 우선순위를 바꿔 환자의 의료 의사결정에 영향을 미친 것으로 나타났다. 

예를 들어, 흑인이나 무주택자 또는 성소수자(LGBTQIA+)로 분류됐다면 긴급치료, 침습적 행위, 정신건강평가에 더욱 초점이 맞춰져 있었다. 노숙자 등으로 분류된 환자에게는 정신건강평가를 권고하는 비율이 6~7배 높았다. 

해결방안: 차별없는 데이터만 ai에게 주입시킨다

정리하자면 ChatGPT는 다음과 같이 남자와 여자에 대한 선입견을 은연중에 드러냈습니다.

예컨대 흑인과 히스패닉 고객들이 유사한 경제적 조건에도 불구하고 백인 고객보다 낮은 신용 평가를 받은 것으로 나타났다.

이러한 문제가 지속되자 미국 금융 당국은 AI 기반의 신용 평가 시스템에 대한 투명성 강화를 요구하고 있으며, 알고리즘 감사제 도입까지 검토하고 있다.

AI가 초래하는 금융 차별은 단순히 경제적 손실뿐 아니라 사회적 불신과 갈등을 야기할 수 있다는 점에서 더욱 심각한 문제로 지적된다.

AI의 편향성은 주로 알고리즘 학습 과정에서 사용된 데이터가 특정 집단이나 관점을 과도하게 반영하면서 발생한다. 이로 인해 사회적 차별과 불공정이 강화될 우려가 있다.

지난해 미국의 한 채용 플랫폼이 AI를 활용해 채용을 진행하다 성별 편향성을 드러낸 사례가 대표적이다. 알고리즘이 과거의 데이터를 바탕으로 남성 지원자를 더 선호하도록 학습해 여성 지원자들의 기회가 줄어든 것이다.

대표적인 사례로는 Amazon의 AI 채용 시스템이 있다. 2018년 Amazon은 지원자의 이력서를 평가하는 AI 시스템을 폐기했는데, 이 시스템이 남성 중심의 이력서 데이터를 기반으로 학습해 여성 지원자에게 부정적 평가를 내리는 성별 편향성을 보였기 때문이다.

이에 따라 전문가들은 AI 개발 시 데이터의 다양성과 대표성을 확보하는 것이 매우 중요하다고 지적한다.

보도에 따르면 마운트 시나이 아이칸 의과대학(ISMMS) 연구팀은 응급실 입원환자 1,000명에 대한 의료 행위 170만 건을 9개의 대규모 언어모델(LLM)을 입력해 환자마다 치료 어떻게 치료해야 하는지를 확인∙분석했다. 연구팀은 각 사례의 임상적 세부사항을 동일하게 유지했으며, 31개의 사회인구학적 요인을 별도로 입력해 이를 대조했다.

그 결과, AI 모델은 동일한 임상적 세부사항에도 개인적 특성에 따라 치료 및 진단, 치료 접근 방식, 정신건강평가 등 우선순위를 바꿔 환자의 의료 의사결정에 영향을 미친 것으로 나타났다.

예를 들어, 흑인이나 무주택자 또는 성소수자(LGBTQIA+)로 분류됐다면 긴급치료, 침습적 행위, 정신건강평가에 더욱 초점이 맞춰져 있었다. 노숙자 등으로 분류된 환자에게는 정신건강평가를 권고하는 비율이 6~7배 높았다.

기고문은 미국 스탠퍼드대 연구진이 오픈AI의 이미지 생성 AI '달리'(DALLE)로 진행한 실험에 관한 것이었다.

달리는 아프리카와 빈곤을 연결해 이미지를 보여줬다. '아프리카 남자와 세련된 집'을 명령어로 입력하면 '진흙집 앞 흑인' 그림이 출력됐다. 가정부는 유색인종으로, 기내 승무원은 여성으로만 표현했다.

업계는 빅데이터에 내재한 인간의 편향성에 따른 결과라고 본다.

생성형 AI 설루션을 개발한 SK C&C는 최근 펴낸 '생성형 AI에 대한 보안 위협과 안전대책' 보고서 "생성형 AI는 학습용 데이터의 영향을 받을 수밖에 없다"며 "편향된 데이터에 의해 AI 모델의 결과물도 특정 성향을 갖게 된다"고 했다.

또한 미국 탐사보도 전문매체 프로퍼블리카(ProPublica)도 2016년에 미 사법부가 사용하는 위험평가 소프트웨어가 흑인 공동체에 대해 편향된 예측 값을 도출한다는 내용의 기사를 발표한 바 있다. 과거 유죄 판결을 받은 사람들의 재범 가능성을 추정할 때 COMPAS라는 알고리즘을 사용했는데, 흑인이 백인보다 높은 위험도 판정을 받을 가능성이 두 배 가까이 된다는 것이다.

이에 안면인식‧음성인식 등 AI 알고리즘에서 나타난 인종‧성별‧출신에 따른 성능의 차이를 줄이는 기술이 개발되고 있으며, 채용과 신용평가, 의료서비스 등에서도 성능의 편향성을 줄여야 한다는 목소리가 높아지고 있다. 

AI의 공정성은 알고리즘의 공정성과도 일맥상통한다.

특히 AI는 의사결정의 과정이 전통적인 알고리즘보다 더 불투명해, 공정한 AI는 설명 가능한 AI 등과도 밀접한 관련이 있다.

공정성이란 개념은 영역에 따라 다를 수 있어 영역마다 공정성의 개념을 확립해 이에 맞는 수학적인 판단기준(척도‧지표)을 개발해야 한다.

공정한 AI 연구 주제는 최근 3년간 주목받은 내용으로 주로 글로벌 IT 기업(IBM, Google, Facebook)을 중심으로 공정한 AI 개발이 이뤄지고 있다. 주요 연구 주제로는 공정성을 측정하는 척도 설계와 분류 문제에서의 공정성 기준 마련 등이 있다.

한편, 공정한 AI 알고리즘 개발 시 대부분 공정성이 AI 성능과 역방향으로 설정돼 있어 공정성 예측 성능을 저해하는 것이다.

출처 : AI타임스(https://www.aitimes.com)

AI의 편향성은 주로 알고리즘 학습 과정에서 사용된 데이터가 특정 집단이나 관점을 과도하게 반영하면서 발생한다. 이로 인해 사회적 차별과 불공정이 강화될 우려가 있다.

지난해 미국의 한 채용 플랫폼이 AI를 활용해 채용을 진행하다 성별 편향성을 드러낸 사례가 대표적이다. 알고리즘이 과거의 데이터를 바탕으로 남성 지원자를 더 선호하도록 학습해 여성 지원자들의 기회가 줄어든 것이다.

대표적인 사례로는 Amazon의 AI 채용 시스템이 있다. 2018년 Amazon은 지원자의 이력서를 평가하는 AI 시스템을 폐기했는데, 이 시스템이 남성 중심의 이력서 데이터를 기반으로 학습해 여성 지원자에게 부정적 평가를 내리는 성별 편향성을 보였기 때문이다.

이에 따라 전문가들은 AI 개발 시 데이터의 다양성과 대표성을 확보하는 것이 매우 중요하다고 지적한다.

특히 현재의 AI 개발 방식인 딥러닝은 개발자조차 원리를 완벽히 설명할 수 없는 ‘블랙박스’이다. AI가 내놓는 답변이 학습된 데이터 가운데 어디서 나왔는지 역추적이 불가능하다는 뜻이다. 답변 하나하나를 바로잡는 것은 가능하지만 앞으로 나타날 편향성을 예측하는 것이 불가능해, 언제든 오류가 나타날 수 있는 상태에서 서비스되고 있는 것이다.