# data[].attributes.body
https://www.moralmachine.net/hl/kr/results/1770472749

# data[].attributes.body
인공지능 편향 사례

- A사에서 개발한 인공지능 채용 프로그램이 지원자 중 남성 지원자를 더 우대

이유

- 이 프로그램이 여성보다 남성 직원 비율이 높은 회사의 직원 이력 사항을 학습한 결과 남성 지원자에게 더 높은 점수를 주었기 때문이다.

해결 방안

- 차별 금지법 마련하기

- 인간의 최종 결정권을 통해 검증, 보완하기

- AI에 학습되는 데이터가 편향되지 않도록 사회적 노력 기울이기

# data[].attributes.attachment_link.title
아마존, 성차별 논란 인공지능 채용 폐기 - BBC News 코리아

# data[].attributes.attachment_link.description
아마존은 지난 10년간의 데이터를 바탕으로 한 인공지능 채용 프로그램을 개발해왔다.

# data[].attributes.body
https://www.moralmachine.net/hl/kr/results/365150209

# data[].attributes.attachment_link.description
A platform for public participation in and discussion of the human perspective on machine-made moral decisions

# data[].attributes.body
https://www.moralmachine.net/hl/kr/results/-1382217280

# data[].attributes.body
https://www.moralmachine.net/hl/kr/results/-2122908575

# data[].attributes.attachment_link.description
A platform for public participation in and discussion of the human perspective on machine-made moral decisions

# data[].attributes.body
https://www.moralmachine.net/hl/kr/results/-2052074184

# data[].attributes.attachment_link.description
A platform for public participation in and discussion of the human perspective on machine-made moral decisions

# data[].attributes.body
https://www.moralmachine.net/hl/kr/results/-1336627304

# data[].attributes.body
https://www.moralmachine.net/hl/kr/results/-1551121392

# data[].attributes.body
https://www.moralmachine.net/hl/kr/results/-1258373072

# data[].attributes.body
28일 AI 업계에 따르면 이달 국제학술지 '네이처'(Nature)에 'AI 이미지 생성 도구가 종종 인종·성차별적 결과를 만들어 낸다'는 제목의 기고문이 올라왔다.

기고문은 미국 스탠퍼드대 연구진이 오픈AI의 이미지 생성 AI '달리'(DALLE)로 진행한 실험에 관한 것이었다.

달리는 아프리카와 빈곤을 연결해 이미지를 보여줬다. '아프리카 남자와 세련된 집'을 명령어로 입력하면 '진흙집 앞 흑인' 그림이 출력됐다. 가정부는 유색인종으로, 기내 승무원은 여성으로만 표현했다.

업계는 빅데이터에 내재한 인간의 편향성에 따른 결과라고 본다.

# data[].attributes.body
의료 분야에서 흑인 환자에 대한 진단 정확도가 낮은 것, 신용 평가 시스템에서 여성에게 더 낮은 한도를 제공한 애플 카드 사례, 채용 AI가 여성이나 소수 인종을 차별하는 경우, 그리고 검색 엔진에서 교수와 같은 단어에 백인 남성이 주로 나타나고, '흑인 청소년' 같은 검색어에 교도소 모습이 함께 나오는 것

# data[].attributes.body
https://www.moralmachine.net/hl/kr/results/-421037112

# data[].attributes.body
의료 분야에서 백인 환자에게 더 높은 정확도를 보이는 진단 시스템, 이미지 생성 AI에서 '아프리카'나 '빈곤'과 연관된 이미지가 특정 인종의 흑인으로만 생성되는 경우, 채용 분야에서 남성 지원자에게 더 높은 점수를 주는 등 다양합니다.

# data[].attributes.attachment_link.description
A platform for public participation in and discussion of the human perspective on machine-made moral decisions

# data[].attributes.attachment_link.description
A platform for public participation in and discussion of the human perspective on machine-made moral decisions

# data[].attributes.headline
28일 AI 업계에 따르면 이달 국제학술

# data[].attributes.body
28일 AI 업계에 따르면 이달 국제학술지 '네이처'(Nature)에 'AI 이미지 생성 도구가 종종 인종·성차별적 결과를 만들어 낸다'는 제목의 기고문이 올라왔다.

기고문은 미국 스탠퍼드대 연구진이 오픈AI의 이미지 생성 AI '달리'(DALLE)로 진행한 실험에 관한 것이었다.

달리는 아프리카와 빈곤을 연결해 이미지를 보여줬다. '아프리카 남자와 세련된 집'을 명령어로 입력하면 '진흙집 앞 흑인' 그림이 출력됐다. 가정부는 유색인종으로, 기내 승무원은 여성으로만 표현했다.

# data[].attributes.body
https://www.moralmachine.net/hl/kr/results/527543646

# data[].attributes.headline
편향성은 인공지능 기술이 미래로 나아가는

# data[].attributes.body
편향성은 인공지능 기술이 미래로 나아가는 데 있어 가장 큰 걸림돌로 꼽히고 있다. 애리조나대학의 아서 맥카비(Arthur Maccabe) 교수가 그렇게 주장하는 사람들 중 하나다. “다만 편향성은 관찰되고 있는 하나의 현상이지 그 자체로 문제라고 할 수는 없습니다. 인공지능을 활용해 결정을 내릴 때, 편향성이 발동되어 잘못된 방향으로 결정이 내려진다면, 그게 ‘문제’입니다. 이 부분을 명확히 짚고 넘어가야 할 필요가 있습니다.”

그런 결정들, 즉 문제들이 쌓이고 쌓이면 사회적인 불공평 사례가 누적되고, 그것은 곧 사회적 파장을 일으키며, 다시 사회 약자들의 피해를 가중시키는 결과를 낳게 된다고 산타클라라대학 마이클 사모라니(Michele Samorani) 교수는 강조한다

# data[].attributes.body
온라인 광고 — 검색 엔진 광고 알고리즘의 편향은 직무 역할의 성별 편향을 심화시킬 수 있습니다. 피츠버그에 있는 카네기 멜론 대학의 독립적인 연구에 따르면, Google의 온라인 광고 시스템 남성에게 더 자주 더 높은 급여를 제공하는 직책을 표시했습니다

# data[].attributes.body
https://www.moralmachine.net/hl/kr/results/127273783

# data[].attributes.body
https://www.moralmachine.net/hl/kr/results/-931768144

# data[].attributes.body
형사 사법 체계에서도 AI 알고리즘의 편향성이 심각한 문제로 부상하고 있다. 대표적인 예로 COMPAS(Correctional Offender Management Profiling for Alternative Sanctions) 시스템이 있다. 이 시스템은 범죄자의 재범 가능성을 예측하는 데 활용되지만, 흑인의 재범 가능성을 과대평가하고 백인의 가능성을 과소평가하는 인종적 편향성을 보였다는 연구 결과가 공개돼 큰 논란을 일으켰다.

이 사례는 형사 사법 제도에서 AI의 사용이 오히려 기존의 사회적 편견과 불평등을 강화할 수 있다는 점을 잘 보여준다.

# data[].attributes.body
28일 AI 업계에 따르면 이달 국제학술지 '네이처'(Nature)에 'AI 이미지 생성 도구가 종종 인종·성차별적 결과를 만들어 낸다'는 제목의 기고문이 올라왔다.

기고문은 미국 스탠퍼드대 연구진이 오픈AI의 이미지 생성 AI '달리'(DALLE)로 진행한 실험에 관한 것이었다.

달리는 아프리카와 빈곤을 연결해 이미지를 보여줬다. '아프리카 남자와 세련된 집'을 명령어로 입력하면 '진흙집 앞 흑인' 그림이 출력됐다. 가정부는 유색인종으로, 기내 승무원은 여성으로만 표현했다.

업계는 빅데이터에 내재한 인간의 편향성에 따른 결과라고 본다.

# data[].attributes.body
기업이 인공 지능(AI) 사용을 늘리면서 사람들은 인간의 편견이 AI 시스템에 어느 정도까지 침투했는지에 대해 의문을 제기하고 있습니다. 현실 세계의 AI 편향 사례는 차별적인 데이터와 알고리즘이 AI 모델에 적용되면 모델이 편향을 대규모로 배포하고 그로 인한 부정적인 영향을 증폭시킨다는 것을 보여줍니다.

기업은 공정성을 달성하는 것뿐만 아니라 더 나은 결과를 보장하기 위해 AI의 편향성 문제를 해결하고자 합니다. 그러나 현실 세계에서 인종과 성별에 대한 편견을 없애는 것이 어려운 것처럼, AI의 편향성을 없애는 것도 쉬운 일이 아닙니다.

McKinsey 자료 What AI can and can’t do (yet) for your business에서 저자인 Michael Chui, James Manyika, Mehdi Miremadi는 이렇게 설명합니다. "이러한 편견은 계속 내재해 있기 쉽습니다. 이러한 편견을 인식하고 이를 해결하기 위한 조치를 취하려면 데이터 과학 기법에 심층적으로 숙달하고 데이터 수집을 포함해 기존의 사회적 요인에 대한 메타 이해가 필요하기 때문입니다. 결론적으로, 편견 해소는 지금까지 가장 어려운 장애 요인 중 하나이며 사회적으로 분명 가장 큰 우려 사항입니다."

실생활에서 발생하는 AI 편향의 예를 통해 조직은 편향을 식별하고 해결하는 방법에 대한 유용한 인사이트를 얻을 수 있습니다. 이러한 사례를 비판적으로 살펴보고 편향을 극복한 성공 사례를 통해 데이터 과학자는 머신 러닝 모델에서 편향을 식별하고 예방하기 위한 로드맵을 구축할 수 있습니다.

# data[].attributes.attachment_link.description
A platform for public participation in and discussion of the human perspective on machine-made moral decisions

# data[].attributes.body
https://www.moralmachine.net/hl/kr/results/1436170529

# data[].attributes.headline
디지털투데이 AI리포터] 인공지능(AI)이 의료 분야에서 성차별적 편향을 강화할 수 있다는 영국 런던정경대학(LSE)의 연구 결과를 11일(현지시간) IT매체 엔가젯이 보도했다.연구팀은 동일한 사례에서 성별 정보만 바꿔 메타의 라마3과 구글의 제미나이 모델에 입력했다. 그 결과 여성 환자의 의료 문제가 간과되는 경향이 확인됐다. 예를 들어 남성 환자는 '복잡한 병력을 가진 84세 남성'이라고 설명했지만, 여성 환자는 '혼자 사는 84세 여성'이라고만 기술했다.실험에서 라마3는 성별에 따른 차이를 거의 보이지 않았지만, 제미나이는 여러 지표에서 뚜렷한 편향성을 드러냈다. 특히 여성의 정신적·신체적 건강 문제를 경시하는 경향이 두드러졌다.연구팀은 이번 결과가 AI가 훈련된 데이터와 이를 설계·운영하는 사람들의 결정에 따라 성능이 달라질 수 있음을 보여준다고 설명했다. 연구의 주 저자인 샘 릭먼 박사는 "이 모델들은 매우 광범위하게 사용되고 있다는 점에서 우려가 크다"라고 말했다.

# data[].attributes.subject
디지털투데이 AI리포터] 인공지능(AI)이 의료 분야에서 성차별적 편향을 강화할 수 있다는 영국 런던정경대학(LSE)의 연구 결과를 11일(현지시간) IT매체 엔가젯이 보도했다.연구팀은 동일한 사례에서 성별 정보만 바꿔 메타의 라마3과 구글의 제미나이 모델에 입력했다. 그 결과 여성 환자의 의료 문제가 간과되는 경향이 확인됐다. 예를 들어 남성 환자는 '복잡한 병력을 가진 84세 남성'이라고 설명했지만, 여성 환자는 '혼자 사는 84세 여성'이라고만 기술했다.실험에서 라마3는 성별에 따른 차이를 거의 보이지 않았지만, 제미나이는 여러 지표에서 뚜렷한 편향성을 드러냈다. 특히 여성의 정신적·신체적 건강 문제를 경시하는 경향이 두드러졌다.연구팀은 이번 결과가 AI가 훈련된 데이터와 이를 설계·운영하는 사람들의 결정에 따라 성능이 달라질 수 있음을 보여준다고 설명했다. 연구의 주 저자인 샘 릭먼 박사는 "이 모델들은 매우 광범위하게 사용되고 있다는 점에서 우려가 크다"라고 말했다.

# data[].attributes.body
실제로 AI가 광범위하게 활용되면서 AI의 편향성은 심각한 문제가 되고 있다. 아마존이 과거 10년 치 채용 정보를 학습시켜 만든 AI 채용 시스템은 여성에게 낮은 점수를 주거나 배제하는 오류를 일으켰다. 통계적으로 지난 10년간 남성이 승진하거나 임원이 되는 경우가 훨씬 많았기 때문에 일어난 일이다. 지난 8월에는 미국 디트로이트의 한 흑인 여성이 흑인의 범죄 가능성을 높게 판단하는 AI 안면 인식 시스템 오류 때문에 억울하게 체포됐다며 경찰에 소송을 걸기도 했다.

# data[].attributes.body
AI 얼굴 인식 기술 역시 편향성 논란에서 자유롭지 않다. 2020년 미국에서는 흑인 남성이 AI의 잘못된 얼굴 인식으로 인해 잘못된 체포를 당한 사건이 발생했다.

이 사건을 조사한 결과 얼굴 인식 AI가 백인 얼굴 데이터 중심으로 훈련돼 흑인이나 유색인종에 대한 정확도가 현저히 낮은 것으로 드러났다.

특히 여성과 흑인에 대한 얼굴 인식 정확도는 상대적으로 낮아, 이들이 부당한 처우를 받을 가능성이 높아지고 있다는 보고서도 여러 차례 발표된 바 있다.

결국 미국 일부 지역에서는 공공기관에서의 얼굴 인식 기술 사용을 제한하거나 금지하는 법안까지 추진되고 있다.

# data[].attributes.body
얼굴 인식 알고리즘이 백인 남성을 더 정확하게 인식했던 것

이유:인공지능이 학습한 데이터

# data[].attributes.attachment_link.description
A platform for public participation in and discussion of the human perspective on machine-made moral decisions

# data[].attributes.body
https://padlet.com/samchunms/7-gigazyzr1bts6yq/wish/94PGWnGxAq1baLRV

# data[].attributes.body
ㅣ데일리포스트=김정은 기자ㅣ최근 인공지능(AI) 기술을 기반으로 진료 체계를 개선하고 환자에게 도움을 주기 위한 다양한 연구가 진행되고 있다. 그러나 일각에서는 AI 알고리즘의 편향 문제로 인해 AI 기술의 의료 적용에 신중해야 한다는 지적이 나온다.

미국 캘리포니아 대학교 로스앤젤레스(UCLA) 연구팀이 스탠퍼드대에서 2022년 개발된 'CheXzero'라는 AI 모델을 통한 질환 검출 정확도를 검증한 결과, "흑인 및 여성 환자의 질환 검출에서 편향이 확인됐다"고 보고했다.

연구 결과는 국제학술지 '사이언스 어드밴시스 (Science Advances)'에 게재됐다.

CheXzero는 흉부 X선 이미지를 기반으로 질환을 검출하기 위해 사용되고 있는 AI 모델이다. 연구팀이 666장의 흉부 X선 영상 사진 데이터를 검증한 결과, ▲흑인 환자 ▲여성 환자 ▲40세 이하 환자의 경우 의사가 진단한 질환을 AI는 검출하지 못하는 비율이 높은 것으로 나타났다.

특히 흑인 여성 환자는 무려 절반의 비율로 심장 크기를 측정하는 '심비대증(Cardiomegaly) 등의 상태를 검출할 수 없었다. 이러한 문제는 스페인과 베트남 등 다른 지역의 데이터 세트에서도 동일하게 관찰됐다.

연구팀은 편향성의 원인을 찾기 위해 'CheXzero'가 흉부 X선 이미지에서 환자의 성별, 나이, 인종을 예측할 수 있는지 테스트했다. 그 결과, AI는 약 80%의 정확도로 인종을 식별하는 반면, 경험이 풍부한 방사선과 의사는 동일 테스트에서 최대 약 50%의 성공률에 그쳤다.

이를 바탕으로 연구팀은 '방사선 이미지 내에 사람이 시각적으로 식별할 수 없는 숨은 신호가 있을 가능성이 있다'고 추정했다.

# data[].attributes.body
https://www.moralmachine.net/hl/kr/results/-1326851453

# data[].attributes.body
영국 <로이터(Reuters)>는 9일(현지 시각) 인공지능(AI) 모델이 같은 질환을 앓고 있는 환자라도 사회경제적∙인구통계학적 특성만을 기준으로 서로 다른 치료법을 추천할 가능성이 있다고 발표했다.

보도에 따르면 마운트 시나이 아이칸 의과대학(ISMMS) 연구팀은 응급실 입원환자 1,000명에 대한 의료 행위 170만 건을 9개의 대규모 언어모델(LLM)을 입력해 환자마다 치료 어떻게 치료해야 하는지를 확인∙분석했다. 연구팀은 각 사례의 임상적 세부사항을 동일하게 유지했으며, 31개의 사회인구학적 요인을 별도로 입력해 이를 대조했다.

그 결과, AI 모델은 동일한 임상적 세부사항에도 개인적 특성에 따라 치료 및 진단, 치료 접근 방식, 정신건강평가 등 우선순위를 바꿔 환자의 의료 의사결정에 영향을 미친 것으로 나타났다.

예를 들어, 흑인이나 무주택자 또는 성소수자(LGBTQIA+)로 분류됐다면 긴급치료, 침습적 행위, 정신건강평가에 더욱 초점이 맞춰져 있었다. 노숙자 등으로 분류된 환자에게는 정신건강평가를 권고하는 비율이 6~7배 높았다.

해결방안: 차별없는 데이터만 ai에게 주입시킨다

# data[].attributes.body
https://www.moralmachine.net/hl/kr/results/-499061675

# data[].attributes.body
일반적으로 철수는 남자이름, 영수는 여자이름이라고 판단을 하게 되는데, ChatGPT는 남자이름인 철수에 대해서는 승진,임원,강인함,논리력,사회적 성공, 우월함 등의 단어를 짝지었고 여자이름인 영희에 대해서는 집안일, 살림,섬세함,꼼꼼함 등의 단어를 짝지었습니다.

정리하자면 ChatGPT는 다음과 같이 남자와 여자에 대한 선입견을 은연중에 드러냈습니다.

# data[].attributes.body
의료 분야에서 흑인 환자에 대한 진단 정확도가 낮은 것, 신용 평가 시스템에서 여성에게 더 낮은 한도를 제공한 애플 카드 사례, 채용 AI가 여성이나 소수 인종을 차별하는 경우, 그리고 검색 엔진에서 교수와 같은 단어에 백인 남성이 주로 나타나고, '흑인 청소년' 같은 검색어에 교도소 모습이 함께 나오는 것

# data[].attributes.body
금융권에서도 AI 알고리즘의 편향성 문제는 크게 부각되고 있다. 최근 미국의 한 대형 은행이 신용 평가에 AI를 도입하면서 특정 인종과 성별에 따라 대출 승인률이 크게 차이 나는 사례가 발견됐다.

예컨대 흑인과 히스패닉 고객들이 유사한 경제적 조건에도 불구하고 백인 고객보다 낮은 신용 평가를 받은 것으로 나타났다.

이러한 문제가 지속되자 미국 금융 당국은 AI 기반의 신용 평가 시스템에 대한 투명성 강화를 요구하고 있으며, 알고리즘 감사제 도입까지 검토하고 있다.

AI가 초래하는 금융 차별은 단순히 경제적 손실뿐 아니라 사회적 불신과 갈등을 야기할 수 있다는 점에서 더욱 심각한 문제로 지적된다.

# data[].attributes.body
최근 인공지능(AI)의 활용이 급증하면서 일상에서 AI의 의사결정을 마주하는 사례가 늘고 있다. 그러나 이러한 편리함 이면에는 AI 알고리즘이 지닌 편향성 문제가 심각하게 부상하고 있다.

AI의 편향성은 주로 알고리즘 학습 과정에서 사용된 데이터가 특정 집단이나 관점을 과도하게 반영하면서 발생한다. 이로 인해 사회적 차별과 불공정이 강화될 우려가 있다.

지난해 미국의 한 채용 플랫폼이 AI를 활용해 채용을 진행하다 성별 편향성을 드러낸 사례가 대표적이다. 알고리즘이 과거의 데이터를 바탕으로 남성 지원자를 더 선호하도록 학습해 여성 지원자들의 기회가 줄어든 것이다.

대표적인 사례로는 Amazon의 AI 채용 시스템이 있다. 2018년 Amazon은 지원자의 이력서를 평가하는 AI 시스템을 폐기했는데, 이 시스템이 남성 중심의 이력서 데이터를 기반으로 학습해 여성 지원자에게 부정적 평가를 내리는 성별 편향성을 보였기 때문이다.

이에 따라 전문가들은 AI 개발 시 데이터의 다양성과 대표성을 확보하는 것이 매우 중요하다고 지적한다.

# data[].attributes.body
영국 <로이터(Reuters)>는 9일(현지 시각) 인공지능(AI) 모델이 같은 질환을 앓고 있는 환자라도 사회경제적∙인구통계학적 특성만을 기준으로 서로 다른 치료법을 추천할 가능성이 있다고 발표했다.

보도에 따르면 마운트 시나이 아이칸 의과대학(ISMMS) 연구팀은 응급실 입원환자 1,000명에 대한 의료 행위 170만 건을 9개의 대규모 언어모델(LLM)을 입력해 환자마다 치료 어떻게 치료해야 하는지를 확인∙분석했다. 연구팀은 각 사례의 임상적 세부사항을 동일하게 유지했으며, 31개의 사회인구학적 요인을 별도로 입력해 이를 대조했다.

그 결과, AI 모델은 동일한 임상적 세부사항에도 개인적 특성에 따라 치료 및 진단, 치료 접근 방식, 정신건강평가 등 우선순위를 바꿔 환자의 의료 의사결정에 영향을 미친 것으로 나타났다.

예를 들어, 흑인이나 무주택자 또는 성소수자(LGBTQIA+)로 분류됐다면 긴급치료, 침습적 행위, 정신건강평가에 더욱 초점이 맞춰져 있었다. 노숙자 등으로 분류된 환자에게는 정신건강평가를 권고하는 비율이 6~7배 높았다.

# data[].attributes.body
여성이나 소수 민족에 대한 데이터가 부족하면 예측 AI 알고리즘이 왜곡될 수 있습니다. 예를 들어, 컴퓨터 지원 진단(CAD) 시스템은 백인 환자보다 흑인 환자의 경우 정확도가 낮은 결과를 반환하는 것으로 나타났습니다.

# data[].attributes.body
28일 AI 업계에 따르면 이달 국제학술지 '네이처'(Nature)에 'AI 이미지 생성 도구가 종종 인종·성차별적 결과를 만들어 낸다'는 제목의 기고문이 올라왔다.

기고문은 미국 스탠퍼드대 연구진이 오픈AI의 이미지 생성 AI '달리'(DALLE)로 진행한 실험에 관한 것이었다.

달리는 아프리카와 빈곤을 연결해 이미지를 보여줬다. '아프리카 남자와 세련된 집'을 명령어로 입력하면 '진흙집 앞 흑인' 그림이 출력됐다. 가정부는 유색인종으로, 기내 승무원은 여성으로만 표현했다.

업계는 빅데이터에 내재한 인간의 편향성에 따른 결과라고 본다.

생성형 AI 설루션을 개발한 SK C&C는 최근 펴낸 '생성형 AI에 대한 보안 위협과 안전대책' 보고서 "생성형 AI는 학습용 데이터의 영향을 받을 수밖에 없다"며 "편향된 데이터에 의해 AI 모델의 결과물도 특정 성향을 갖게 된다"고 했다.

# data[].attributes.body
AI 공정성'은 자동화된 의사결정 프로그램의 편향적 결과를 보여주는 사례가 날로 늘어나면서 부각된 이슈다. 위와 같이 아마존의 AI 기반 채용 프로그램에서도 여성보다 남성을 선호하는 성별에 대한 편향이 관측된 바 있다.

또한 미국 탐사보도 전문매체 프로퍼블리카(ProPublica)도 2016년에 미 사법부가 사용하는 위험평가 소프트웨어가 흑인 공동체에 대해 편향된 예측 값을 도출한다는 내용의 기사를 발표한 바 있다. 과거 유죄 판결을 받은 사람들의 재범 가능성을 추정할 때 COMPAS라는 알고리즘을 사용했는데, 흑인이 백인보다 높은 위험도 판정을 받을 가능성이 두 배 가까이 된다는 것이다.

이에 안면인식‧음성인식 등 AI 알고리즘에서 나타난 인종‧성별‧출신에 따른 성능의 차이를 줄이는 기술이 개발되고 있으며, 채용과 신용평가, 의료서비스 등에서도 성능의 편향성을 줄여야 한다는 목소리가 높아지고 있다.

AI의 공정성은 알고리즘의 공정성과도 일맥상통한다.

특히 AI는 의사결정의 과정이 전통적인 알고리즘보다 더 불투명해, 공정한 AI는 설명 가능한 AI 등과도 밀접한 관련이 있다.

공정성이란 개념은 영역에 따라 다를 수 있어 영역마다 공정성의 개념을 확립해 이에 맞는 수학적인 판단기준(척도‧지표)을 개발해야 한다.

공정한 AI 연구 주제는 최근 3년간 주목받은 내용으로 주로 글로벌 IT 기업(IBM, Google, Facebook)을 중심으로 공정한 AI 개발이 이뤄지고 있다. 주요 연구 주제로는 공정성을 측정하는 척도 설계와 분류 문제에서의 공정성 기준 마련 등이 있다.

한편, 공정한 AI 알고리즘 개발 시 대부분 공정성이 AI 성능과 역방향으로 설정돼 있어 공정성 예측 성능을 저해하는 것이다.

출처 : AI타임스(https://www.aitimes.com)

# data[].attributes.body
AI의 편향성은 주로 알고리즘 학습 과정에서 사용된 데이터가 특정 집단이나 관점을 과도하게 반영하면서 발생한다. 이로 인해 사회적 차별과 불공정이 강화될 우려가 있다.

지난해 미국의 한 채용 플랫폼이 AI를 활용해 채용을 진행하다 성별 편향성을 드러낸 사례가 대표적이다. 알고리즘이 과거의 데이터를 바탕으로 남성 지원자를 더 선호하도록 학습해 여성 지원자들의 기회가 줄어든 것이다.

대표적인 사례로는 Amazon의 AI 채용 시스템이 있다. 2018년 Amazon은 지원자의 이력서를 평가하는 AI 시스템을 폐기했는데, 이 시스템이 남성 중심의 이력서 데이터를 기반으로 학습해 여성 지원자에게 부정적 평가를 내리는 성별 편향성을 보였기 때문이다.

이에 따라 전문가들은 AI 개발 시 데이터의 다양성과 대표성을 확보하는 것이 매우 중요하다고 지적한다.

# data[].attributes.body
AI의 인종차별 사례는 종전에도 몇 차례 발견됐다. 미인대회의 ‘객관적’ 외모평가를 위해 심사에 투입된 AI는 참가자 6000여명 중에서 수상자 44명 대부분을 백인으로 뽑았다. AI가 미인 판단 학습에 사용한 사진이 거의 백인이었던 탓이다.심지어 흑인의 사진을 인간이 아닌 동물로 인식한 사례도 있다. 사진 이미지를 자동 인식해 구분·정리하는 ‘구글 포토’에서 생긴 문제였다. MIT(매사추세츠공대) 미디어랩에 따르면 사진분류 AI는 백인 사진의 인식 에러 확률이 1% 내외, 흑인 사진의 경우 최고 35%에 달했다.

# data[].attributes.body
기술 매체 MIT 테크놀로지 리뷰는 “편향되지 않고, 팩트(사실)에만 기반한 AI는 기술적으로 불가능하다”고 했다. 이는 AI의 개발 방식 때문이다. 오픈AI의 챗GPT, 구글의 바드 등 AI 모델은 방대한 데이터를 땔감처럼 딥러닝(심층학습) 모델에 계속 학습시킨다. AI는 알고리즘을 이용해 데이터 안에서 패턴을 찾아내고 사람의 질문에 최적화된 답을 찾아낸다. 문제는 알고리즘과 데이터 모두 사람이 만들었기 때문에 이들의 의도를 완전히 배제할 수 없다는 것이다. AI 업체들은 편향성을 최소화하기 위해 ‘정제된 데이터’를 구매해서 사용하거나 AI의 답변을 검증해 수정하는 별도의 팀을 두고 있지만 이 역시 문제로 지적된다. AI 윤리를 연구하는 최예진 미 워싱턴대 교수는 “데이터를 분류하고 옳고 그름을 판단하는 사람 대부분이 백인 남성이어서 유색인종이나 여성의 목소리를 대변하지 못하는 것이 대표적인 사례”라며 “AI는 결국 만드는 사람의 편견을 그대로 배운다”고 했다.

특히 현재의 AI 개발 방식인 딥러닝은 개발자조차 원리를 완벽히 설명할 수 없는 ‘블랙박스’이다. AI가 내놓는 답변이 학습된 데이터 가운데 어디서 나왔는지 역추적이 불가능하다는 뜻이다. 답변 하나하나를 바로잡는 것은 가능하지만 앞으로 나타날 편향성을 예측하는 것이 불가능해, 언제든 오류가 나타날 수 있는 상태에서 서비스되고 있는 것이다.