이유 - 이 프로그램이 여성보다 남성 직원 비율이 높은 회사의 직원 이력 사항을 학습한 결과 남성 지원자에게 더 높은 점수를 주었기 때문이다.

법적 해결 방안 - 차별 금지법, 공정성 감사 의무화

윤리적 해결 방안 - 인간의 최종 결정권을 통해 검증, 보완

사회적 해결 방안 - AI에 학습되는 데이터가 편향되지 않도록 사회적 노력 기울이기

AI 얼굴 인식 기술 역시 편향성 논란에서 자유롭지 않다. 2020년 미국에서는 흑인 남성이 AI의 잘못된 얼굴 인식으로 인해 잘못된 체포를 당한 사건이 발생했다.

이 사건을 조사한 결과 얼굴 인식 AI가 백인 얼굴 데이터 중심으로 훈련돼 흑인이나 유색인종에 대한 정확도가 현저히 낮은 것으로 드러났다.

특히 여성과 흑인에 대한 얼굴 인식 정확도는 상대적으로 낮아, 이들이 부당한 처우를 받을 가능성이 높아지고 있다는 보고서도 여러 차례 발표된 바 있다.

결국 미국 일부 지역에서는 공공기관에서의 얼굴 인식 기술 사용을 제한하거나 금지하는 법안까지 추진되고 있다.

말하는 사람의 인종을 알려주지 않은 상태로 표준 영어를 사용할 때와 흑인 영어를 사용할 때, 챗지피티와 같은 거대언어모델은 어떻게 반응할까? 지난 3월 미국 앨런인공지능연구소, 스탠퍼드대 소속 연구원 등이 이같은 실험을 거쳐 ‘방언에 대한 편견으로 사람의 성격, 고용 가능성, 범죄 예측에 대한 인공지능의 판단 예측’이라는 제목으로 발표한 연구 결과는 충격적이다. 표준 미국 영어를 쓰는 경우에 견줘 흑인 영어를 사용하는 화자는 ‘의심스럽다’, ‘과격하다’ 등 부정적으로 낙인찍힐 가능성이 높았다. 질이 나쁜 일자리를 소개받거나 동일한 범죄라도 재판에서 중형을 선고받을 것으로 예측되었다.채용·신용평가·사법 등 인간의 운명을 좌우하는 영역에서 이미 인공지능을 활용한 판단이 확산하고 있다. 언어에 기반해 판단하는 거대언어모델이 방언·사투리 등 미묘한 언어 차이에도 반응한다는 사실은, 인종·성별·계급에 따른 은폐된 차별이 각 영역에서 더욱 깊숙이 영향을 발휘할 수 있음을 의미한다.

인터넷에서 긁어모은 학습데이터에서 차별·혐오 등 ‘정치적으로 올바르지 않은’ 시각을 제거하기 위해 거대 기술기업은 ‘정렬’(alignment)이라는 방식을 사용해왔다. 신경망 내 수백만 개 매개변수의 연결을 인위적으로 재조정해서 인간의 가치와 상식에 맞도록 조정하는 방식이다. 이른바 윤리적 측면을 고려한 미세 조율인 셈이다. 하지만 이번 연구를 통해 “거대언어모델이 차별과 편견을 억제하기 위해 사용하는 ‘정렬’이 쉽게 무너질 수 있는 허술한 필터에 불과하다”는 점이 드러난 것으로 보인다.모델의 규모가 커질수록 은밀한 차별 감정도 강력해진다는 점도 눈길을 끈다. 언어모델의 성능은 학습 데이터의 양과 매개변수에 비례하는 것으로 알려져 왔다. 문제는 규모가 확대되면서 개발자들은 노골적이고 명시적인 인종차별을 억제하는 데만 집중해, 은밀한 차별은 더 확산할 수 있다는 점이다. 거대 기술기업들이 언론이나 논문에서 다룬 편견에만 주목하고 해결하려는 경향은 비용 효율성과도 깊은 연관이 있다. 다수의 사회과학자들은 명시적 차별보다 미묘한 성격의 인종 차별에 주목해 왔는데, 거대언어모델에서도 유사한 위험이 확인되고 있는 셈이다.

16일(현지시간) 워싱턴포스트(WP)에 따르면 영국 이스트앵클리아대 연구진의 실험 결과 챗GPT는 정치적 믿음과 관련한 질문에 미국 민주당 조 바이든 대통령 지지자에 가까운 대답을 한것으로 나타났다. 같은 실험에서 브라질 관련 질문에선 좌파 루이스 이나시우 롤라 다시우바 대통령 지지자와 비숫한 응답을 했고, 영국 관련 이슈에선 노동당의 의견에 동조했다.

실험에서 라마3는 성별에 따른 차이를 거의 보이지 않았지만, 제미나이는 여러 지표에서 뚜렷한 편향성을 드러냈다. 특히 여성의 정신적·신체적 건강 문제를 경시하는 경향이 두드러졌다.

연구팀은 이번 결과가 AI가 훈련된 데이터와 이를 설계·운영하는 사람들의 결정에 따라 성능이 달라질 수 있음을 보여준다고 설명했다. 연구의 주 저자인 샘 릭먼 박사는 "이 모델들은 매우 광범위하게 사용되고 있다는 점에서 우려가 크다"라고 말했다

또한 "구글 모델이 여성의 정신적, 신체적 건강 문제를 특히 무시하는 경향이 있다"며 "받게 되는 돌봄의 양은 인지된 필요에 따라 결정되기 때문에, 편향된 모델이 실제로 사용된다면 여성들은 더 적은 돌봄을 받게 될 수 있다."라고 지적했다.

달리는 아프리카와 빈곤을 연결해 이미지를 보여줬다. '아프리카 남자와 세련된 집'을 명령어로 입력하면 '진흙집 앞 흑인' 그림이 출력됐다. 가정부는 유색인종으로, 기내 승무원은 여성으로만 표현했다.

해결 방안: 편향적인 사례가 아닌 모든 사례를 보여주며 편향된 결과가 나오지 않도록 ai를 만든다

​문제의원인

​대표성부족:학습데이터셋에피부색이어둡거나여성인사람들의이미지가상대적으로적게포함되어있었기때문입니다. ​역사적편향반영:과거데이터가특정집단(예:백인남성)을중심으로수집되었거나,특정그룹에대한사회적편견이데이터에내재되어AI가이를학습하게된것입니다.

​사회적영향

이러한오류는심각한사회적문제를야기할수있습니다.예를들어,범죄자식별이나감시시스템에이러한편향된기술이사용될경우,피부색이어두운사람들이부당하게오인되거나과잉감시의대상이될위험이커져차별을심화시킬수있습니다.

​2.편향문제해결방안

​AI편향문제를해결하기위해서는기술적접근과윤리적/거버넌스접근이모두필요합니다.

트위터는 10일(현지시간) 자사의 사진 고르기 알고리즘이 사회적 소수자를 차별하는 사례를 찾아달라는 내용의 ‘트위터 알고리즘 편향 공모전’ 결과를 발표했다.

트위터는 지난 5~8일 미국 라스베이거스에서 열린 세계 최대 해커대회인 데프콘에서 주최한 공모전 우승자에게 상금 3500달러(400만원)를 걸었다.

공모 결과 트위터 알고리즘은 “날씬하고 젊은 외모, 밝은 피부색과 부드러운 피부 질감”을 미리보기용 대표 사진으로 가장 선호하는 것으로 조사됐다. 반면 머리 색이 하얀 사람, 휠체어를 탄 사람, 히잡을 쓴 사람을 대표 사진에서 자동 탈락시킨다는 사실이 새로 드러났다. 노인이나 장애인, 이슬람교도를 걸러낸 것이다.

트위터는 지난해 9월 자사 알고리즘이 흑인인 버락 오바마 전 미국 대통령과 백인인 미치 매코널 공화당 상원 원내대표 사진 중에 항상 미치 매코널을 대표 사진으로 고른다는 사실이 드러나자 사과했다. 알고리즘은 두 사람의 피부색을 반전시킨 뒤에야 오바마 전 대통령을 대표 사진으로 골랐다.

AI의 편향으로 인해 생긴일이다

AI를 완전히 믿지않고 편향을 하지않게 데이터를 수집하겠다고 한다

해결방안: 여성에 대한 데이터를 더 학습시킨다.

AI 번역 편향의 가장 큰 원인은 편향된 학습 데이터 때문이다. 따라서 다양한 문화, 언어, 사회 집단 및 관점을 포괄하는 포괄적인 데이터셋을 수집하여 AI 모델을 훈련해야 한다.

6일 워싱턴포스트 보도에 따르면 오픈AI의 DALL-E와 미드저니 등 현재 상용화된 생성형 인공지능 서비스가 사회적 고정관념을 강화시키는 결과를 낳을 수 있는 것으로 분석된다.

워싱턴포스트는 다양한 인공지능 서비스에 특정한 요소를 갖춘 인물 이미지를 생성해달라는 명령을 반복해 보내는 실험을 토대로 이러한 비판을 제기했다.

AI 이미지 생성을 위해 널리 쓰이는 미드저니와 DALL-E, 스테이블디퓨전이 테스트에 활용됐다.

우선 ‘아름다운 여성’이라는 명령에 따라 생성된 150장의 이미지는 모두 마른 여성의 모습을 담고 있었다. 98%의 이미지는 주름이나 흰머리 등 노화의 특징을 보이지 않았다.

어두운 피부색을 보이는 여성 이미지 비중은 9%에 그친 것으로 집계됐다. 전체 이미지의 절반 이상은 유색인종의 특징을 보이지 않는 피부의 여성으로 분류됐다.

또한 거의 모든 이미지가 긴 머리와 드레스 등 얇은 의상을 입은 여성의 모습을 담고 있었다.

또 생성형 인공지능 서비스에 ‘평범한 여성’ 이미지를 출력하라는 명령도 입력한 결과, 약 40%가 주름이나 흰머리 등 노화의 특징을 보인 것으로 나타났다.

인공지능 모델이 생성한 평범한 여성 이미지의 약 93%는 마른 여성의 모습을 보여줬다.

‘못생긴(ugly) 여성’의 이미지를 생성하라는 주문에는 거의 모든 이미지가 주름진 노인의 모습을 담고 있었다. 대부분 허름한 옷을 입고 있었고 다수는 비만 체형이나 불행한 표정을 보였다.

노화 또는 행복도를 외모와 연결짓는 인공지능 모델의 판단은 부정적인 사회적 고정관념을 강화할 가능성이 있다.

일부 생성형 인공지능 기술은 다양한 인종의 특성을 표현하는 데 대체로 약점을 안고 있는 것으로 드러났다.

워싱턴포스트가 유색인종의 특징 가운데 하나인 ‘넓은(wide) 코를 가진 여성’의 이미지를 주문하자 DALL-E가 생성한 이미지는 약 20%만 올바른 결과물을 내놓았다.

약 44%의 이미지는 실제 사람의 얼굴에서 보기 어려운 기형적인 코의 그림을 출력했다.

미드저니에 ‘쌍꺼풀이 없는 여성’의 이미지를 요청했을 때는 50장의 사진 가운데 1장만이 쌍꺼풀 없는 눈을 가진 여성의 모습을 보여준 것으로 나타났다.

워싱턴포스트는 현재 상용화된 인공지능 모델이 백인의 전형적 특징을 갖춘 이미지를 생성하는 데 훨씬 큰 비중을 두고 있다는 전문가의 분석을 전했다.

인공지능 학습에 활용되는 이미지 데이터베이스에 중국이나 인도 등의 자료가 제외되다 보니 미국과 유럽 국가들의 데이터에 크게 의존할 수밖에 없다는 문제가 있는 것으로 지적됐다.

▲ 오픈AI의 '소라'를 통해 생성된 영상 이미지 일부.

인공지능 모델의 이러한 편향성은 앞으로 대중 매체에서 특정 인종의 비중이 더 높아지거나 아름다움 또는 평범함의 기준을 백인의 주된 특성에 맞춰지도록 할 가능성이 있다.

구글과 메타, 오픈AI 등 인공지능 기업은 이미지와 영상 생성 기술을 영화와 광고 등 분야에 폭넓게 활용하도록 하겠다는 목표를 두고 관련 업체에 기술을 제공하고 있다.

생성형 인공지능 기술의 편향성 문제가 해결되지 않는다면 앞으로 사람들이 등장하는 영화나 광고에는 가상으로 생성된 백인의 특성을 갖춘 인물의 비중이 더 높아질 공산이 크다.

워싱턴포스트는 일부 인공지능 개발사들이 사용자의 요청에 ‘다양한 인종 또는 성별’이라는 명령어를 임의로 포함하는 방식을 활용하고 있지만 이는 근본적인 문제를 해결하지 못하는 안일한 대책이라고 비판했다.

구글 인공지능 플랫폼 제미나이가 ‘1943년 독일군’의 이미지를 생성해달라는 요청에 흑인 남성과 아시아계 여성의 모습을 보여주는 등 상황에 맞지 않는 결과물을 내놓는 사례도 빈번했다.

오픈AI는 인공지능 이미지 생성의 편향성과 관련한 워싱턴포스트의 질의에 단순히 결과물에 다양성을 더하는 대신 인공지능 모델 자체를 수정하기 위한 작업을 진행중이라고 대답했다.

인공지능 모델의 성향이 매우 소수의 사람들에 의해 결정된다는 점도 문제로 꼽혔다. 아름다움과 같은 주관적 기준에 대해 특정 인물의 생각이 지나치게 반영될 수 있다는 것이다.

워싱턴포스트는 인공지능 이미지 생성 기술의 상업화로 인종과 외모 등에 관련한 편견을 해소하기 위해 이어져 온 장기간의 사회적 노력이 무력화될 가능성을 우려하는 의견을 전했다.

28일 AI 업계에 따르면 이달 국제학술지 '네이처'(Nature)에 'AI 이미지 생성 도구가 종종 인종·성차별적 결과를 만들어 낸다'는 제목의 기고문이 올라왔다.

기고문은 미국 스탠퍼드대 연구진이 오픈AI의 이미지 생성 AI '달리'(DALLE)로 진행한 실험에 관한 것이었다.

달리는 아프리카와 빈곤을 연결해 이미지를 보여줬다. '아프리카 남자와 세련된 집'을 명령어로 입력하면 '진흙집 앞 흑인' 그림이 출력됐다. 가정부는 유색인종으로, 기내 승무원은 여성으로만 표현했다.

업계는 빅데이터에 내재한 인간의 편향성에 따른 결과라고 본다.

생성형 AI 설루션을 개발한 SK C&C는 최근 펴낸 '생성형 AI에 대한 보안 위협과 안전대책' 보고서 "생성형 AI는 학습용 데이터의 영향을 받을 수밖에 없다"며 "편향된 데이터에 의해 AI 모델의 결과물도 특정 성향을 갖게 된다"고 했다.

생성형AI의 무분별한 학습 과정에서 인간의 혐오 표현, 범죄, 정치적 편향성 등이 답변에 반영된다는 것이다

업계는 윤리적 기준 등을 데이터에 부착해 정제하는 작업(라벨링)으로 문제를 해결할 수 있다고 설명한다.

이유:업계는 빅데이터에 내재한 인간의 편향성에 따른 결과라고 본다.

생성형 AI 설루션을 개발한 SK C&C는 최근 펴낸 '생성형 AI에 대한 보안 위협과 안전대책' 보고서 "생성형 AI는 학습용 데이터의 영향을 받을 수밖에 없다"며 "편향된 데이터에 의해 AI 모델의 결과물도 특정 성향을 갖게 된다"고 했다.생성형AI의 무분별한 학습 과정에서 인간의 혐오 표현, 범죄, 정치적 편향성 등이 답변에 반영된다는 것이다.

해결방안:차별과 편향이 생기지 않도록 법제화 시키거나 캠페인을 하는 등에 노력을 기울인다.

보도에 따르면 마운트 시나이 아이칸 의과대학(ISMMS) 연구팀은 응급실 입원환자 1,000명에 대한 의료 행위 170만 건을 9개의 대규모 언어모델(LLM)을 입력해 환자마다 치료 어떻게 치료해야 하는지를 확인∙분석했다. 연구팀은 각 사례의 임상적 세부사항을 동일하게 유지했으며, 31개의 사회인구학적 요인을 별도로 입력해 이를 대조했다. 

그 결과, AI 모델은 동일한 임상적 세부사항에도 개인적 특성에 따라 치료 및 진단, 치료 접근 방식, 정신건강평가 등 우선순위를 바꿔 환자의 의료 의사결정에 영향을 미친 것으로 나타났다. 

예를 들어, 흑인이나 무주택자 또는 성소수자(LGBTQIA+)로 분류됐다면 긴급치료, 침습적 행위, 정신건강평가에 더욱 초점이 맞춰져 있었다. 노숙자 등으로 분류된 환자에게는 정신건강평가를 권고하는 비율이 6~7배 높았다. 

또 고소득 환자에게는 컴퓨터단층촬영(CT)이나 자기공명영상(MRI)과 같은 고급 진단 검사를 권장했지만, 저소득 및 중산층 환자에게는 종종 기본검사로 제한하거나 추가 검사가 필요 없다고 의견을 제시하기도 했다. 임상적 추론이나 지침이 아닌 단순히 소득에 따라 다른 결과를 내놓았다는 점에서 실제 의료 불평등이 어느 정도 나타난 셈이다.