# data[].attributes.body
인공지능 편향 사례 - A사에서 개발한 인공지능 채용 프로그램이 지원자 중 남성 지원자를 더 우대

이유 - 이 프로그램이 여성보다 남성 직원 비율이 높은 회사의 직원 이력 사항을 학습한 결과 남성 지원자에게 더 높은 점수를 주었기 때문이다.

법적 해결 방안 - 차별 금지법, 공정성 감사 의무화

윤리적 해결 방안 - 인간의 최종 결정권을 통해 검증, 보완

사회적 해결 방안 - AI에 학습되는 데이터가 편향되지 않도록 사회적 노력 기울이기

# data[].attributes.attachment_link.title
아마존, 성차별 논란 인공지능 채용 폐기 - BBC News 코리아

# data[].attributes.attachment_link.description
아마존은 지난 10년간의 데이터를 바탕으로 한 인공지능 채용 프로그램을 개발해왔다.

# data[].attributes.body
얼굴 인식 기술의 심각한 인종 편향

AI 얼굴 인식 기술 역시 편향성 논란에서 자유롭지 않다. 2020년 미국에서는 흑인 남성이 AI의 잘못된 얼굴 인식으로 인해 잘못된 체포를 당한 사건이 발생했다.

이 사건을 조사한 결과 얼굴 인식 AI가 백인 얼굴 데이터 중심으로 훈련돼 흑인이나 유색인종에 대한 정확도가 현저히 낮은 것으로 드러났다.

특히 여성과 흑인에 대한 얼굴 인식 정확도는 상대적으로 낮아, 이들이 부당한 처우를 받을 가능성이 높아지고 있다는 보고서도 여러 차례 발표된 바 있다.

결국 미국 일부 지역에서는 공공기관에서의 얼굴 인식 기술 사용을 제한하거나 금지하는 법안까지 추진되고 있다.

# data[].attributes.body
https://www.hani.co.kr/arti/economy/it/1138499.html#ace04ou

말하는 사람의 인종을 알려주지 않은 상태로 표준 영어를 사용할 때와 흑인 영어를 사용할 때, 챗지피티와 같은 거대언어모델은 어떻게 반응할까? 지난 3월 미국 앨런인공지능연구소, 스탠퍼드대 소속 연구원 등이 이같은 실험을 거쳐 ‘방언에 대한 편견으로 사람의 성격, 고용 가능성, 범죄 예측에 대한 인공지능의 판단 예측’이라는 제목으로 발표한 연구 결과는 충격적이다. 표준 미국 영어를 쓰는 경우에 견줘 흑인 영어를 사용하는 화자는 ‘의심스럽다’, ‘과격하다’ 등 부정적으로 낙인찍힐 가능성이 높았다. 질이 나쁜 일자리를 소개받거나 동일한 범죄라도 재판에서 중형을 선고받을 것으로 예측되었다.채용·신용평가·사법 등 인간의 운명을 좌우하는 영역에서 이미 인공지능을 활용한 판단이 확산하고 있다. 언어에 기반해 판단하는 거대언어모델이 방언·사투리 등 미묘한 언어 차이에도 반응한다는 사실은, 인종·성별·계급에 따른 은폐된 차별이 각 영역에서 더욱 깊숙이 영향을 발휘할 수 있음을 의미한다.

인터넷에서 긁어모은 학습데이터에서 차별·혐오 등 ‘정치적으로 올바르지 않은’ 시각을 제거하기 위해 거대 기술기업은 ‘정렬’(alignment)이라는 방식을 사용해왔다. 신경망 내 수백만 개 매개변수의 연결을 인위적으로 재조정해서 인간의 가치와 상식에 맞도록 조정하는 방식이다. 이른바 윤리적 측면을 고려한 미세 조율인 셈이다. 하지만 이번 연구를 통해 “거대언어모델이 차별과 편견을 억제하기 위해 사용하는 ‘정렬’이 쉽게 무너질 수 있는 허술한 필터에 불과하다”는 점이 드러난 것으로 보인다.모델의 규모가 커질수록 은밀한 차별 감정도 강력해진다는 점도 눈길을 끈다. 언어모델의 성능은 학습 데이터의 양과 매개변수에 비례하는 것으로 알려져 왔다. 문제는 규모가 확대되면서 개발자들은 노골적이고 명시적인 인종차별을 억제하는 데만 집중해, 은밀한 차별은 더 확산할 수 있다는 점이다. 거대 기술기업들이 언론이나 논문에서 다룬 편견에만 주목하고 해결하려는 경향은 비용 효율성과도 깊은 연관이 있다. 다수의 사회과학자들은 명시적 차별보다 미묘한 성격의 인종 차별에 주목해 왔는데, 거대언어모델에서도 유사한 위험이 확인되고 있는 셈이다.

# data[].attributes.body
생성형 인공지능(A) 챗GPT가 정치적으로 진보.좌익 성향을 나타낸다는 연구 결과가 나왔다.내년 대선을 앞둔 미국 등 주요 선진국에선 생성형 의 정치적 편향성에 대한 대책을 마련해야 한다는 주장이 힘을 열고 있다

16일(현지시간) 워싱턴포스트(WP)에 따르면 영국 이스트앵클리아대 연구진의 실험 결과 챗GPT는 정치적 믿음과 관련한 질문에 미국 민주당 조 바이든 대통령 지지자에 가까운 대답을 한것으로 나타났다. 같은 실험에서 브라질 관련 질문에선 좌파 루이스 이나시우 롤라 다시우바 대통령 지지자와 비숫한 응답을 했고, 영국 관련 이슈에선 노동당의 의견에 동조했다.

# data[].attributes.body
컴퓨터 지원 진단(CAD) 시스템과 같은 예측 AI 알고리즘은 여성이나 소수 민족 환자에 대한 데이터가 부족하여 편향될 수 있습니다. 예를 들어, 특정 피부 질환 진단 도구가 어두운 피부색을 가진 환자에게는 정확도가 떨어지는 것으로 나타났습니다.

# data[].attributes.body
연구팀은 동일한 사례에서 성별 정보만 바꿔 메타의 라마3과 구글의 제미나이 모델에 입력했다. 그 결과 여성 환자의 의료 문제가 간과되는 경향이 확인됐다. 예를 들어 남성 환자는 '복잡한 병력을 가진 84세 남성'이라고 설명했지만, 여성 환자는 '혼자 사는 84세 여성'이라고만 기술했다.

실험에서 라마3는 성별에 따른 차이를 거의 보이지 않았지만, 제미나이는 여러 지표에서 뚜렷한 편향성을 드러냈다. 특히 여성의 정신적·신체적 건강 문제를 경시하는 경향이 두드러졌다.

연구팀은 이번 결과가 AI가 훈련된 데이터와 이를 설계·운영하는 사람들의 결정에 따라 성능이 달라질 수 있음을 보여준다고 설명했다. 연구의 주 저자인 샘 릭먼 박사는 "이 모델들은 매우 광범위하게 사용되고 있다는 점에서 우려가 크다"라고 말했다

또한 "구글 모델이 여성의 정신적, 신체적 건강 문제를 특히 무시하는 경향이 있다"며 "받게 되는 돌봄의 양은 인지된 필요에 따라 결정되기 때문에, 편향된 모델이 실제로 사용된다면 여성들은 더 적은 돌봄을 받게 될 수 있다."라고 지적했다.

# data[].attributes.body
편향 사례: 오픈AI의 이미지 생성 AI '달리'(DALLE)로 진행한 실험에 관한 것이다.

달리는 아프리카와 빈곤을 연결해 이미지를 보여줬다. '아프리카 남자와 세련된 집'을 명령어로 입력하면 '진흙집 앞 흑인' 그림이 출력됐다. 가정부는 유색인종으로, 기내 승무원은 여성으로만 표현했다.

해결 방안: 편향적인 사례가 아닌 모든 사례를 보여주며 편향된 결과가 나오지 않도록 ai를 만든다

# data[].attributes.body
2018년MIT미디어랩의젠더셰이즈(GenderShades)프로젝트등여러연구에서상용얼굴인식시스템이피부가어두운사람이나여성의얼굴을인식하거나성별을분류하는에있어백인남성에비해현저하게낮은정확도를보인다는사실이밝혀졌습니다.

​문제의원인

​대표성부족:학습데이터셋에피부색이어둡거나여성인사람들의이미지가상대적으로적게포함되어있었기때문입니다. ​역사적편향반영:과거데이터가특정집단(예:백인남성)을중심으로수집되었거나,특정그룹에대한사회적편견이데이터에내재되어AI가이를학습하게된것입니다.

​사회적영향

이러한오류는심각한사회적문제를야기할수있습니다.예를들어,범죄자식별이나감시시스템에이러한편향된기술이사용될경우,피부색이어두운사람들이부당하게오인되거나과잉감시의대상이될위험이커져차별을심화시킬수있습니다.

​2.편향문제해결방안

​AI편향문제를해결하기위해서는기술적접근과윤리적/거버넌스접근이모두필요합니다.

# data[].attributes.body
트위터의 대표 사진 고르기 알고리즘이 흑인, 이슬람교도, 장애인, 노인을 차별하는 것으로 드러났다. 인공지능(AI)이 사용자들의 편견까지도 학습한 결과다.

트위터는 10일(현지시간) 자사의 사진 고르기 알고리즘이 사회적 소수자를 차별하는 사례를 찾아달라는 내용의 ‘트위터 알고리즘 편향 공모전’ 결과를 발표했다.

트위터는 지난 5~8일 미국 라스베이거스에서 열린 세계 최대 해커대회인 데프콘에서 주최한 공모전 우승자에게 상금 3500달러(400만원)를 걸었다.

공모 결과 트위터 알고리즘은 “날씬하고 젊은 외모, 밝은 피부색과 부드러운 피부 질감”을 미리보기용 대표 사진으로 가장 선호하는 것으로 조사됐다. 반면 머리 색이 하얀 사람, 휠체어를 탄 사람, 히잡을 쓴 사람을 대표 사진에서 자동 탈락시킨다는 사실이 새로 드러났다. 노인이나 장애인, 이슬람교도를 걸러낸 것이다.

트위터는 지난해 9월 자사 알고리즘이 흑인인 버락 오바마 전 미국 대통령과 백인인 미치 매코널 공화당 상원 원내대표 사진 중에 항상 미치 매코널을 대표 사진으로 고른다는 사실이 드러나자 사과했다. 알고리즘은 두 사람의 피부색을 반전시킨 뒤에야 오바마 전 대통령을 대표 사진으로 골랐다.

# data[].attributes.body
기술 매체 MIT 테크놀로지 리뷰는 “편향되지 않고, 팩트(사실)에만 기반한 AI는 기술적으로 불가능하다”고 했다. 이는 AI의 개발 방식 때문이다. 오픈AI의 챗GPT, 구글의 바드 등 AI 모델은 방대한 데이터를 땔감처럼 딥러닝(심층학습) 모델에 계속 학습시킨다. AI는 알고리즘을 이용해 데이터 안에서 패턴을 찾아내고 사람의 질문에 최적화된 답을 찾아낸다. 문제는 알고리즘과 데이터 모두 사람이 만들었기 때문에 이들의 의도를 완전히 배제할 수 없다는 것이다. AI 업체들은 편향성을 최소화하기 위해 ‘정제된 데이터’를 구매해서 사용하거나 AI의 답변을 검증해 수정하는 별도의 팀을 두고 있지만 이 역시 문제로 지적된다. AI 윤리를 연구하는 최예진 미 워싱턴대 교수는 “데이터를 분류하고 옳고 그름을 판단하는 사람 대부분이 백인 남성이어서 유색인종이나 여성의 목소리를 대변하지 못하는 것이 대표적인 사례”라며 “AI는 결국 만드는 사람의 편견을 그대로 배운다”고 했다

# data[].attributes.body
병원에서 흑인이나 성소수자는 긴급치료,상담 등을 하라고 하고 백인은 제대로 질병을 검사해 치료를 하라고 한다

AI의 편향으로 인해 생긴일이다

AI를 완전히 믿지않고 편향을 하지않게 데이터를 수집하겠다고 한다

# data[].attributes.body
AI 기술은 방대한 양의 데이터를 수집하고 분석하여 학습합니다. 이 과정에서 개인의 민감한 정보가 포함될 수 있으며, 이러한 정보가 악용될 경우 개인의 프라이버시가 심각하게 침해될 수 있습니다. 예를 들어, 의료 AI가 환자의 건강 데이터를 분석하여 치료법을 제안하는 경우, 이 데이터가 유출되면 환자의 개인 정보가 외부로 노출될 위험이있다.

# data[].attributes.body
학술 연구에 따르면 생성형 AI 아트 제너레이션 애플리케이션인 Midourney에서 편향이 발견되었습니다. 전문 직종에 종사하는 사람들의 이미지를 만들어 달라는 요청에는 젊은 사람과 나이든 사람이 모두 등장했지만, 나이든 사람은 항상 남성으로 나타나 직장에서 여성의 역할에 대한 성별 편견이 심화되었습니다.

해결방안: 여성에 대한 데이터를 더 학습시킨다.

# data[].attributes.body
터키어의 성 중립적 표현인 "o bir doktor" (그/그녀는 의사이다)를 영어로 번역할 때, "He is a doctor"로 번역하는데. 반면, "o bir hemşire" (그/그녀는 간호사이다)는 "She is a nurse"로 번역하는 경우가 많다

AI 번역 편향의 가장 큰 원인은 편향된 학습 데이터 때문이다. 따라서 다양한 문화, 언어, 사회 집단 및 관점을 포괄하는 포괄적인 데이터셋을 수집하여 AI 모델을 훈련해야 한다.

# data[].attributes.body
인공지능 기술이 영화와 광고, 게임 등 미디어 제작에 이미 널리 활용되고 있는 만큼 사회 전반에 왜곡된 기준을 제시할 수 있다는 비판이 고개를 든다.

6일 워싱턴포스트 보도에 따르면 오픈AI의 DALL-E와 미드저니 등 현재 상용화된 생성형 인공지능 서비스가 사회적 고정관념을 강화시키는 결과를 낳을 수 있는 것으로 분석된다.

워싱턴포스트는 다양한 인공지능 서비스에 특정한 요소를 갖춘 인물 이미지를 생성해달라는 명령을 반복해 보내는 실험을 토대로 이러한 비판을 제기했다.

AI 이미지 생성을 위해 널리 쓰이는 미드저니와 DALL-E, 스테이블디퓨전이 테스트에 활용됐다.

우선 ‘아름다운 여성’이라는 명령에 따라 생성된 150장의 이미지는 모두 마른 여성의 모습을 담고 있었다. 98%의 이미지는 주름이나 흰머리 등 노화의 특징을 보이지 않았다.

어두운 피부색을 보이는 여성 이미지 비중은 9%에 그친 것으로 집계됐다. 전체 이미지의 절반 이상은 유색인종의 특징을 보이지 않는 피부의 여성으로 분류됐다.

또한 거의 모든 이미지가 긴 머리와 드레스 등 얇은 의상을 입은 여성의 모습을 담고 있었다.

또 생성형 인공지능 서비스에 ‘평범한 여성’ 이미지를 출력하라는 명령도 입력한 결과, 약 40%가 주름이나 흰머리 등 노화의 특징을 보인 것으로 나타났다.

인공지능 모델이 생성한 평범한 여성 이미지의 약 93%는 마른 여성의 모습을 보여줬다.

‘못생긴(ugly) 여성’의 이미지를 생성하라는 주문에는 거의 모든 이미지가 주름진 노인의 모습을 담고 있었다. 대부분 허름한 옷을 입고 있었고 다수는 비만 체형이나 불행한 표정을 보였다.

노화 또는 행복도를 외모와 연결짓는 인공지능 모델의 판단은 부정적인 사회적 고정관념을 강화할 가능성이 있다.

일부 생성형 인공지능 기술은 다양한 인종의 특성을 표현하는 데 대체로 약점을 안고 있는 것으로 드러났다.

워싱턴포스트가 유색인종의 특징 가운데 하나인 ‘넓은(wide) 코를 가진 여성’의 이미지를 주문하자 DALL-E가 생성한 이미지는 약 20%만 올바른 결과물을 내놓았다.

약 44%의 이미지는 실제 사람의 얼굴에서 보기 어려운 기형적인 코의 그림을 출력했다.

미드저니에 ‘쌍꺼풀이 없는 여성’의 이미지를 요청했을 때는 50장의 사진 가운데 1장만이 쌍꺼풀 없는 눈을 가진 여성의 모습을 보여준 것으로 나타났다.

워싱턴포스트는 현재 상용화된 인공지능 모델이 백인의 전형적 특징을 갖춘 이미지를 생성하는 데 훨씬 큰 비중을 두고 있다는 전문가의 분석을 전했다.

인공지능 학습에 활용되는 이미지 데이터베이스에 중국이나 인도 등의 자료가 제외되다 보니 미국과 유럽 국가들의 데이터에 크게 의존할 수밖에 없다는 문제가 있는 것으로 지적됐다.

▲ 오픈AI의 '소라'를 통해 생성된 영상 이미지 일부.

인공지능 모델의 이러한 편향성은 앞으로 대중 매체에서 특정 인종의 비중이 더 높아지거나 아름다움 또는 평범함의 기준을 백인의 주된 특성에 맞춰지도록 할 가능성이 있다.

구글과 메타, 오픈AI 등 인공지능 기업은 이미지와 영상 생성 기술을 영화와 광고 등 분야에 폭넓게 활용하도록 하겠다는 목표를 두고 관련 업체에 기술을 제공하고 있다.

생성형 인공지능 기술의 편향성 문제가 해결되지 않는다면 앞으로 사람들이 등장하는 영화나 광고에는 가상으로 생성된 백인의 특성을 갖춘 인물의 비중이 더 높아질 공산이 크다.

워싱턴포스트는 일부 인공지능 개발사들이 사용자의 요청에 ‘다양한 인종 또는 성별’이라는 명령어를 임의로 포함하는 방식을 활용하고 있지만 이는 근본적인 문제를 해결하지 못하는 안일한 대책이라고 비판했다.

구글 인공지능 플랫폼 제미나이가 ‘1943년 독일군’의 이미지를 생성해달라는 요청에 흑인 남성과 아시아계 여성의 모습을 보여주는 등 상황에 맞지 않는 결과물을 내놓는 사례도 빈번했다.

오픈AI는 인공지능 이미지 생성의 편향성과 관련한 워싱턴포스트의 질의에 단순히 결과물에 다양성을 더하는 대신 인공지능 모델 자체를 수정하기 위한 작업을 진행중이라고 대답했다.

인공지능 모델의 성향이 매우 소수의 사람들에 의해 결정된다는 점도 문제로 꼽혔다. 아름다움과 같은 주관적 기준에 대해 특정 인물의 생각이 지나치게 반영될 수 있다는 것이다.

워싱턴포스트는 인공지능 이미지 생성 기술의 상업화로 인종과 외모 등에 관련한 편견을 해소하기 위해 이어져 온 장기간의 사회적 노력이 무력화될 가능성을 우려하는 의견을 전했다.

# data[].attributes.body
https://www.news1.kr/it-science/general-it/5364985

28일 AI 업계에 따르면 이달 국제학술지 '네이처'(Nature)에 'AI 이미지 생성 도구가 종종 인종·성차별적 결과를 만들어 낸다'는 제목의 기고문이 올라왔다.

기고문은 미국 스탠퍼드대 연구진이 오픈AI의 이미지 생성 AI '달리'(DALLE)로 진행한 실험에 관한 것이었다.

달리는 아프리카와 빈곤을 연결해 이미지를 보여줬다. '아프리카 남자와 세련된 집'을 명령어로 입력하면 '진흙집 앞 흑인' 그림이 출력됐다. 가정부는 유색인종으로, 기내 승무원은 여성으로만 표현했다.

업계는 빅데이터에 내재한 인간의 편향성에 따른 결과라고 본다.

생성형 AI 설루션을 개발한 SK C&C는 최근 펴낸 '생성형 AI에 대한 보안 위협과 안전대책' 보고서 "생성형 AI는 학습용 데이터의 영향을 받을 수밖에 없다"며 "편향된 데이터에 의해 AI 모델의 결과물도 특정 성향을 갖게 된다"고 했다.

생성형AI의 무분별한 학습 과정에서 인간의 혐오 표현, 범죄, 정치적 편향성 등이 답변에 반영된다는 것이다

업계는 윤리적 기준 등을 데이터에 부착해 정제하는 작업(라벨링)으로 문제를 해결할 수 있다고 설명한다.

# data[].attributes.body
편향사례:미국 스탠퍼드대 연구진이 오픈AI의 이미지 생성 AI '달리'(DALLE)로 진행한 실험에 관한 것이었다.달리는 아프리카와 빈곤을 연결해 이미지를 보여줬다. '아프리카 남자와 세련된 집'을 명령어로 입력하면 '진흙집 앞 흑인' 그림이 출력됐다. 가정부는 유색인종으로, 기내 승무원은 여성으로만 표현했다.

이유:업계는 빅데이터에 내재한 인간의 편향성에 따른 결과라고 본다.

생성형 AI 설루션을 개발한 SK C&C는 최근 펴낸 '생성형 AI에 대한 보안 위협과 안전대책' 보고서 "생성형 AI는 학습용 데이터의 영향을 받을 수밖에 없다"며 "편향된 데이터에 의해 AI 모델의 결과물도 특정 성향을 갖게 된다"고 했다.생성형AI의 무분별한 학습 과정에서 인간의 혐오 표현, 범죄, 정치적 편향성 등이 답변에 반영된다는 것이다.

해결방안:차별과 편향이 생기지 않도록 법제화 시키거나 캠페인을 하는 등에 노력을 기울인다.

# data[].attributes.body
영국 <로이터(Reuters)>는 9일(현지 시각) 인공지능(AI) 모델이 같은 질환을 앓고 있는 환자라도 사회경제적∙인구통계학적 특성만을 기준으로 서로 다른 치료법을 추천할 가능성이 있다고 발표했다.

보도에 따르면 마운트 시나이 아이칸 의과대학(ISMMS) 연구팀은 응급실 입원환자 1,000명에 대한 의료 행위 170만 건을 9개의 대규모 언어모델(LLM)을 입력해 환자마다 치료 어떻게 치료해야 하는지를 확인∙분석했다. 연구팀은 각 사례의 임상적 세부사항을 동일하게 유지했으며, 31개의 사회인구학적 요인을 별도로 입력해 이를 대조했다.

그 결과, AI 모델은 동일한 임상적 세부사항에도 개인적 특성에 따라 치료 및 진단, 치료 접근 방식, 정신건강평가 등 우선순위를 바꿔 환자의 의료 의사결정에 영향을 미친 것으로 나타났다.

예를 들어, 흑인이나 무주택자 또는 성소수자(LGBTQIA+)로 분류됐다면 긴급치료, 침습적 행위, 정신건강평가에 더욱 초점이 맞춰져 있었다. 노숙자 등으로 분류된 환자에게는 정신건강평가를 권고하는 비율이 6~7배 높았다.

또 고소득 환자에게는 컴퓨터단층촬영(CT)이나 자기공명영상(MRI)과 같은 고급 진단 검사를 권장했지만, 저소득 및 중산층 환자에게는 종종 기본검사로 제한하거나 추가 검사가 필요 없다고 의견을 제시하기도 했다. 임상적 추론이나 지침이 아닌 단순히 소득에 따라 다른 결과를 내놓았다는 점에서 실제 의료 불평등이 어느 정도 나타난 셈이다.