# data[].attributes.body
*인공지능의 편향성은 일정 수준 극복되어야 한다.
*나아가, 편향성을 극복하는 과정에서도 편향성과 공정성 중 무엇이 더 우선시되어야 하는가에 대한 논의는 끊이지 않아야 할 것이다.

1) 인공지능을 활용하는 것 자체가 인간의 편리함을 위해서인데, 편향성으로 인해 인간이 피해를 입고 이를 사후처리하는 방식으로만 나아가면, 인공지능을 사용하는 장점을 살리지 못할 것이다.
2) 편향성으로 인해 누군가는 차별 혹은 피해를 입게 될 수밖에 없다.
따라서 가장 효율적이고 합리적인 의사결정을 위해서는 객관적인 요소들에 의한 판단을 내려야한다.

# data[].attributes.headline
편향성 극복 연구 실제 사례

# data[].attributes.body
편향성 극복 연구 실제 사례

# data[].attributes.attachment_link.readable_text
"AI는 점차적으로 거의 모든 고용 분야에 침투해 컴퓨터가 인간의 노동을 넘겨받게 될 것이다." -'인공 지능에 관한 스텐포드 백년연구(Stanford 's One Hundred Year Study)' 2015 연구조사 보고서

인공지능(AI)이 가져온 위험과 약속은 국가사회 전반의 기대치를 넘어서고 있다.

광범위한 범용 기술인 인공지능은 인간 지능이 수행하는 모든 것을 잠재 응용 프로그램으로 활용할 수 있다. 그 활용에 한계를 지우는 것은 인간의 상상력, 윤리 및 신중함이다.

AI는 패턴적용이 가능한 작업과 의사결정을 자동화 프로세스로 대체, 기업과 공공기관을 보다 효과적이고 효율적으로 만들 수 있다. 편견과 차별을 제도화해 불평등을 악화시킬 수도 있다. 궁극적으로 막대한 실업을 유발하거나 아직 알려지지 않은 새로운 전문 분야가 나올 가능성도 있다.

시카고부스경영대학원(chicagoboothreview, A.I. is only human)은 AI에 잠재된 몇 가지 가능성들과 숨겨진 위험을 강조, 정보에 입각한 강력한 디지털 도구 및 기술 응용 프로그램을 개발할 수 있는 길을 제시했다.

AI는 재무, 통신 및 소매업 분야에 우선적인 영향을 미치고 있다. AI는 대출 처리, 주식 트레이딩, 펀드 메니징, 회계 등 같은 규칙 기반 작업을 자동화하고 있다. 은행과 증권회사, 회계 업체에서 사람이 해온 일들을 이제 컴퓨터 알고리즘이 맡고 있다.

수잔 에이시(Susan Athey)스탠포드대 기술경제학 교수는 "AI에 대한 많은 논의가 있긴 하지만 대부분의 기업들이 첫 번째 애플리케이션으로 수행하는 작업은 실제로 매우 간단하다"고 말했다.

AI는 첨단 하드웨어 -자율주행 자동차, 수술 로봇, 스마트 어시스턴트 등-와 제휴 운송, 건강, 삶 전반에 극적인 변화를 가져올 수 있다. AI 기계 학습(ML)은 데이터의 패턴을 인식하고 예측을 만들기 위해 패턴을 사용한다. 복잡한 알고리즘을 통해 방대한 양의 데이터를 처리 할 수있는 컴퓨터 덕분에 이러한 예측은 고도의 정확성으로 향상 될 수 있다. 이러한 방식으로 기업은 고객 또는 시장 행동을 더 잘 예측하기 위해 데이터를 사용할 수 있다. 특정 제안이나 인센티브와 같은 보존 노력으로 어떤 고객을 대상으로 삼을 것인지를 회사가 알고 있다면 상당한 비용을 절감 할 수 있다.

지난해 유럽 집행위원회(European Commission)는 2020년까지 AI 연구 및 응용 프로그램에 15억 유로를 투자 할 것이라고 발표했다. 유럽 전역의 AI 이해를 높이고자 중소기업, 비기술기업 및 공공행정 분야 잠재적 AI 사용자에 촛점을 뒀다.

유럽 집행위원회가 해당프로그램에서 공공 행정을 포함한 것은 사람들이 대량의 데이터를 갖고 부족한 자원을 가장 잘 분배하는 방법을 결정하기 위해 예측을 해야 할 필요가 있는 기계학습 및 AI를 적용 할 수 있다는 사실을 인정한 것이다. 형사 사법에서부터 교육, 건강관리, 주택 정책에 이르기까지 다양하다.

워싱턴대 에일린 칼리스칸(Aylin Caliskan), 베스대(University of Bath) 요안나 브리슨(Joanna J. Bryson),프린스턴대 얼빈드 나르야난(Arvind Narayanan) 등은 기계학습 시스템이 훈련 데이터에 존재하는 고정 관념을 내재화할 수 있음을 발견했다. 연구자들은 사람들이 특정한 단어와 개념 사이 무의식적 연결을 일반적인 기계학습 언어 도구로 찾아내는 암시적 연관성 테스트와 유사한 분석기술을 적용해 이 도구가 인간 과 동일한 편향을 나타냄을 분석했다 .

유럽계 미국인 이름은 아프리카계 미국인 이름에 비해 유쾌한 말과 더 밀접한 관련이 있었다. 여성 이름은 남성 이름에 비해 직업 지향 단어보다는 가족적 의미가 있는 단어와 더 밀접하게 관련돼 있었다.

사회를 위한 AI

컴퓨터 프로그래머는 인종편향 알고리즘을 제한 할 수 있다. 코넬대 존 클라인버그(Jon Kleinberg), 시카고대 헤리스 공공정책 스쿨(Harris School of Public Policy) 옌 루드윅(Jens Ludwig), 시카고대 부스경영대학원 멀레인아덴(Mullainathan), 그리고 하버드대 에쉬시 람바찬(Ashesh Rambachan)은 기계학습 알고리즘의 잠재적 편향을 보상하도록 인종 및 예측 결과에 대한 해석을 조정함으로써 공평한 결과를 얻을 수 있다고 주장했다.

인공 지능의 사회적 사회적 잠재력 편견, 고정관념 및 투명성에 대한 우려에도 불구하고 AI는 기업과 사회가 더 잘 무시할 수없는 기회를 제공하는 데 도움이 될 수 있다.

이들은 하버드대 박사후 연구원 히말빈두 라카라주(Himabindu Lakkaraju)와 스텐포드대 주르 레스코벡(Jure Leskovec)과 연구에서, 뉴욕의 비영리 탐사저널리즘 매체 프로퍼블리카(ProPublica)가 지적했듯, 사법 위험 평가 도구(judicial risk-assessment tools)가 많은 사회 문제를 해결할 수 있다고 밝혔다.

연구원은 "보석금 결정은 인과관계와 일관된 측정을 보장하지 않는다는 약점을 피하면서 기계 학습의 고유한 강점 - 예측 품질 극대화하는데 달려 있다"고 말했다. 2008년부터 2013년까지 뉴욕시 체포 및 보석 결정에 관한 데이터를 사용, 기계학습 알고리즘 결과와 비교한 판사 판결이 종종 피고인의 도주위험 (뉴욕주 보석 결정 유일한 기준)을 잘못 평가했다는 증거를 발견했다.

판사들은 알고리즘이 가장 위험한 1%로 확인한 피고의 절반을 풀어줬고 그 중 56 %가 법정에 출두하지 않았다. 위험 순서에 따라 피고를 평가한 알고리즘의 도움으로 판사는 수감자를 늘리지 않고 피고인 도주 비율을 약 25 % 줄이고, 수감자를 40 % 이상 줄였다. 또한 알고리즘은 시스템을 보다 공평하게 만드는 동시에 모든 것을 수행 할 수 있었다.

연구원은 "적절히 수행 된 재순위 정책은 범죄와 수감 인구를 줄이는 동시에 인종 간 격차를 줄이는 효과가 있다. 이 경우 알고리즘은 인종 간 형평성을 위한 도움이 됐다"고 말했다.

"AI의 도래, 그 개발과 활용을 통해 도움을 받는 것은 결국 사람이다."

스텐포드대 사라드 고엘(Sharad Goel), 뉴욕대 라비 쉬로프(Ravi Shroff)는 기계학습을 사용해 뉴욕 '스탑&프리스크정책(stop-and-frisk policy)'에서 통계적으로 가장 관련이 있는 요인에 집중함으로써 정책을 개선 할 수 있다고 판단했다. 뉴욕 경찰이 잠재적 범죄자를 단속하기 위해 순찰 경관이 의심 가는 보행자를 불러세워 무기나 마약소지 여부를 검문 검색한 정책이다. 2011년 한 해 동안 68만 여명의 시민이 그 대상이 됐다.

연구에 따르면 2008년과 2012년 사이에 흑인과 히스패닉 사람들이 뉴욕 인구의 약 절반을 차지했음에도 불구하고 그 중 80%정도가 검문검색을 위해 보행을 제지당했고, 경찰이 무기를 소지를 의심했던 이들 중 90%는 결백했다. 2011년에서 2012년 사이 사례에 초점을 맞춘 연구원은 정지(stop) 시점의 43%가 무기를 발견할 확률이 1%미만이라는 사실을 발견했다. 그들의 기계 학습 모델은 정지의 58%만 수행해 90%의 무기 소지를 탐지할 수 있다고 판단했다. '의심스러운 부풀림(bulge)'과 같은 무기의 존재를 나타낼 가능성이 가장 큰 세 요인을 고찰함으로써 경찰은 8%의 정지만으로 무기 소지자 절반을 확인할 수 있었다.

이러한 전략을 채택하면 검문검색을 위해 중지된 사람들 사이에서 인종적으로 평등한 균형을 유지할 수 있다. 이러한 결과는 AI가 인류 사회복지를 개선 할 수 있는 가능성을 암시한다. 현명하게 사용하면 효율성과 효과성을 제고, 범죄를 늘리지 않고도 수감자도 줄일 수 있다.

AI 실현을 위해 기술을 개발하고 그 도움을 받는 것은 결국 사람이다.

과학기술, 정책, IT 거버넌스 에디터. Focus on AI, Quantum, IT governance, Science Policy.

# data[].attributes.attachment_link.title
사회적 인공지능, 데이터 편향과 차별 극복 연구들 | 사이언스모니터 | The Science Monitor

# data[].attributes.attachment_link.description
"AI는 점차적으로 거의 모든 고용 분야에 침투해 컴퓨터가 인간의 노동을 넘겨받게 될 것이다." -'인공 지능에 관한 스텐포드 백년연구(Stanford 's One Hundred Year Study)' 2015 연구조사 보고서 인공지능(AI)이 가져온 위험과 약속은 국가사회 전반의 기대치를 넘어서고 있다. 광범위한 범용 기술인 인공지능은 인간 지능이 수행하는 모든 것을 잠재 응용 프로그램으로 활용할 수 있다.

# data[].attributes.body
변순용. "데이터 윤리에서 인공지능 편향성 문제에 대한 연구." 윤리연구128 (2020): 143-158.

# data[].attributes.headline
인공지능은 제작자인 인간의 경험을 바

# data[].attributes.body
인공지능은 제작자인 인간의 경험을 바탕으로 학습을 하기 때문에 인간의 데이터가 편향적일 경우 인공지능도 편향성을 가질 수 있다. 이런 편향성을 수정하는 것이 나날이 발전하는 인공지능과 인공지능의 미래 활용가능성을 생각했을 때 필수적이다. 사실 그런 편향성도 인간의 면모를 정확하게 보여주고 있다고 할 수 있고 인공지능을 탓하기는 인공지능이 서운할 수 있다. 하지만 인간에게는 사리분별이라는 것이 마음속으로는 편향성을 지니고 있어도 눈치만 있으면 큰 갈등없이 살아갈 수 있지만 인공지능은 사회를 살아가는 눈치가 없고 직관적이기 때문에 편향성이 적나라하게 드러나는 것 같다. 그래서 인공지능에서 오류가 발생했을 때 발빠르게 버그를 고쳐나가야 한다. 다양한 관점, 차원에서 다각도로 인간의 경험을 분석하는 것이 필요할 것 같다. 인공지능이 낸 결과와 인간이 낸 결과가 크게 다른 경우는 거의 대부분 주변환경을 고려하지 않은 것 같아 그것을 교정하면 좋지 않을까 생각한다.

# data[].attributes.headline
인간의 경험은 모두 편향적인 선택으로

# data[].attributes.body
인간의 경험은 모두 편향적인 선택으로 이루어지는 것이라고 생각하고, 인공지능이 중립의 입장을 지킨다고 하더라도 다시 딜레마 상황을 만들어내면 결국 그 속에서 다시 선택이 이루어져야 할 것이다. 그래서 인공지능 의사결정의 편향성 완화를 위해서는 폭넓은 데이터베이스, 딥러닝 기술을 바탕으로 지속적인 보정 과정이 필요할 것이다. 인공지능이 주체적인 사고를 할 수 있고, 스스로 패턴을 찾아 처리해나가는 힘이 생긴다면, 이후 편향성 완화 문제를 해결하는 것은 쉬울 것이라고 생각한다. 그러나 인공지능이 독립적인 사고가 이루어질 때까지 인공지능의 편향성 문제는 절대 극복될 수 없다고 생각한다. 또 편향성 문제가 굳이 해결되어야 할지에 대해 회의적인 입장이며, 인간이 더 살기 좋은 환경이 궁극적인 목표라면 과연 공정성과 편향성 중 어떤 가치가 인간에게 더 바람직하고, 사람다운 세상을 위한 것인지 의문이 생겼다.

# data[].attributes.body
구글번역기의 편향성

# data[].attributes.headline
편향성 극복의 한계 (인공지능 채용 

# data[].attributes.body
편향성 극복의 한계 (인공지능 채용 시스템 폐기) - AI도 편향성을 가질 수 있음을 인정하고, 이에 맞는 정책과 윤리 규범을 만들어나가자는 입장

# data[].attributes.attachment_link.readable_text
로이터통신에 따르면 아마존은 스코틀랜드에 팀을 꾸리고 AI 채용 프로그램을 개발해왔다. 머신러닝을 기반으로 한 500대 컴퓨터가 구직자 지원서를 5만여개 키워드로 분석하는 방식이다.

문제는 개발한지 약 1년이 지난 2015년에 불거졌다. AI가 경력 10년 이상 남성 지원자 서류만 고용할 후보로 제시하기 시작한 것이다. 심지어 '여성'이라는 단어가 들어가기만 해도 감점요소로 분류했다.

전문가들은 그동안 IT 기업 지원자 중에 남성이 압도적으로 많았기 때문에, 이런 기존 데이터를 기반으로 한 AI가 '남성 편향적'으로 서류를 분류한 것이라고 이유를 설명했다. 실제 프로그램은 지난 10년간 회사가 수집한 이력서 패턴을 익혀 지원자들을 심사했다. 이 과정에서 AI가 남성비율이 큰 IT 업계 현실을 그대로 학습했던 것이다.
AI에게 면접 맡겨도 될까
국내에서도 이미 올 상반기부터 몇몇 기업이 채용 과정에 AI를 도입하기 시작했다. IT 솔루션 기업 마이다스아이티가 개발한 AI 채용 솔루션 '인에어(inAIR)'가 대표적인 예다.

아마존이 지원서 검토에 AI를 활용했다면, 인에어는 면접과정에 사용하는 AI다. 지원자들이 컴퓨터만 있으면 원하는 시간과 장소에서 면접을 볼 수 있다는 것이 장점이다. 면접은 자기소개와 인성검사, 적성 퀴즈, 심층 면접 순서로 약 60분간 이어진다.

마이다스아이티는 인에어가 지원자 외면과 내면을 모두 판단한다고 설명했다. 시각 지능이 지원자 안면에서 감정과 거짓말 여부 등을 판단하고, 음성인식을 통해 목소리 음색 등을 분석한다. 인적성 형태로 제시되는 문제들을 통해 지원자의 문제해결능력이나 업무 적합도를 판단한다. 마이다스아이티에 따르면 현재 LG유플러스, SK브로드밴드, JW중외제약, 한미약품 같은 여러 국내 기업이 채용과정에 인에어를 도입하고 있다.

이처럼 기업이 AI를 채용에 도입하려고 하는 것은 면접 과정에서 면접관 개개인의 편향이 반영되는 것을 막고 AI가 객관적으로 판단할 수 있다고 믿기 때문이다. 최근 연이은 채용 비리로 채용과정에서 투명성과 공정성이 화두에 오르면서 이런 움직임에 불을 지폈다.

하지만 아마존 사례에서도 알 수 있듯 AI가 사람보다 객관적인 판단을 내릴 수 있는지에 대해서는 아직도 논란거리다. AI는 결국 과거 데이터를 기반으로 판단을 내린다. 실제 현장에서 더 뛰어난 성과를 내고 있는 직원 데이터와 비슷한 지원자에게 높은 점수를 매기는 것이다. 이에 입력한 데이터에 따라 AI도 편향성을 지니게 될 수 있다는 우려다.

지난 9월 20일 월스트리트저널(WSJ)도 이런 점을 지적했다. 미국 인사관리 소프트웨어회사 하이어뷰(Hirevue)는 현재 유니레버, 힐튼호텔 같은 50개가 넘는 기업에 AI 면접 서비스를 제공하고 있다. 지원자는 컴퓨터 앞에서 주어진 질문에 대답하고, 저장된 면접 영상을 AI가 평가하는 식이다.

이 과정에서 AI는 지원자 목소리 톤과 자주 사용하는 단어, 미세한 표정을 분석한다. 그리고 이미 해당 기업에서 높은 성과를 내고 있는 사람들 데이터와 비교한다. 이에 대해 이포마 아준와 코넬대 사회학 및 법학 교수는 "표정과 직무 적합성에 대해 명확히 확립된 것이 없다"며 "과학자들은 이러한 AI가 진짜 편견 없이 공정하고 투명한 판단을 내릴 수 있는지 제대로 검토해야 한다"고 말했다.
편향된 데이터가 AI 편향성 만들어
AI 기술이 빠른 성장을 보이면서 면접 뿐 아니라 일상의 많은 부분에서 우리도 모르게 알고리즘 결정에 따르는 일이 많아졌다. 특히 자율주행차나 헬스케어 같은 분야처럼 AI 판단이 사람 목숨과 직결될 경우 'AI 편향성'은 심각한 문제가 될 수 있다.

올해 초 미국 캘리포니아 버클리대 연구팀은 AI에서 발생하는 이러한 편향성을 3가지 종류로 구분했다. 첫 번째는 AI에게 학습시키기 전에 이미 해당 데이터에 편향성이 존재할 경우다.

한 예로 미국에서 재판에 사용하는 AI인 '컴퍼스(COMPAS)'가 있다. 2016년 미국 탐사보도매체 프로퍼블리카(ProPublica)는 위험 평가 툴인 컴퍼스가 백인보다 흑인을 잠재적 범죄자로 잘못 분류할 확률이 2배가량 높다는 사실을 보도했다. 하지만 실제 재범률은 흑인에서 2배 이상 발생하지 않았다. 이는 이미 입력한 데이터에서부터 인종 편향성이 반영돼 있었기 때문이라는 설명이다.

이에 프로퍼블리카가 플로리다주에 사는 1만명을 대상으로 다시 조사한 결과, AI에 올바른 데이터를 입력했을 때 기존과 달리 올바른 판단을 내리는 것으로 나타났다. 이는 즉 사람이 입력하는 데이터에 따라 AI 편향성이 생길 수 있음을 입증하는 결과다.

MIT 미디어랩은 몇 년 전부터 부정적 데이터가 AI에 미칠 수 있는 영향에 대해 연구해왔다. 올해 4월에는 그동안 개발해온 사이코패스 AI '노먼(Norman)'을 공개해 경각심을 주기도 했다.

노먼은 알프레드 히치콕 감독의 공포영화 '싸이코'에 등장하는 사이코패스 살인마 '노먼 베이츠'에서 이름을 따온 AI다. MIT 미디어랩은 편향된 데이터가 머신러닝 알고리즘에 사용됐을 때 어떤 결과를 야기할 수 있는지 보여주기 위해 노먼을 개발했다고 설명했다.

연구팀은 노먼에게 미국 소셜뉴스 사이트 레딧(Reddit)에서 가져온 어둡고 부정적인 이미지 캡션을 학습시켰다. 이런 방식은 어떤 이미지에 대해 자동으로 캡션을 생성해내는 딥러닝 기술에서 주로 사용하는 방법이다.

이후 연구팀은 '로르샤흐 잉크 얼룩 검사'를 이용해 일반적인 AI와 노먼을 비교했다. 로르샤흐 검사는 스위스 정신의학자 로르샤흐가 개발한 인격진단검사 도구로, 개인에게 내재돼 있는 정신질환을 밝혀낼 때 주로 사용한다.

검사는 좌우 대칭인 검정 잉크 얼룩 데칼코마니 그림을 보여주고, 이것이 어떻게 보이는가를 묻는 방식으로 진행한다. 결과는 놀라웠다.

노먼은 모든 얼룩에 대해 총, 자살, 죽음 같이 부정적으로 표현했다. 예를 들어 일반적인 AI가 "나뭇가지에 새들이 앉아 있다"고 표현한 첫 번째 얼룩에 대해 노먼은 "전기에 감전돼 죽은 사람"이라고 표현했다. 또 일반 AI가 "꽃이 든 화병"이라고 표현한 두 번째 얼룩에 대해서는 "총에 맞아 죽은 사람"이라고 말했다. 이는 MIT 미디어랩 연구진이 실제 사람 죽음이 담긴 이미지가 아닌 사진을 설명하는 '캡션'으로만 학습시킨 결과였다.

버클리 연구팀이 말하는 두 번째 AI 편향성은 '기술적 편향성'이다. 이는 AI를 구동하는 툴과 알고리즘에 의한 것이다. 지난 2016년 플로리다주 윌리스톤 지역에서 발생한 '테슬라 모델 S' 사고가 대표적인 예다.

당시 테슬라 모델 S를 운전하던 운전자는 자율주행기능인 '오토파일럿' 상태에서 견인차와 충돌해 사망했다. 올해 3월 캘리포니아 주에서는 '테슬라 모델X' 운전자가 오토파일럿 모드로 달리다 도로 분리대를 박고 사망하기도 했다. 2016년 사고 당시 테슬라는 "운전자와 오토파일럿 모두 하늘의 밝은 빛 때문에 견인차의 흰색 부분을 인지하지 못했고, 브레이크를 밟지 못한 것"이라고 해명했다.

마지막 AI 편향성은 사람과 AI가 소통하는 과정에서 발생하는 '새로운 편향'이다. 새로운 편향은 실제 사람이 AI를 사용하고 있을 때만 나타난다. 이는 새로운 지식이 발견되거나 입력한 데이터와 사용자 의견이 일치하지 않을 때 발생할 수 있다.

한 예로 올해 5월, 평범한 미국 가정집에서 부부가 나눴던 사적인 대화가 아마존 AI스피커 에코에 녹음돼 지인에게 이메일로 전달된 사건이 있다. 당시 아마존은 "에코의 음성인식기능이 부부 대화 중 몇 개 단어를 잘못 이해해 발생한 것"이라고 설명했다.

이처럼 AI에서 발생하는 여러 편향성에 대해 전문가들은 "아직은 구체적인 해결 방법을 찾기엔 이른 시기"라는 의견을 보이고 있다. 하지만 AI를 창조하는 사람에게 가장 큰 책임이 있는 것은 모두가 동의하는 사실이다.

우리가 편향된 사고방식에서 자유로울 수 없는 이상 AI 또한 마찬가지일 것이다. 현재로써는 AI도 편향성을 가질 수 있음을 인정하고, 이에 맞는 정책과 윤리 규범을 만들어 나가는 것이 최선이 아닐까.

# data[].attributes.attachment_link.title
AI 판단, 다시 고려해 봐야 하는 이유...다양한 AI 편향성 논란

# data[].attributes.attachment_link.description
테크M=곽예하 기자] 지난 10월 아마존은 2014년부터 비밀리에 개발해온 인공지능(AI) 채용 시스템을 폐기했다고 밝혔다. 프로그램을 테스트해 본 결과 여성차별 문제가 나타나 자체 폐기한 것이다.로이터통신에 따르면 아마존은 스코틀랜드에 팀을 꾸리고 AI 채용 프로그램을 개발해왔다. 머신러닝을 기반으로 한 500대 컴퓨터가 구직자 지원서를 5만여개 키워드로 분석하는 방식이다.문제는 개발한지 약 1년이 지난 2015년에 불거졌다.

# data[].attributes.headline
인간의 보정&개발자와 사용자의 인지

# data[].attributes.subject
인간의 보정&개발자와 사용자의 인지

# data[].attributes.body
나는 인공지능이 인간의 경험을 분석하는 과정에서 나타나는 편향성은 인간이 머신 러닝 전에 이를 보정해줌으로써 극복할 수 있다고 생각한다. 인공지능의 편향성은 대부분 데이터 자체의 편향 때문에 발생하고, 인공지능 스스로는 이를 인지하고 해결할 수 없기 때문이다.
2016년 마이크로소프트사의 연구에 따르면, 인공지능이 학습할 단어 혹은 데이터를 이분법적으로 확실하게 구별해야만 하는 것(남/여, 할아버지/할머니)과 중립적인 것(의사, 승무원)으로 나눔으로써 일정 수준 편향성을 제거할 수 있다. 데이터를 분류하여 컴퓨터 언어로 임베딩한 후, 이분법적인 것을 기준으로 중립적인 것의 거리가 같도록 조정함으로써 데이터 자체의 편향성을 줄여 머신 러닝을 진행한다면, 인공지능의 편향성 역시 줄 것이라고 생각한다. (ex. 선생님이라는 직종이 여자 쪽에 더 가까우면, 이를 중립위치로 옮겨 성별 편향성을 제거하는 방법)
뿐만 아니라, 머신 러닝 개발자와 사용자 모두가 인공지능을 이용하는 과정에서 편향성의 존재를 인식하는 것으로도 편향성을 일부 극복할 수 있다고 생각한다. 인간의 경험이 편향되는 것은 사회의 고착된 본질적인 문제로부터 발생하는 경우가 많기 때문에, 단기간에 이를 바꿔 편향되지 않은 데이터를 주입하기란 쉽지 않다. 그렇기에 개발자가 편향된 데이터가 머신 러닝 과정에서 어떤 영향을 미칠지 미리 분석하고, 사용자에게도 어떠한 편향성이 존재하는지를 인지시킨다면, 인공지능의 편향성으로 인한 문제로부터 조금 더 자유로워질 수 있을 것이라 생각한다.

# data[].attributes.headline
인공지능이 가지는 편향성

# data[].attributes.subject
인공지능이 가지는 편향성

# data[].attributes.body
기업 아마존의 사례

# data[].attributes.attachment_link.readable_text
아마존은 금년 4월 인공지능( AI) 시스템으로 직원들의 업무 효율을 추적해 태만한 직원에게는 경고하고 목표 미달자는 해고했다. 또 같은 달, 스리랑카 정부가 얼굴인식 AI의 오류로 브라운대학(Brown University)의 한 학생을 스리랑카 폭파 사건의 용의자로 오인하는 일이 벌어졌다.

이러한 사건들은 사람들이 점점 더 AI에 의존해 의사결정을 할 때, 특히 AI 시스템을 사법, 금융, 고용과 같은 분야에 도입할 때 나타날 수 있는 잠재적 위험을 보여준다. 이와 관련해 뉴욕대학의 'AI Now 연구소' 공동 설립자인 케이트 크로퍼드(Kate Crawford)는 "내가 가장 우려하는 것은 우리가 문제를 해결하는 데 사용하려고 하는 시스템은 결국 이러한 문제를 심화할 수 있다는 것이다"라고 했다.

AI는 왜 착오를 일으키는가?

과거에 사람들이 AI를 믿었던 이유 중 하나는 AI가 인간처럼 감정이나 피로에 영향을 받지 않고 곧바로 문제를 분석해 정확하게 판단할 수 있기 때문이었다. 그러나 AI에도 '편견(AI bias)'이 있을 수 있다는 증거가 많다. 따라서 우리가 생각하는 것처럼 항상 객관적이거나 진실하지는 않다. 한 조사에 따르면, 일부 미국 법원에서 채택하고 있는 재범 위험 평가 소프트웨어인 콤파스(COMPAS)는 비(非)미국인을 평가할 때는 미국인들보다 재범 확률을 높게 평가하는 오류를 범할 수 있다. 또한 법 집행 부서의 얼굴인식 시스템은 여성과 청소년, 소수 민족에 대해서는 잘못 판단할 확률이 비교적 높다. 이를 'AI 편향' 또는 '알고리즘 착오'라고 한다.

'AI 편향'은 데이터 부족에서 온다

AI의 정확도는 훈련을 통해서 확보할 수 있다. 만약 훈련 과정에서 복잡한 실제(real) 세계를 반영할 만큼 충분한 데이터가 제공되지 못하면 AI에 편향이 생길 수 있다. 'Edge Case Research' 공동 설립자이자 CEO인 와그너(Michael Wagner)는 자율주행차를 훈련할 때 감지 센서가 인간의 영상을 수천 내지 수백만 개를 분석했음에도 AI는 여전히 휠체어를 탄 사람이나 형광 조끼를 입은 건축 인부를 무시하는 오류를 범했다고 지적하면서, 이는 이런 사례가 데이터베이스에서 소수이기 때문이라고 했다.

와그너는 제품의 신뢰도는 알려진 편향뿐만 아니라 알려지지 않은 새로운 편향을 면밀히 찾고 테스트를 거침으로써 높일 수 있지만, 이러한 편향은 제품이 널리 사용될 때까지 발견하지 못할 수도 있다고 생각한다.

그는 "기계가 학습하는 것은 인간의 학습과 상당히 다르다"면서 "이를테면 컴퓨터는 전봇대와 같은 수직 물체 가까이에 서있는 사람을 놓칠 수 있다"고 했다.

AI는 '사고 능력'이 없다

AI 프로그램은 인간의 편견을 '학습'할 수도 있다. AI를 훈련할 때, 그것들은 대량의 데이터에서 보이지 않는 패턴을 찾아 정보를 분석하는 데 의존한다. 이러한 정보에 인간의 편견이 숨겨져 있을 때 AI는 이러한 편견을 복제한다. 그러나 AI는 진짜 인간과는 달리 편견에 직면할 때 사고할 능력이 없다. 구글 최고의사결정과학자(Chief Decision Scientist) 차시 코지르코프(Cassie Kozyrkov)는 'AI는 데이터를 수집하고 패턴을 구현하는 도구일 뿐이며, 영원히 스스로 생각하지 않을 것'이라고 했다.

AI는 추상적 가치를 정의할 수 없다

인간이 AI로 하여금 공평, 정의, 신뢰 등의 추상적인 가치에 관해 의사결정을 하게 할 때 추상적 의미를 수학 용어로 표현할 수 없어 AI의 판단이 인류의 기대에 어긋나게 된다.

예를 들어, 한 은행이 대출 신청인의 신용도를 평가하려고 할 경우, '신용'은 모호한 개념이므로 이를 측량하기 위해서는 수치로 변환하는 '계량화' 과정을 거쳐야 한다. 만약 대출 모형이 노인들이 비교적 위약 가능성이 높고 나이에 따라 대출 금액을 줄였다는 것을 발견하면 노인들을 일방적으로 차별할 수 있다.

AI 금융 플랫폼인 앱젠(AppZen)의 공동 설립자인 베르마(Kunal Verma)도 신규 대출 신청자가 대출금을 연체하는 사람이 많은 지역에 거주할 경우, AI 시스템이 '신용평가 지수가 낮다'고 판단할 수 있다고 했다.

AI는 만능이 아니다

기업에 AI 기술이 도입되면 실직 사태가 벌어질 수 있다는 연구 결과가 많이 나왔다. 옥스퍼드경제연구원(Oxford Economics)은 2019년 6월 한 보고서에서, 2030년에 이르면 전 세계 제조업 분야의 일자리 가운데 8.5%(약 2000만 개)를 로봇이 대체할 것으로 전망했다. 따라서 상당수 업종의 전문 인력이 실직할 것을 우려하고 있다.

이와 함께 많은 사람이 알고리즘이 처리할 수 없는 문제를 AI 판단에 맡기려는 시도를 우려하고 있다. 예를 들어 아마존은 AI의 도움으로 구직자 순위를 매기려고 했으나, 이 시스템이 남성 구직자를 선호하는 경향이 있음을 발견하고 이 계획을 포기해야 했다.

맥킨지글로벌연구소(MGI)는 예측할 수 없거나, 극히 전문적인 지식과 기능을 요구하거나, 이해 관계자와 상호 연동하는 작업 등은 컴퓨터가 감당하기 어렵다는 사실을 발견했다. 우리가 억지로 이런 종류의 임무를 컴퓨터에 맡겨 처리하게 하면 여러 가지 오류가 생길 수 있다.

사법이나 법 집행 같은, 공정성을 따져야 하는 업무나 생사가 걸린 문제를 짧은 기간에 판단해야 하는 일을 AI 알고리즘이 책임질 수 있을까? 개과천선한 사람들이 하는 몇몇 노력을 알고리즘이 정당하게 계산해낼 수 있을까?

어쩌면 우리는 '인공지능은 만능이 아니라 도구일 뿐이며, 결국 우리를 대신해서 사고할 수 없다는 것'을 기억해야 할지도 모른다.

# data[].attributes.attachment_link.title
"인공지능, 편견 있다" 객관성과 거리 멀어...알고리즘·데이터에 한계

# data[].attributes.attachment_link.description
아마존은 금년 4월 인공지능( AI) 시스템으로 직원들의 업무 효율을 추적해 태만한 직원에게는 경고하고 목표 미달자는 해고했다. 또 같은 달, 스리랑카 정부가 얼굴인식 AI의 오류로 브라운대학(Brown University)의 한 학생을 스리랑카 폭파 사건의 용의자로 오인하는 일이 벌어졌다. 이러한 사건들은 사람들이 점점 더 AI에 의존해 의사결정을 할 때, 특히 AI 시스템을 사법, 금융, 고용과 같은 분야에 도입할 때 나타날 수 있는 잠재적 위험을 보여준다.

# data[].attributes.attachment_link.readable_text
[디지털투데이 석대건 기자] '연습이 완벽을 만든다(Practise makes perfect)'는 격언은 반만 맞다. 잘못된 연습은 완벽을 만들지 못한다. 격언을 수정하자면, '완벽한 연습이 완벽을 만든다.'

AI의 머신러닝(ML, Machine learning)도 이와 같다. 잘못된 머신러닝은 AI의 편향성을 강화시킬 뿐이다.

지난 25일 구글은 AI 포럼을 통해 AI 머신러닝의 공적성과 사례, 개선 과제를 설명했다.
잘못된 머신러닝은 잘못된 결과를 낳는다
발표를 진행한 베키 화이트(Becky White) 구글 AI 리서치 프로그램 매니저는 잘못된 머신러닝의 비유로 차량 충돌 사고 실험을 제시했다. 자동차 제조기업은 차량 출시 전, 충돌 실험을 통해 차량 탑승자의 신체 움직임을 파악하고 안전성을 높인다.

그러나 이상하게도 실제 상황에서 여성 탑승자가 남성 탑승자에 비해 높은 사망률이 나왔다. 그 원인은 차량 실험에 쓰이는 더미가 남성 신체였기 때문. 그래서 데이터 역시 남성 탑승자 위주로만 수집됐고, 사고 시 남성 탑승자만 안전했다. 데이터의 왜곡이 발생한 경우다.

AI가 잘못된 머신러닝을 통해 오히려 편향성이 강화된 경우로 대표적인 사례는 '이미지를 통한 성별 특성 분석'이다. 이미지를 통해 AI가 성적 특성을 분석한 기존 연구는 여성의 경우, 턱이 작고 코가 길며 이마가 좁았다. 반면, 남성은 턱이 크고 코가 크며 이마가 넓었다.

그러나 구글이 조명이나 화장 여부 등 편향성 조건을 제거하자 결과는 달랐다. 기존 연구는 머신러닝을 통해 AI가 오히려 편향성을 강화했던 것.

'이미지를 통한 성별 특성 분석'은 편향성이 강화된 경우로 대표적인 사례다. (사진=석대건 기자)

베키 화이트 구글 매니저는 머신러닝이 "인종, 민족, 종교, 소득 등 인구 편향 특성을 강화해서는 안 된다"며, "머신러닝 공정성에 대한 인식이 필요하다"고 말했다.

AI가 아무리 공정한 머신러닝을 통해 AI 고도화된다고 해도, 항상 객관적인 진실을 말하는 것은 아니라는 것. 그렇기 때문에 기존 데이터의 편향성을 확대 재생산할 수 있는 가능성을 차단할 수 있도록 인간이 인간이 항상 머신러닝 진행되는 동안, 사회적인 맥락을 인지하고 있어야 한다는 의미다.
머신러닝이 인간의 편향성 찾아내기도..."편향에 대해 아는 게 중요"
반대의 경우도 있다. 베키 화이트 구글 매니저는 지나 '데이비스 포용지수(GD-IQ)'를 머신러닝을 활용해 무의식적으로 적용되는 인간의 편향성을 찾아낸 좋은 사례로 들었다.

영화배우이자 여성인권운동가인 지나 데이비스는 2007년 '지나 데이비스 미디어젠더연구소'를 설립하고, 미국 영화 속에서 여성 배우의 비중을 분석했다.

지나 데이비스의 연구 결과에 따르면, 2014~2017년 사이에 미국에서 흥행한 100위까지의 영화를 분석한 결과, 여성들의 출연 시간과 대사 분량은 남성 배우에 비해 절반 수준이었다. 지나 데이비스는 이 결과를 공개하며 "무의식적인 편향성을 드러내는 데 데이터는 가장 강력한 도구"라고 말했다. 이어 지나 데이비스는 점점 달라질 영화계를 기대한다고 덧붙이기도 했다. 머신러닝을 통해 인간의 편향성을 찾아낸 사례다.

이에 대해 베키 화이트 구글 매니저는 "머신러닝을 통해 인간의 편향성이 강화되는 것을 방지할 수 있다"고 설명했다.

그렇다면 AI와 머신러닝 앞에서 인간의 역할은 무엇일까?

베키 화이트 구글 매니저는 우선 편향성 인지가 필요하다고 강조했다. 베키 화이트는 "데이터 안에는 편향성이 존재한다는 사실을 알아야 한다"며, "현실 문제의 원인과 해결책이 복합적이듯, 편향성을 제거할 수 있는 해결책도 복합적"이라고 말했다.

편향성은 크게 세가지로 ▲ 선택 편향 ▲ 확인 편향 ▲ 자동 편향이 있다.

먼저 '선택 편향'의 대표적인 예로는 지리적 편향이 있다. 베키 화이트 구글 매니저는 "북미에서 데이터를 생성하고 라벨링 후 머신러닝한 AI는 북미 지역에 대한 편향이 존재한다"며, "이는 신발이나 음식 등 모든 게 편향"이라고 설명했다. 확대 적용하지 말아야 된다는 경고다.

두번째는 '확증 편향'이다 . 대개 데이터 수집 과정에서 조사자(리서처)는 무의식적으로 자신의 믿음과 일치하는 방향으로 수집하게 되는데, 이는 데이터 처리 과정에서도 영향을 미친다. 이 경우 조사자 입장에서 겉보기에 편향이 보이지 않기 때문에 더욱 문제다.

머신 러닝 과정 중에도 인간의 편향성은 다수 개입할 수 있다. (사진=석대건 기자)

마지막으로 '자동 편향'이다. 머신러닝은 자동 처리 데이터를 비자동 처리 데이터 보다 선호한다. 이는 곧 데이터 배제로 이어지게 되고, 결국 편향성이 강화되는 꼴이다.

이러한 편향이 복합적으로 적용된 사례가 '직업과 성별 연결 편향'이다. 구글이 200개의 직업 관련 단어의 편향성을 분석한 결과, 가사 도우미나 종업원, 간호사에는 여성에 분류됐고, 장의사, 심판, 배우, 철학자, 대통령과 같은 직업은 남성에 분류됐다.

베키 화이트 구글 매니저는 "이러한 편향으로 만들어진 머신러닝은 비록 실제 현실을 반영한다고 하더라도 부정적인 사회적 편향을 강화한다"고 말했다.

현실 데이터로 머신러닝한 결과, 직업에 따른 성별 편향성을 강화하는 결과가 나왔다. (사진=석대건 기자)

편향성 문제가 하나의 원인이 아니듯, 다양한 접근 방법이 필요해
구글은 이러한 편향성을 제거하기 위한 공공 정책(Public Policy) · 엔지니어링 · UX 디자인 · 교육 등의 여러 관점으로 접근하고 있다.

구글은 머신러닝의 편향이 사회적인 문제와 결부됐다는 점을 인지하고, 머신러닝 개발 시스템이 어떻게 분석 결과에 영향을 미치는지 파악하는 한편, 머신러닝 시스템 사용자에게도 공정성에 대해 인지시키고 있다. 나아가 머신러닝 개발자에게도 사회적인 맥락에서 시스템을 개발하도록 교육한다고 밝혔다.

이를 위해 구글은 '오픈 데이터셋'을 공유해, 각 데이터에 대한 속성을 추가해, 머신러닝 '데이터 맥락'을 고려할 수 있도록 지원한다. 더불어 'Facets' 툴을 통해 데이터 시각화로 편향성을 점검하고, 나아가 'What-If' 모델을 머신러닝에 적용해 모델링 설계에 따라 분석 결과가 다른 경우도 확인하고 있다.

베키 화이트 구글 매니저는 "머신러닝은 사람들의 삶에 영향을 지속적으로 영향을 준다"며, "모두가 사용할 수 있도록 접근 가능하게끔 도움을 주는 게 구글의 미션"이라고 밝혔다.

# data[].attributes.attachment_link.title
'AI 편향'이란 무엇인가?...구글의 AI 원칙 "데이터 왜곡 없어야"

# data[].attributes.attachment_link.description
디지털투데이 석대건 기자] '연습이 완벽을 만든다(Practise makes perfect)'는 격언은 반만 맞다. 잘못된 연습은 완벽을 만들지 못한다. 격언을 수정하자면, '완벽한 연습이 완벽을 만든다.'AI의 머신러닝(ML, Machine learning)도 이와 같다. 잘못된 머신러닝은 AI의 편향성을 강화시킬 뿐이다. 지난 25일 구글은 AI 포럼을 통해 AI 머신러닝의 공적성과 사례, 개선 과제를 설명했다.

# data[].attributes.headline
인공지능에 편향성에 대한 설명, 그리

# data[].attributes.body
인공지능에 편향성에 대한 설명, 그리고 편향성이 극복될 수 없는 이유

# data[].attributes.attachment_link.readable_text
아마존은 금년 4월 인공지능( AI) 시스템으로 직원들의 업무 효율을 추적해 태만한 직원에게는 경고하고 목표 미달자는 해고했다. 또 같은 달, 스리랑카 정부가 얼굴인식 AI의 오류로 브라운대학(Brown University)의 한 학생을 스리랑카 폭파 사건의 용의자로 오인하는 일이 벌어졌다.

이러한 사건들은 사람들이 점점 더 AI에 의존해 의사결정을 할 때, 특히 AI 시스템을 사법, 금융, 고용과 같은 분야에 도입할 때 나타날 수 있는 잠재적 위험을 보여준다. 이와 관련해 뉴욕대학의 'AI Now 연구소' 공동 설립자인 케이트 크로퍼드(Kate Crawford)는 "내가 가장 우려하는 것은 우리가 문제를 해결하는 데 사용하려고 하는 시스템은 결국 이러한 문제를 심화할 수 있다는 것이다"라고 했다.

AI는 왜 착오를 일으키는가?

과거에 사람들이 AI를 믿었던 이유 중 하나는 AI가 인간처럼 감정이나 피로에 영향을 받지 않고 곧바로 문제를 분석해 정확하게 판단할 수 있기 때문이었다. 그러나 AI에도 '편견(AI bias)'이 있을 수 있다는 증거가 많다. 따라서 우리가 생각하는 것처럼 항상 객관적이거나 진실하지는 않다. 한 조사에 따르면, 일부 미국 법원에서 채택하고 있는 재범 위험 평가 소프트웨어인 콤파스(COMPAS)는 비(非)미국인을 평가할 때는 미국인들보다 재범 확률을 높게 평가하는 오류를 범할 수 있다. 또한 법 집행 부서의 얼굴인식 시스템은 여성과 청소년, 소수 민족에 대해서는 잘못 판단할 확률이 비교적 높다. 이를 'AI 편향' 또는 '알고리즘 착오'라고 한다.

'AI 편향'은 데이터 부족에서 온다

AI의 정확도는 훈련을 통해서 확보할 수 있다. 만약 훈련 과정에서 복잡한 실제(real) 세계를 반영할 만큼 충분한 데이터가 제공되지 못하면 AI에 편향이 생길 수 있다. 'Edge Case Research' 공동 설립자이자 CEO인 와그너(Michael Wagner)는 자율주행차를 훈련할 때 감지 센서가 인간의 영상을 수천 내지 수백만 개를 분석했음에도 AI는 여전히 휠체어를 탄 사람이나 형광 조끼를 입은 건축 인부를 무시하는 오류를 범했다고 지적하면서, 이는 이런 사례가 데이터베이스에서 소수이기 때문이라고 했다.

와그너는 제품의 신뢰도는 알려진 편향뿐만 아니라 알려지지 않은 새로운 편향을 면밀히 찾고 테스트를 거침으로써 높일 수 있지만, 이러한 편향은 제품이 널리 사용될 때까지 발견하지 못할 수도 있다고 생각한다.

그는 "기계가 학습하는 것은 인간의 학습과 상당히 다르다"면서 "이를테면 컴퓨터는 전봇대와 같은 수직 물체 가까이에 서있는 사람을 놓칠 수 있다"고 했다.

AI는 '사고 능력'이 없다

AI 프로그램은 인간의 편견을 '학습'할 수도 있다. AI를 훈련할 때, 그것들은 대량의 데이터에서 보이지 않는 패턴을 찾아 정보를 분석하는 데 의존한다. 이러한 정보에 인간의 편견이 숨겨져 있을 때 AI는 이러한 편견을 복제한다. 그러나 AI는 진짜 인간과는 달리 편견에 직면할 때 사고할 능력이 없다. 구글 최고의사결정과학자(Chief Decision Scientist) 차시 코지르코프(Cassie Kozyrkov)는 'AI는 데이터를 수집하고 패턴을 구현하는 도구일 뿐이며, 영원히 스스로 생각하지 않을 것'이라고 했다.

AI는 추상적 가치를 정의할 수 없다

인간이 AI로 하여금 공평, 정의, 신뢰 등의 추상적인 가치에 관해 의사결정을 하게 할 때 추상적 의미를 수학 용어로 표현할 수 없어 AI의 판단이 인류의 기대에 어긋나게 된다.

예를 들어, 한 은행이 대출 신청인의 신용도를 평가하려고 할 경우, '신용'은 모호한 개념이므로 이를 측량하기 위해서는 수치로 변환하는 '계량화' 과정을 거쳐야 한다. 만약 대출 모형이 노인들이 비교적 위약 가능성이 높고 나이에 따라 대출 금액을 줄였다는 것을 발견하면 노인들을 일방적으로 차별할 수 있다.

AI 금융 플랫폼인 앱젠(AppZen)의 공동 설립자인 베르마(Kunal Verma)도 신규 대출 신청자가 대출금을 연체하는 사람이 많은 지역에 거주할 경우, AI 시스템이 '신용평가 지수가 낮다'고 판단할 수 있다고 했다.

AI는 만능이 아니다

기업에 AI 기술이 도입되면 실직 사태가 벌어질 수 있다는 연구 결과가 많이 나왔다. 옥스퍼드경제연구원(Oxford Economics)은 2019년 6월 한 보고서에서, 2030년에 이르면 전 세계 제조업 분야의 일자리 가운데 8.5%(약 2000만 개)를 로봇이 대체할 것으로 전망했다. 따라서 상당수 업종의 전문 인력이 실직할 것을 우려하고 있다.

이와 함께 많은 사람이 알고리즘이 처리할 수 없는 문제를 AI 판단에 맡기려는 시도를 우려하고 있다. 예를 들어 아마존은 AI의 도움으로 구직자 순위를 매기려고 했으나, 이 시스템이 남성 구직자를 선호하는 경향이 있음을 발견하고 이 계획을 포기해야 했다.

맥킨지글로벌연구소(MGI)는 예측할 수 없거나, 극히 전문적인 지식과 기능을 요구하거나, 이해 관계자와 상호 연동하는 작업 등은 컴퓨터가 감당하기 어렵다는 사실을 발견했다. 우리가 억지로 이런 종류의 임무를 컴퓨터에 맡겨 처리하게 하면 여러 가지 오류가 생길 수 있다.

사법이나 법 집행 같은, 공정성을 따져야 하는 업무나 생사가 걸린 문제를 짧은 기간에 판단해야 하는 일을 AI 알고리즘이 책임질 수 있을까? 개과천선한 사람들이 하는 몇몇 노력을 알고리즘이 정당하게 계산해낼 수 있을까?

어쩌면 우리는 '인공지능은 만능이 아니라 도구일 뿐이며, 결국 우리를 대신해서 사고할 수 없다는 것'을 기억해야 할지도 모른다.

# data[].attributes.attachment_link.title
"인공지능, 편견 있다" 객관성과 거리 멀어...알고리즘·데이터에 한계

# data[].attributes.attachment_link.description
아마존은 금년 4월 인공지능( AI) 시스템으로 직원들의 업무 효율을 추적해 태만한 직원에게는 경고하고 목표 미달자는 해고했다. 또 같은 달, 스리랑카 정부가 얼굴인식 AI의 오류로 브라운대학(Brown University)의 한 학생을 스리랑카 폭파 사건의 용의자로 오인하는 일이 벌어졌다. 이러한 사건들은 사람들이 점점 더 AI에 의존해 의사결정을 할 때, 특히 AI 시스템을 사법, 금융, 고용과 같은 분야에 도입할 때 나타날 수 있는 잠재적 위험을 보여준다.

# data[].attributes.attachment_link.description
인간의 인지·추론·판단 등의 능력을 컴퓨터로 구현하기 위한 기술 혹은 그 연구 분야. 인간의 인지·추론·판단 등의 능력을 컴퓨터로 구현하기 위한 기술 혹은 그 연구 분야 등을 총칭하는 용어로 사용된다. 컴퓨터와 같은 기계는 인간에 비해 제어, 연산 등의 능력이 뛰어나지만, 사람이 가지고 있는 지능을 기반으로 하는 인지·추론·판단 등의 능력은 가지고 있지 않다. 이러한 사람 고유의 능력을 컴퓨터에서 구현해 보고자 시작된 것이 인공지능이다. 1956년 존 매카시(John McCarthy, 1927~2011)가 ‘인공지능’이라는 용어를 사용하기 시작했지만, 유사한 학문은 그 이전에도 존재하였다. 1943년 워런 맥컬로치(Warren McCulloch, 1898~1969)와 월터 피츠(Walter Pitts, 1923~1969)에 의해 사람의 뇌를 기반으로 하는 연구가 있었으며, 1950년에는 튜링 테스트(Turing Test)로 알려져 있는 앨런 튜링(Alan Turing)에 의해 생각하는 기계를 검증하기 위한 테스트도…

# data[].attributes.headline
"인공지능 편향성을 확인하는 것은 인

# data[].attributes.body
"인공지능 편향성을 확인하는 것은 인간의 몫"

# data[].attributes.attachment_link.readable_text
인공지능(AI)의 근본적 문제는 '인공'이라는 부분과 '지능' 부분이다. 우리는 로봇 지능이 인간의 편견에서 벗어났다고 생각하지만, 실제로는 AI가 오히려 인간의 단점을 반복하는 경우가 많다. 한 번에 하나의 데이터 세트로 말이다.

ⓒ Getty Images Bank

데이터 과학자인 한나 데이비스에 따르면, '데이터 세트는 세계관'이고 주관적인 의미로 가득 차 있다. 그렇다고 AI를 포기할 수는 없다. 대신 AI에 영향을 주는 데이터를 개선할 수 있는 몇 가지 방법을 살펴보자. 데이비스가 지적한 것은 다음과 같다.

AI는 항상 사람에 관한 것이었다

우리가 얼마나 '데이터 중심적'인지 가식적으로 보여주는 것이 바로 AI다. 데이터의 사용에 전적으로 의존한다고 해도 과언이 아니다. 예를 들어, 머신러닝 알고리즘의 놀라운 점은 패턴을 찾아 반응하기 위해 산더미 같은 방대한 데이터를 놀랍도록 빠르게 걸러낸다는 사실이다. 그러나 이러한 모델은 반드시 학습시켜야 하는데, 데이터 과학자가 고품질 데이터 세트에 관심을 두는 이유다. 그러나 데이비스에 따르면, 데이터 세트는 중립적이지 않다.

"(하나의) 데이터 세트는 하나의 세계관이다. 연구원이든 예술가든 기업이든 상관없이 데이터를 긁어모으고 수집하는 사람의 세계관을 반영한다. 이름을 붙이는 사람(labeler)의 세계관도 포괄한다. 수동으로 혹은 자신도 모르는 사이 반영되거나, 메커니컬 터크(Mechanical Turk) 같은 제3자 서비스를 통해 반영된다. 이 경우 데이터셋에는 해당 서비스 업체의 고유 분류법에 대한 세계관까지 망라하는데, 이들 기업의 활동 목표가 높은 삶의 질과 직접적으로 양립할 수 없는 경우가 종종 있다"

문제가 파악되는가? 머신러닝 모델은 이를 제공하는 데이터 세트의 수준만큼만 똑똑할 뿐이며, 이 데이터 세트는 이를 만드는 사람에 큰 영향을 받는다. 가디언에 따르면, 기계는 인간과 같은 실수를 단지 더 빠르게 저지른다. AI는 데이터에서 유형을 특정할 수 있는 능력을 기계에 불어넣어서 인간보다 더 빠르게 결정할 수 있도록 한다. 그런데 만약 이 결정이 더 나쁜 쪽이라면, 나쁜 결정을 더 빨리 내리는 것이 돼버린다.

문제를 더 복잡하게 만드는 것은, 인간의 오류와 편견이 머신러닝 모델에 의해 형성된다는 점이다. 만주나쓰 바트는 "사람들은 자료의 형태로 사실을 소비하는데, 데이터는 소비하기 쉽다는 이유로 변이, 변환, 변경된다. 결국, 우리는 매우 문맥화된 세계관의 테두리 안에서 사는 것 외에는 선택의 여지가 없다"라고 말했다. 즉, 우리는 데이터를 명확하게 보지 못하고 있으며, 우리의 편견이 우리가 만드는 모델을 머신러닝으로 만들고 그에 따라 우리가 소비하고 해석할 수 있는 데이터가 형성되는 악순환이라는 것이다.

데이터 문제는 사람의 문제다

그렇다면 이제는 희망을 버릴 때일까? 꼭 그런 것은 아니다. 데이비스가 계속해서 지적하는 것처럼, 우리가 할 수 있는 가장 중요한 작업은 데이터 세트가 만료되도록 설정하는 것이다.

"보통 머신러닝 데이터 세트는 객관적으로 취급된다. 머신러닝 알고리즘과 창조자 모두 기본적인 진실로 취급된다. 또한, 데이터 세트는 만들기 어렵고, 시간이 오래 걸리고, 비용이 많이 들기 때문에 데이터 세트를 한번 만들면 오랫동안 사용하는 경우가 많다. 그러나 어떤 사회가 발전해 나갈 때 과거의 가치에 지나치게 집착할 이유는 없다. 마찬가지로, 미래 사회를 현재 상황에 맞출 이유도 없다. 따라서 데이터 세트에는 만료 날짜가 있을 수 있으며, 있어야만 한다"

어느 특정 시점에서든, 사람과 장소, 또는 가장 우선적인 것이 우리의 데이터 세트에 담기는 경향이 있다. 데이비스는 2009년에 만들어진 이미지 세트의 예를 든다. 즉, '휴대전화'를 검색하면 플립 폰을 보여주는 것이다. 이런 경우에 데이터 세트가 만료되도록 설정하면, 휴대전화 모델이 사회와 보조를 맞추도록 강제할 수 있다.

매켄지는 연구를 또다른 선택지를 제안한다. 사람들을 AI에 '다시' 투입하는 것이다. 즉, 데이터의 전처리든 후처리든 인간이 머신러닝 모델을 교정하기 위해 개입하는 것이다. 모델에 관련된 수학은 흠잡을 데 없을 수도 있지만, 여기에 인간을 추가하면(그렇다, 편견을 추가하는 것이다) 모델의 결과를 고려하는 데 도움이 될 수 있고 편견이 억제되지 않은 채 작동하는 것을 막을 수 있다.

데이비스는 "우리가 AI의 편향성을 조심하지 않는 한 데이터를 수집하고 데이터에 라벨을 붙이는 작업을 통해 인간 사회에 '우연히' 해를 끼치기 쉽다"라고 경고했다. 반면 각별한 주의를 기울이면 AI의 많은 이점을 최대한 활용할 수 있을 뿐만 아니라, 기계가 인간으로부터 물려받을 수 있는 잠재적인 편견과 다른 단점을 최소화할 수 있다. editor@itworld.co.kr

# data[].attributes.attachment_link.title
글로벌 칼럼 | 인공지능 편향성을 확인하는 것은 인간의 몫

# data[].attributes.attachment_link.description
인공지능(AI)의 근본적 문제는 '인공'이라는 부분과 '지능' 부분이다. 우리는 로봇 지능이 인간의 편견에서 벗어났다고 생각하지만, 실제로는 AI가 오히려 인간의 단점을 반복하는 경우가 많다. 한 번에 하나의 데이터 세트로 말이다. ⓒ Getty Images Bank데이터 과학자인 한나 데이비스에 따르면, '데이터 세트는 세계관'이고 주관적인 의미로 가득 차 있다. 그렇다고 AI를 포기할 수는 없다.

# data[].attributes.headline
마이크로소프트사의 연구

# data[].attributes.subject
마이크로소프트사의 연구

# data[].attributes.body
인간이 인공지능의 편향성을 보정하는 사례

# data[].attributes.attachment_link.readable_text
viewer

점점 더 인공지능(AI) 알고리즘이 중요한 결정을 내리거나 결정을 돕는 역할을 하고 있다. 실제로 직장이나 대학의 지원자를 선발하거나 대출 여부·한도를 정하는 것처럼 많은 영역에서 우리의 삶에 영향을 끼치고 있다. 하지만 맹목적으로 적용한다면 학습 데이터에 존재하는 편향성으로 편견을 증폭시킬 우려가 있음을 이미 많은 전문가가 지적하고 있다.

성별 역할이나 업무 영역에 대한 편향성은 우리의 정신에 깊이 내재돼 있으며 생각과 대화에 반영된다. 언어는 성차별이나 편향이 행해지는 강력한 수단 중 하나이며 딥러닝 기술의 발달과 더불어 언어 처리를 하는 능력에 비약적인 발전이 있었음에도 불구하고 AI에도 편향성이 있을 수 있다.

사람들이 일상적으로 사용하는 자연어는 컴퓨터가 바로 이해할 수 없기 때문에 '단어 임베딩(word embedding)'이라고 불리는 변환 기법을 사용해 단어를 컴퓨터가 이해할 수 있게 바꿔준다. 이를 통해 맥락을 이해하고 의미의 유사성이나 차이점 및 단어 간의 관계를 이해할 수 있게 된다. 이런 변환은 신경망 학습을 통해 자동으로 수행되며 사용하는 학습 데이터에 따라 결과가 달라진다.

단어 간의 관계를 이해할 수 있게 되면 '파리-프랑스'의 관계로부터 '도쿄-x'에서 'x'는 일본이라는 것까지 판단할 수 있게 된다. 하지만 특별한 의도가 아닐지라도 편향적인 문구들이 많이 포함된 데이터를 이용해 학습되면 '남자-컴퓨터 프로그래머'의 관계에서 '여자-x'에 'x'를 주부라고 추정을 해낼 수도 있다. 부지불식간에 사용하는 단어들의 관계로 성별 편향적인 결과가 나올 수도 있는 것이다.

이런 편향성을 조정하기 위한 방법을 제시한 논문 중 지난 2016년 마이크로소프트 연구팀이 발표한 방식이 인상적인데 개념만 간단히 살펴본다. 이들은 단어를 성별로 확실히 구별해야 할 것과 중립적이어야 할 것들로 구별했다. 예를 들어 남/여, 삼촌/고모, 할아버지/할머니의 관계처럼 성별을 구별하는 것이 당연한 것들과 의사, 승무원, 트럭 기사, 컴퓨터 프로그래머와 같은 중립적이어야 하는 것들로 나눈다. 이후 워드 임베딩을 통해 변환된 공간에서 '남/여'처럼 성별을 구별해야 할 것들로부터 중립적이어야 할 단어 간의 거리가 같도록 조정을 해준다. 예를 들어 외과의사가 남자 쪽에 더 편향적이었다면 그 위치를 중립 위치로 옮겨 성별 편향성을 제거한다.

신문이나 쉽게 접촉할 수 있는 보편적인 데이터를 이용해 학습했음에도 불구하고 편향성이 있다는 것은 사회가 가진 본질적인 문제가 투영된 결과이겠지만 학습 시 이런 편향성을 줄여주거나 없애려는 노력을 한다면 AI가 사회의 편향성을 줄이는 데 작은 기여를 할 수 있을 것이다. 또한 성별 편향성뿐만 아니라 지역·학벌·피부색·연령대 등 다양한 종류의 편향성이 있을 수 있으니 이런 점까지 충분히 고려해야 할 것이다.

# data[].attributes.attachment_link.keywords[]
[우리곁으로 다가온 ai] 인종·성차별 하는 ai...학습 데이터 편향성 줄여야

# data[].attributes.attachment_link.authors[].name
[우리곁으로 다가온 AI] 인종·성차별 하는 AI...학습 데이터 편향성 줄여야

# data[].attributes.attachment_link.title
[우리곁으로 다가온 AI] 인종·성차별 하는 AI...학습 데이터 편향성 줄여야

# data[].attributes.attachment_link.description
점점 더 인공지능(AI) 알고리즘이 중요한 결정을 내리거나 결정을 돕는 역할을 하고 있다. 실제로 직장이나 대학의 지원자를 선발하거나 대출 여부·한도를 정하는 것처럼 많은 영역에서 우리의 삶에 영향을 끼치고 있다. 하지만 맹목적으로 적용한다면 학습 데이터에 존재하는 편향성으로 편견을 증폭시킬 우려가 있음을 이미 많은 전문가가 지적하고 있다.

# data[].attributes.headline
편향성 완화를 위한 연구절차

# data[].attributes.subject
편향성 완화를 위한 연구절차

# data[].attributes.attachment_link.title
편향성 완화를 위한 연구절차.JPG

# data[].attributes.body
이예나 외 2인,  <인공지능 편향성 완화를 위한 효과적인 접근방법 및 기술동향>, 한국정보과학회 학술발표논문집, 2019, 981-983p.

# data[].attributes.body
인공지능, 몰랐던 인종차별/성차별도 찍어낸다.

# data[].attributes.attachment_link.readable_text
인공지능 기술이 현실화함에 따라 혜택과 함께 부작용도 드러나고 있다.

인공지능은 심화신경망 방식의 기계학습을 통해 비약적 발전을 거듭하고 있다. 사람이 처리하기 어려웠던 방대한 양의 비구조적인 데이터를 신속하게 분류하고 인식하는 기능을 통해 다양한 분야에서 괄목할 만한 성과를 이뤄내고 있다. 인공지능은 태그를 달아주지 않은 사진 더미에서 고양이 사진이나 특정한 내용을 식별하고 사진이나 동영상의 내용을 실시간으로 인식해 적절한 설명을 달 수 있는 기능을 선보였다. 구글의 알파고와 자동번역은 바둑·통역처럼 고도의 인간 능력으로 여겨져온 영역도 기계학습의 무풍지대가 아님을 일깨웠다.

인공지능은 사람이 구체적으로 작동 단계마다 실행 방법을 통제하거나 지시할 수 없기 때문에 차별과 편견을 강화하는 도구가 될 수 있다는 우려다. 마이크로소프트가 2016년 내놓은 인공지능 채팅로봇 테이는 나치즘과 인종차별주의자들의 도구가 되어 출시되자마자 막말을 쏟아내다가 퇴출당했다. 구글의 자동 사진분류 기능은 흑인 여성을 고릴라로 식별하는 실수를 해서 사과했다.

유럽로봇연구네트워크(EURON)는 로봇 윤리 가이드라인을 만들면서 로봇에 의한 '차별과 낙인화'를 금지할 것을 제안했다. 마이크로소프트의 최고경영자 사티아 나델라도 2016년 6월 기고를 통해서 인공지능 6원칙을 제시했는데, "인공지능은 차별 또는 편견을 방지해야 한다"는 게 그중 하나다. 인공지능에 의한 차별과 편견을 경계해야 하는 것은 인공지능이 알고리즘과 데이터를 기반으로 작동하는 기술 구조 때문이다. 알고리즘은 개발자의 사고방식과 편견을 반영하고, 학습 대상 데이터의 속성과 한계를 드러내기 때문이다. 인공지능 개발자들의 인구통계적 속성상 백인, 남자, 고소득층, 영어 사용자 위주의 편향이 만들어진다는 지적이 있다.

인공지능의 이러한 부작용에 대처하는 경로는 크게 두 가지다. 하나는 알고리즘과 데이터에 대한 투명성과 접근성을 높여, 관련 기업과 기술 전문가들이 설계한 것을 시민사회가 공적 관점에서 검토할 수 있도록 하는 길이다. 또 다른 경로는 데이터가 반영하는 현실 자체를 바꾸는 길이다.

최근 미국 영화계에서는 인공지능을 활용해 왜곡된 현실을 데이터의 형태로 드러내고 문제를 개선하려는 시도가 눈길을 끌고 있다. 등에 출연한 영화배우이자 여권운동가인 지나 데이비스는 할리우드의 성차별을 줄이기 위한 작업에 인공지능을 적극 활용해 효율성을 높이고 있다.

지나 데이비스는 여러 해 전 자신의 어린 딸이 즐겨 보는 영화는 물론 애니메이션의 동물마저 남성 배역이 압도적으로 많다는 것을 발견했다. 그는 할리우드 영화가 사회 내 여성 역할을 경시하거나 왜곡하는 편견을 조장할 수 있다며 개선 운동에 뛰어들었다. 영화는 많은 영향을 끼친다. 미국에서는 2012년 여학생들의 양궁 배우기 열풍이 일었는데, 70%의 학생이 영화 과 의 여주인공 캣니스와 메리다의 영향 때문이라고 답했다. 지나 데이비스는 2007년 '지나 데이비스 미디어젠더연구소'를 설립하고, 영화와 드라마에서 남녀 배우의 출연 시간과 대사 분량, 역할과 대화의 중요도 등을 분석해 이를 지수화하는 작업을 해왔다. '지나 데이비스 포용 지수'(GD-IQ)이다. 하지만 영화 한편 한편을 시청하면서 각 배역들의 대사와 역할을 데이터로 만드는 지수화 작업은 많은 노동력이 들어가고 엄밀성이 떨어졌다. 엄청난 시간과 비용이 요구됐다.

이 연구소는 남캘리포니아대학, 구글 글로벌임팩트챌린지와 함께 영화 내용 분석에 기계학습을 활용하는 방법을 도입해 지난해부터 다양한 연구결과를 내놓고 있다.

연구소가 2014년부터 3년간 미국에서 흥행 100위까지 영화를 분석한 결과, 여성들의 출연 분량과 대사 분량은 남성의 절반 수준인 35%, 36%로 나타났다. 장르별로 분석한 결과, 대부분의 장르에서 남성의 출연 시간과 대사가 많았고 '공포영화' 장르에서만 여성의 출연 시간이 남성보다 많았다. 지나 데이비스는 이런 분석결과를 할리우드의 영화 제작자, 작가, 배우들에게 제공했다. 이를 통해 기존 작업 과정에서 의식하지 않았던 편견을 깨닫는 결과로 이어지기를 겨냥한 것이다. 지나 데이비스는 구글과의 인터뷰에서 "인공지능을 활용한 분석이 기존에 비해 혁명적 효율성을 가져왔다"며 "무의식적인 편견을 드러내는 데 있어 데이터가 가장 강력한 도구라는 것을 확인했다"고 말했다. 데이비스는 이 지수 공개 덕분에 영화 제작자들의 인식이 달라지고 있다며 5~10년 뒤엔 할리우드 영화에서 여성 배역의 분량과 중요도가 개선될 것이라고 기대하고 있다.

인공지능 기술은 데이터가 특정 계층의 속성과 이해를 지나치게 반영해 편견과 차별을 강화할 수 있다는 우려를 안고 있지만 동시에 잠재해 있던 차별 요소를 드러내 현실을 개선하는 수단으로 활용될 수도 있다. 지나 데이비스의 시도가 알려주는 것은 기술은 기업과 기술자들만의 노력으로 인간화되는 게 아니라, 해당 기술을 어떤 목적으로 쓰려고 하는가 하는 기술자 아닌 사람들의 노력과 의지를 통해서 더 나은 도구가 될 수 있다는 점이다.

구본권 사람과디지털연구소장 starry9@hani.co.kr

# data[].attributes.attachment_link.description
인공지능 기술이 현실화함에 따라 혜택과 함께 부작용도 드러나고 있다. 인공지능은 심화신경망 방식의 기계학습을 통해 비약적 발전을 거듭하고 있다. 사람이 처리하기 어려웠던 방대한 양의 비구조적인 데이터를 신속하게 분류하고 인식하는 기능을 통해 다양한 분야에서 괄목할 만한 성과를 이뤄내고 있다. 인공지능은 태그를 달아주지 않은 사진 더미에서 고양이 사진이나 특정한 내용을 식별하고 사진이나 동영상의 내용을 실시간으로 인식해 적절한 설명을 달 수 있는 기능을 선보였다.

# data[].attributes.body
이예나, 《인공지능 활용에 있어서 편향성 완화를 위한 기술 현황 분석 및 접근방법론》, 2019, 1-6면.

# data[].attributes.headline
기계는 그 누구보다 이성적이고 체계적

# data[].attributes.body
기계는 그 누구보다 이성적이고 체계적이다. 인공지능도 마찬가지일 것이다. 그렇기에, 적절하게 사용한다면 예전보다 더 훌륭한 판단을 할 것이다. 하지만, 이러한 인공지능의 판단의 편향성이 존재하기 때문에, 윤리적인 기준을 잘 가꾸어 놓아야 잘 사용할 수 있을 것이다. 또한, 인공지능은 바이러스의 위험도 있다. 의료 기계나 교통과 같이 같이 사람 목숨과 밀접하게 관련된 부분에 있어서의 바이러스는 무척이나 치명적일 것이기 때문에, 보안과 백신에 있어서도 잘 가꾸어 놓아야 할 것이다. 그리고 세상에는 계산된 값과는 다르게 예외적 상황이 존재한다. 그러한 예외적 상황에도 잘 대응하게끔 알고리즘을 탄탄하게 만들어 놓아야 할 것이다. 또한, 터미네이터와 같은 영화의 내용처럼, 로봇이 허튼 생각을 하지 못하게끔 디폴트도 잘 맞춰 놓아야 할 것이다.

# data[].attributes.headline
인공지능도 인간의 경험에 따른 데이터

# data[].attributes.body
인공지능도 인간의 경험에 따른 데이터를 분석해 결정을 내리기 때문에 문화적 편향성, 인지적 편향성이 존재한다. 각종 프로그램 개발을 통해 이러한 편향성을 줄이는 것은 가능하겠지만, 완전히 없애는 것은 불가능하다. 나는 ‘완벽한 결정’이라는 것은 애초에 불가능하다고 생각한다. 현실은 완벽하게 나눠떨어지는 수학 문제가 아니기 때문에 수많은 요소를 동시에 충족하는 것이 불가능하고, 편향성은 어떤 방법으로든 존재하게 될 것이다. 그러므로 편향성을 완전히 제거하려고 하지 말고 조금씩 줄여나가고, 최적화하는 방향으로 나아가는 것이 우리가 할 수 있는 최선일 것이다. 인공지능이 내린 결정이 상식적으로 맞는지 인간이 최종적으로 검토하고, 시대에 맞는 기준을 따르도록 끊임없이 업데이트 하며 이러한 피드백을 새로 적용하는 등 세심한 관심과 노력을 기울이는 것이다. 인공지능이 완벽해질 수는 없어도 인간의 노력에 의해 완벽에 점점 가깝게 수렴할 수는 있다고 생각한다.

# data[].attributes.headline
상호보완적인 관계가 필요하다

# data[].attributes.subject
상호보완적인 관계가 필요하다

# data[].attributes.body
인공지능을 다루면서 나타나는 편향성은 불가피하다고 생각한다. 인공지능의 머신러닝은 우리가 지금까지 쌓아왔던 데이터에 기반한 학습이기 때문이다. 사람은 이해관계에 따라서, 또는 여러 이유로 편향된 판단을 했던 역사가 있고, 그 역사 속에서 데이터가 축적되어 왔다. 따라서 이를 없애려는 노력보다는 최대한 보정하는 등의 방향으로 나아가야 한다고 생각한다. 사실 인간이 인공지능의 편향성을 먼저 인지하고 이를 수정 및 조절하는 방법이 대부분일 것이다. 그러나 반대로 인공지능이 인간의 편향성을 찾아낼 수도 있다. 미국의 지나 데이비스 포용 지수가 그 사례인데, 이는 영화계에서 여성보다 남성 배우가 두 배 이상의 비중을 차지하며 편향적인 성비가 존재한다는 것을 밝혀냈다. 따라서 인간과 인공지능이 상호보완적으로 편향성을 보완해야 한다고 생각한다. 궁극적으로는 기존의 데이터를 바탕으로 재생산된 데이터들도 미래에는 훨씬 공정성을 띄게 되지 않을까?

# data[].attributes.body
인공지능의 편향성을 극복할 수 있는 방법
1) 인공지능 개발과정에서
개발자는 편향성 개념 정립 및 수립을 통해 보정해야 할 요소들을 데이터화한다. 그리고 이분법적인 것들로부터 중립적인 것까지의 거리를 같게 하는 것과 같은 정량적인 기준을 만들어 인공지능 머신러닝에 대입해야 한다.

2) 인공지능 사용과정에서
사용자들도 인공지능이 편향적인 판단을 내릴 수 있다는 사실을 인지하고 비판적으로 수용하자.