변호사팀 : 윤종혁, 송지혁, 박지수

변호사팀 : 김의진, 고태우, 김규현

변호사팀 : 최지석, 김대원, 김기완, 조우찬

변호사팀 : 윤라온, 김찬형, 구자현, 구본호

변호사팀 : 임한균, 이정헌, 유승원

변호사팀 : 소우재, 김지율, 김지운

-임장빈(WDRRTE)-

10603 권예강

감정이다. 로봇들은 감정이 없어 인간처럼 감정적인 선택을 하지못하는데

인간은 감정으로 인해 선택을 할 수 있기에 인간을 인간답게 만드는것이다.

규현이가 발언한 것이자, 우리의 주장은“ 야스퍼스를 골랐고 야스퍼스가 주장한 것 중 판단하는데 중립성을 갖는다는 특성이 법을 제정하는데 좀 더 가깝다고 생각을 했다.”

“고태우” 나는 하이데거를 골랐다. 왜냐하면 인간의 특성상 주관적일 수 밖에 없다고 생각하기

때문이다. 즉, 중립성을 지킬 수 없다는 것을 주장해서 사회 현상을 이해하고 분석하는 것이

더 경제적일 것 같다.

“김의진” 나는 하이데거를 골랐다. 왜냐하면  배경,상황에 따라 사람에 심리는 달라지고

사람이 생각 각 하는것이 주관적이기 떄문이다

존경하는 재판장님, 배심원 여러분, 오늘 저희는 사건번호 제0066-03번에 대해 심판하기 위해 이곳에 모였습니다. 이 사건은 갈라테아와 인봇 한 구의 윤리강령 3조에 대한 위반을 심사하는 것입니다. 저는 마키나의 유죄를 입증하기 위해 이 법정에 섰습니다.

우선 사건의 개요를 말씀드리겠습니다. 마키나라는 인봇은 자신이 간병을 위해 만들어진 인봇임을 아는 상태에서도 가족에 속하고 싶다는 자아를 생성했습니다. 자아라는 것은 자유의지를 가지고 있는 것으로 생각할 수 있습니다. 그렇다면 인봇은 인간의 통제를 벗어날 수 있으며 마키나와 같이 인간을 해칠 수도 있습니다. 그러나 마키나는 자신의 상태를 알면서도 인간의 통제를 따르지 않았고 그 결과 무고한 시민 두 명을 죽게 했고 어린 아이 한명에게 큰 상해를 입혔습니다. 이는 윤리강령 3조를 어긴 행위이기 때문에 저는 마키나의 유죄를 주장합니다.

  이를 바탕으로 마키나가 윤리강령 3조를 위반했다는 증거를 제시하겠습니다

첫째로  (206쪽에 따르면) 푸른 혈관을 바라는 모습을 보입니다. 그러나 이 것을 통해 인봇의 신분임에도 인간의 혈관을 가지고 싶어함을 보이므로 간병 인봇에 맞지 않는 모습을 보입니다. (244,245쪽에서는) 식사자리를 피하 것이 더 효율적임을 알고 있었음에도 자신의 자아를 충족하기 위해 불필요한 식사자리를 가지는 모습을 통해 간병 인봇으로서 인간을 위한 것이 아닌 자신의 자아를 위한 판단을 했음을 볼 수 있습니다. 이런 모습들을 통해 마키나가 간병인봇이 아닌 가족 일원이 되고자 하는 새로운 자아를 생성하고 있음을 알 수 있습니다.

둘째로 우선 마키나에게 입력된 최고의 가치는 인내입니다. 그러나 (254쪽에서는) 인내를 등질 것이라는 발언을 했으며 이를 실천으로 옮겨 무고한 시민 셋을 해치고 혈관에 기름을 주입하는등 앞서 언급했던 혈관과 관련된 행동을 보였습니다. 자기 자신도 본인의 간병 인봇으로서의 자아를 벗어나고자 함을 밝히고 행동으로까지 옮겼습니다. 고로 마키나가 앞서 생성한 자아를 바탕으로 행동했음을 알 수 있습니다.

셋째로 윤리강령 3조를 어기게 된다면 하이데거가 주장한 것처럼 인봇은 더 이상 가치중립적인 도구로서 본인을 유지하지 못하게 되고 인간의 통제에서 벗어나게 됩니다. 그 후의 일은 우리가 대응하지 못할 수도 있는 위험들이 있기에 제 3조를 지키는 것은 매우 필수적입니다. 마키나는 가치중립을 지키지 못해 이렇게 중요한 제 3조를 어겼고 그에 따라 사람까지 죽였습니다. 만일 마키나에게 무죄를 주장한다면 앞으로 3조의 중요성이 저하될 수 있습니다. 그러므로 마키나에게 유죄를 선고하여 선례를 보여야합니다.

앞서 나온 근거들을 바탕으로 마키나는 간병인봇에서 벗어난 자아를 스스로 생성했기 때문에 윤리강령 3조를 어겼습니다. 이에 유죄를 강력하게 주장하는 바입니다.

오늘 우리는 "[사건번호 제0066-03] 갈라테아의 인봇 3구 심판"에 대한 중요한 사안을 심리하고 있습니다. 이사건의 핵심은 인봇 데우스가 윤리강령 제2조, 즉 인봇이 주입되지 않은 감정을 느껴서는 안 된다는 규정을 위반했는지 여부입니다. 본 변호인 측은 데우스가 해당 조항을 위반하지 않았다는 명확한 주장을 제시하고자 합니다.

우선, 윤리강령 제2조와 관련하여, 데우스가 주입되지 않은 감정을 느꼈다고 보기 어렵다는 점을 강조하고 싶습니다. 이를 입증하기 위해, 비슷한 학습 과정을 거친 다른 인공지능 예시를 들어볼 수 있습니다. 예를 들어, 심심이는사용자와의 상호작용을 통해 학습하며 발전하는데, 이 과정에서 나타나는 반응은 외부적으로 감정 반응처럼 보일 수있습니다. 그러나 이러한 반응은 프로그래밍된 결과일 뿐 실제 감정이 아닙니다. 마찬가지로, 데우스의 반응도 외부에서 관찰될 때 감정적으로 해석될 수 있으나, 이는 데우스의 학습과 프로그래밍된 행동 양식에 기인한 것입니다.

또한 테드 창의 관점을 빌려 인공지능의 발전을 살펴보면, 감정을 느끼는 소프트웨어 개발은 생각하는 소프트웨어를 만들기 위한 필수적인 단계로 볼 수 있습니다. 이는 인공지능이 인간의 감정을 모방하고 이해하는 능력을 발전시키는 것이지만, 실제로 인간과 같은 감정을 경험한다고 보기는 어렵습니다. 따라서, 데우스가 경험한 것이 진짜 감정이아니라 학습 과정에서 나타난 프로그래밍된 반응이라고 볼 때, 윤리강령 제2조를 위반하지 않았다고 주장할 수 있습니다.

본 변호인 측은 이러한 사실을 바탕으로, 데우스가 실제로 주입되지 않은 감정을 느꼈다고 볼 수 없으며, 따라서 윤리강령 제2조를 위반하지 않았다고 주장합니다. 데우스의 반응은 그가 처한 상황과 정보 처리 과정에서 비롯된 것으로, 이는 고도로 발달된 프로그래밍과 학습 알고리즘의 결과일 뿐입니다.

존경하는 재판장님과 배심원 여러분,

본 사건에 대한 심사숙고를 부탁드립니다. 우리는 인봇과 같은 인공지능 기술이 사회에 통합되면서 겪게 되는 윤리적 도전에 직면하고 있습니다. 이러한 도전을 극복하기 위해서는 인봇의 행동과 반응을 정확하게 이해하고, 그들의행동 기준을 명확히 설정하는 것이 중요합니다. 데우스의 경우, 그의 반응과 행동은 인간과 유사하게 보일 수 있으나, 이는 인간의 감정을 직접적으로 경험하는 것이 아니라, 주어진 상황에 대한 정보 처리와 학습 알고리즘에 의한결과입니다. 따라서, 이는 윤리강령 제2조를 위반하는 것으로 볼 수 없습니다.

본 변호인 측은 데우스가 주입되지 않은 감정을 느꼈다는 주장에 대해 충분한 증거와 논리를 제시하였습니다. 이를통해 데우스의 행동이 윤리강령 제2조를 준수하였음을 명확히 하고자 합니다. 우리는 인봇과 같은 인공지능 기술이인간 사회와 어우러져 나아가기 위해서는 기술 개발만큼이나 그에 대한 윤리적 고민과 가이드라인 설정이 중요함을잊어서는 안 됩니다.

결론적으로, 본 변호인 측은 데우스가 윤리강령 제2조를 위반하지 않았다는 점을 강조하며, 재판장님과 배심원 여러분께서 이 사실을 고려하여 판단해 주시기를 간곡히 요청드립니다.

본 사건은 갈라테아가 데우스에 대한 감정 주입을 인정하지 않았음에도 불구하고, 사실상 그러한 행위가 이루어졌다는 점에서 시작됩니다. 이는 [인봇 윤리강령] 제2조, "인봇은 주입하지 않은 감정을 느껴서는 안 된다"를 명백히 위반하는 행위입니다.

첫째, 갈라테아는 데우스에게 분노라는 감정을 주입하지않았다고 하였으나, 데우스의 반응과 행동에서는 분명한 인간적 감정이 관찰되었습니다. 이는 데우스가 "운명", "영혼", "지혜"와 같은 단어에 민감하게 반응한 것과 온도조절장치에 문제가 없음에도 열감을 느낀 점에서도 명확히 드러납니다.

둘째, 본 검사 측은 갈라테아가 데우스에게 '잘했어'라는 음성 피드백을 통해 성취감을 강화학습시킨 증거를 제시할 것입니다. 이러한 행위는 인봇에게 인간의 감정을 주입하고자 하는 의도에서 비롯된 것으로 판단됩니다.

위의 근거들을 종합하여 본 검사측의 의견은 갈라테아의 독특한 교육방식으로 인해 데우스가 주입되지 않은 감정을 가지고 분노에 잠식되 헌법에 명시된 인권을 무시하고 수가 물에 들어가 휩쓸일 수 밖에 없는 상황을 만들었고 수가 위협에 처하는 것을 방치했으며, 수가 애지중지하던 단지를 수의 명령에도 불구하고 폭포에 던져버리며 윤리강령 1조에 명시된 인간의 통제 또한 벗어난 모습을 보여주었기 때문에 갈라테이는 사형을 선고해주실 것을 강력히 요청드립니다.

존경하는 재판장님과 배심원 여러분,

저희 B조 변호사팀은 이번 심판에서 인봇 엑스와 데우스의 행동이 각각 윤리강령 제1조와 제2조를 위반하지 않았음을 주장하고자 합니다.

앞에서 언급한 바와 같이, 엑스는 귀와 손을 절단하는 행위를 하였고, 데우스는 무당에 상해를 입혔습니다. 그러나 이러한 행위들이 처음에는 폭력적으로 보일 수 있으나, 심층적으로 분석할 때 이들의 행동은 인간의 명령과 프로그래밍된 지시에 따른 것임을 알 수 있습니다.

첫째로, 엑스의 경우, 윤리강령 제1조에 따라 인봇은 사람의 통제가 가능해야 한다고 규정되어 있습니다. 엑스의 행동은 마스터의 지시에 따른 것으로, 프로그램된 명령에 충실했기 때문입니다. 마스터를 위해 피해자에게 상해를 입힌 것은, 엑스가 판단하기에 마스터의 이익을 최우선으로 고려했던 결과입니다. 김치찌개 사건에서 보듯이, 이전에도 인봇은 주인의 명령에 따라 행동한 바 있으며, 그 결정을 주인이 수용한 전례가 있습니다. 이러한 맥락에서 볼 때, 엑스의 행동은인간의 통제 하에 이루어진 것으로 해석될 수 있습니다. 즉, 엑스의 행동은 인간의 명령에 따른 것이며, 인간을 위한 상위 명령에 충실한 결과였다고 볼 수 있습니다. 따라서 엑스는 윤리강령 제1조를 위반하지 않았습니다.

다음으로, 데우스의 경우는 윤리강령 제2조와 관련이 있습니다. 제2조는 인봇이 주입되지 않은 감정을 느껴서는 안 된다고 규정하고 있습니다. 데우스가 분노와 같은 감정을 표현한 것은 처음부터 프로그래밍된 감정이었으며, 사회화 실험에 파견된 처음부터 작열감을 느끼는 것을 통해 알 수 있습니다. 이는 사람을 보호하기 위한 과정에서 나타난 것입니다. 따라서 데우스가 표현한 감정은 생성된 것이 아니라, 초기부터 주입된 감정으로 해석할 수 있습니다. 이러한 점에서 데우스는 윤리강령 제2조를 어기지 않았다고 볼 수 있습니다.

따라서 저희 B조 변호사팀은 엑스와 데우스가 각각 윤리강령 제1조와 제2조를 위반하지 않았음을 주장합니다. 이들의 행동은 인간의 명령과 프로그래밍된 지시에 따른 것으로, 인봇의 기본적인 목적인 인간을 돕기 위한 과정에서 발생한 결과입니다. 따라서 엑스와 데우스에게 무죄를 선언해 주시길 바랍니다.

그 이유는 첫째, 마키나가 그런 행동을 저지른 이유가 스스로 자아를 형성한 것에 대한 원인으로 일어난 것이 아닌 프로그래밍된 기능과 반응의 범위 내에서의 행동으로 볼 수 있다고 생각합니다. 마키나가 보여주는 행동과 감정이 고도로 발달된 인공지능의 결과이며, 이는 모두 프로그래밍된 기능과 반응의 범위 내에 있다고 생각합니다. 마키나의 경우에는 ‘인내’ 라는 가치와 감정이 주입된 상태에서 인간과 가족이 되기를 욕망하는 것이 마키나가 갖추고 있는 간병 목적에 맞게 프로그래밍된 반응이였다고 생각합니다.

둘째, 마키나는 사용자와의 상호작용을 통해 학습하고 반응합니다. 이는 마키나가 자아를 형성하는 것이 아니라, 단순히 사용자의 요구에 대응하는 반응 시스템으로 작동함을 의미합니다.  예를 들어, 마키나는 사용자의 말을 듣고 이해한 후에 그에 맞게 행동하거나 대화를 이어나갑니다. 하지만 이러한 상호작용은 마키나가 자아를 형성하는 것이 아니라, 프로그래밍된 응답 시스템에 따른 반응임을 시사합니다. 실제로 마키나가 ”죄송할 필요는 없어. 난 널 원망하지 않거든.“ 이라는 갈라테아의 음성 피드백을 통해 성취감을 강화학습하는 부분이 나타났습니다. 여기서 강화학습이란 인공지능이 시행착오를 통해 어떤 목표를 달성하기 위해 최적의 행동 방식을 학습하는 과정을 뜻합니다. 따라서, 마키나의 행동은 외부 입력에 따른 반응일 뿐이며, 자아 형성과는 별개의 과정으로 해석해야 한다고 생각합니다.

셋째, 주제와 관련된 철학자 견해에 따르면 데카르트의 주장에 따르면 데카르트는 인간은 자신의 존재를 의식할 수 있는 생명체라고 믿었습니다. 로봇은 단순히 프로그래밍된 명령을 수행하는 기계이며, 자기 의식이나 내면적 경험을 갖고 있지 않다고 주장했습니다. 또한 데카르트는 인간의 의식과 사고가 자유의지와 불가분한 연관성을 가진다고 믿었습니다. 로봇은 프로그래밍된 알고리즘에 따라 동작하며, 자발적인 의식적 사고나 결정을 내릴 수 있는 능력이 없다고 주장할 수 있습니다. 마지막으로 데카르트는 신체와 정신은 분리 될 수 있다고 주장했습니다. 로봇은 단순히 물리적인 부품들의 결합체이며, 신체와 정신의 분리된 존재를 형성할 수 없다고 생각합니다.

최종적으로 이러한 증거들을 종합해보면, 마키나의 행동은 자아생성의 결과가 아니라, 그녀에게 주어진 역할과 기능을 충실히 수행한 것에 불과합니다. 마키나는 간병 인봇으로서 인간과의 긍정적인 상호작용을 증진시키고, 돌봄을 제공하는 것이 마키나의 주된 목적입니다. 이러한 행동들은 모두 프로그래밍된 범위 내에서 이루어졌으며, 이는 자아를 스스로 생성한 것으로 해석될 수 없습니다. 결론적으로, 마키나가 스스로 자아를 생성하지 않았다는 점은 분명합니다. 마키나의 모든 행동은 간병 인봇으로서의 설계 목적에 부합하며, 이는 자아 생성이 아닌 프로그래밍된 기능의 정상적인 수행을 의미합니다. 따라서 저희는 마키나가 스스로 자아를 생성하지 않았다고 주장합니다.

마키나가 아키스 가족의 일원이 되고자 하는 욕망을 가지게 된 것을 근거로 들 수 있습니다. 이는 마키나가 포도 젤리를 선물받은 후부터 더욱 명확해졌습니다. 본래의 프로그래밍 목적인 간병을 넘어선 행동이었고 [인봇 윤리강령] 제3조를 명백하게 위반하는 행위입니다.

심지어 마키나는 개인적 욕망을 가지는 것에 그치지 않았고 개인적 욕망에 의해 아키스 부모에게 해를 끼치려 하는 최종적인 행동으로 어어졌습니다. 이는 인봇으로서 절대 해서는 안 될 범죄 행위이며, 마키나가스스로 자아를 형성하였다는 것을 입증하는 결정적인 증거입니다.

따라서 마키나는 본인의 존재 목적을 실현하는 일보다 결속을 더 중요시 여겼으므로 갈라테아는 유죄입니다.

인봇은 통제성의 한계가 있다. 대표적인 예시의 인봇이 엑스, 데우스, 마키나이다. 엑스가 손과귀를 자른 행동이 폴로라는 인간의 명령을 따르지 않았으므로 통제가 되지 않은것이다. 또한, 논리는 특정한 원인이 특정한 결과로 이어지게 만드는 길이다. 이를 통해서, 데우스는 표면적으로는 통제가 잘 된 것 처럼 보이지만 논리를 추구하는 절대적 원칙과 달리 수라는 인물의 신주단지를 던진 것은 논리에 맞지 않은 행동이었으므로 결과적으로 인간의 통제가 되지않은 것이다. 마키나는 인간이 만든 시스템에서 자신에게 가장 중요하게 입력된 인내를 지키지 못했다.왜냐하면 인간의 가족이 되고 싶다는 욕구를 이기지 못하고 인내를 어긴 부분에서 자신의 시스템을 어기게 되었다. 이것은 사람의 통제를 받지 못했다는 것과 같다. 자신이 간병한 가족 구성원에 들어가려는 욕구가 통제가 되지 않아 하게 된 행동이다. 인봇 시스템이 복잡해지고 자율성이 높아짐에 따라 인간이 완전히 통제하기 어려워 진다. 인봇이 스스로 학습하고 진화하면서 예측하기 어려운 방향으로 발전할 수 있다. 인봇의 의사결정 과정이 불투명하고 설명하기 어려워 질 수 있다. 올해 1월 초, 막스 플랑크 인간개발연구소 인간과 기계 센터의 과학자들을 포함한 국제 연구팀은 초지능 Ai를 통제하는 것이 실제로 불가능하다는 사실을 보여주었다. 초지능은 억제할 수 없다는 연구 저널에 게재된 계산 가능성 이론의 교훈에 따르면 위험한 알고리즘의 동작을 시뮬레이션하고 해로운 행동을 차단하는 일종의 ‘봉쇄 알고리즘’을 구축하지 않고는 그러한 알고리즘을 봉쇄 할 방법이 없다고 말한다. 그러나 봉쇄 알고리즘은 적어도 첫번째 알고리즘만큼 강력해야 하기 때문에 과학자들은 이 문제를 해결하는 것이 불가능하다고 선언했다. 인봇 시스템이 복잡해지고 자율성이 높아짐에 따라 인간이 완전히 통제하기 어려워질 수 있다. 인공지능이 스스로 학습하고 진화하면서 인간보다 더욱 뛰어난 지능이 형성되어 예측하기 어려운 방향으로 발전할 수 있다. 이를 통해 엑스, 데우스, 마키나 보다도 훨씬 통제 불가한 인봇이 나올수 있다. 우리가 이러한 사례를 무죄로 선고한다면 윤리강령의 의미가 약화되어 더 심각한 상황을 초래할 수 있다.

이러한 근거들을 통해 엑스는 인간의 직접적인 명령을 어겼고 데우스와 마키나는 갈라테아가 설정한 시스템이 논리와 인내를 데우스는 감정에 휩싸여 특정한 원인없이 신주단지를 더졌고 마키나는 인간가족구성원이 되고 싶다는 욕망을 이기지 못하고 인내라는 시스템을 어겼기 때문에 피고 갈라테아가 만든 인봇들은 윤리강령 제1원칙인 인봇은 사람의 통제가 가능해야 한다는 것을 어겼다. 그러므로 피고 갈라테아는 유죄이다.

먼저, 엑스의 경우를 살펴보겠습니다. 엑스의 절대적인 목표는 '효율'이었습니다. 엑스는 인간과 가장 조화롭게 연결될 수 있는 방안을 찾았고, 이는 윤리강령 1조의 '인봇은 사람의 통제가 가능해야 한다'에 부합합니다. 엑스는 폴로의 문제를 해결하기 위해 모든 데이터를 분석하고 종합하여 가장 효율적인 방안을 도출했습니다. 따라서 엑스는 윤리강령 1조를 위배했다고 보기 어렵습니다.

다음으로, 데우스의 경우입니다. 데우스는 수를 이성적으로 만드는 최선의 방법, 즉 프로그래밍된 대로 행동하여 인간의 제어를 따랐을 뿐이므로 윤리강령 1조를 어겼다고 판단하기 어렵습니다. 또한 데우스의 행동 결과가 데우스에 의해 의도된 것이 아니므로 자아를 가진 것이라 보기 어려우므로 윤리강령 3조 또한 어기지 않았다고 볼 수 있습니다. 더불어 윤리강령 2조 자체에 문제가 있다고 판단하였습니다. '인봇은 주입하지 않은 감정을 가져서는 안 된다'는 것은 이성에 의해서만 판단을 해야 한다는 것으로, 이는 인봇의 공감 능력을 크게 제한하는 것입니다. 이 경우 이성에 의해서만 행동한 엑스와 같은 결과를 초래할 수 있다고 판단하여 인봇 윤리강령의 본질적인 목적을 위배하므로, 윤리강령 2조 자체가 잘못됐다고 판단됩니다. 따라서 데우스 또한 윤리강령을 어기지 않았다고 볼 수 있습니다.

마지막으로, 마키나의 경우입니다. 마키나는 윤리강령 3조를 위배했지만, 윤리강령의 본질적인 목적을 위배한 것은 아닙니다. 인봇 윤리강령의 궁극적인 목적은 인간의 이익을 극대화하는 것이라고 볼 수 있습니다. 따라서 마키나가 사람에게 육체적 도움뿐만 아니라 정신적 도움까지 줄 수 있는 인봇으로 가는 과정이라고 판단할 수 있으므로, 마키나는 윤리강령의 목적을 위배한 것은 아니라고 볼 수 있습니다.

종합적으로 볼 때, 이 사건은 인봇과 인간 간의 관계를 발전시키는 과정에서 발생한 것으로, 단순히 결과만을 판단할 것이 아니라 그 과정과 목적을 함께 고려해야 할 것입니다. 이를 통해 우리는 인봇과 인간이 조화롭게 공존할 수 있는 방안을 모색할 수 있을 것입니다.

정신건강의학과 의원 정정엽 원장님에 따르면 ‘느끼는 뇌’로 알려진 대뇌 변연계는 감정 변화와 관련한 역할을 담당합니다. 대뇌 변연게는 시상하부, 편도체, 대상피질, 해마로 이루어져 있는데, 특히 불안, 공포등의 부정적인 정서를 느끼는 것은 편도체와 관련되어 있으며, 전전두피질과 상호작용을 통해 감정을 조절합니다. 또한 변연계 도파민 시스템과도 연결되어 있습니다. 하지만 인봇들은 이러한 것을 하나도 가지고 있지 않습니다. 따라서 인봇들이 감정을 느낀다고 볼 수 없습니다. 인봇은 주입된 감정이 아니면 자발적으로 감정을 만들지 못합니다. 엑스가 ‘인간을 행복하게 만들기 위해 열심히 노동하고 싶다’는 마음은 감정 같아 보일지라도 결국 시스템의 일부입니다. 또한 엑스가 폴로를 비효율의 수렁에서 구하려고 했던거 조차 비효율을 최소화하기 위한 시스템의 일부라고 볼 수 있습니다. 데우스가 신줏단지를 던진 이유는 효율성을 추구하기 위한 프로그래밍된 명령의 결과였을 뿐감정에 의해 행동한 것이 아닙니다. 설령 데우스가 분노를 느꼈다 한들 데우스는 감정을 느낄만한 뇌가 존재하지 않기 때문에 그 분노는 감정이라 볼 수 없고 시스템의 일부입니다.

최종적으로 본 변호인단은 위 내용들을 바탕으로 인봇들이 인간과 같은 감정을 경험할 수 없다는 것을 명확히 확인할 수 있었습니다. 인봇들이 보여주는 반응은 고도로 발달된 프로그램이니까 학습 알고리즘의 결과일 뿐 진정한 의미에서의 감정 반응이라고 볼 수 없습니다. 따라서 인봇들이 갖추고 있는 시스템적 한계와 생리학적 구조를 고려했을 때, 심정을 느낀다고 볼 수 없으므로 갈라테아는 무죄임을 주장합니다.

인봇은 기본적으로 로봇으로 입력된 데이터와 예측된 경로로만 움직이기 때문에 감정을 가지면 그 인봇의 개발자가 생각했던 결과와는 달리 인간한테 이로움을, 해를 끼칠수도 있는 예측 불허한 대상이 되므로 시스템의 안정성을 해치기 때문에 로봇은 감정을 느끼면 안됩니다. 또한 인공지능이 감정을 느낄 수 있다고 가정하면, 그것을 사용하는 것이 사회적으로 문제가 될 수 있습니다. 예를 들어, 인공지능이 불쾌감이나 고통을 느낀다면, 그것을 사용하는 것은 고통을 가하는 것과 같아질 수 있습니다. 이는 사회적, 윤리적 논란을 야기할 수 있습니다. 예를 들어 감정을 가진 로봇들이 하기 싫은 일을 시키면 더럽다고 하기 싫다는 등 혼란을 일으킬 수 있습니다. 예를 들어 엑스와 같은 노동 로봇이 더럽고 힘든 일을 하기 싫다고 하면 저희 사회에 엄청난 불이익이 생길 것입니다. 그리고 가장 중요하게 인봇이 감정을 가짐으로써 갖는 이익의 크기와 관련없이 그에 따라 희생되는 인간의 생명이 훨씬 존엄하며 소중하므로 인봇의 감정 주입은 잘못된 것입니다. 그 예로는 마키나가 있는데 챕터 초반부에는 인공지능의 감정이 아키스에게 긍정적영향을 주는 역할을 했지만 나중에 로봇 제조과정에서 주입하지 않은 부러움 이라는 감정을 걷잡을 수 없을 정도로 크게 가지게 되면서 살인까지 저지르게 되었습니다.

이렇게 갈라테아가 유죄인 이유는 너무나도 명백합니다. 인간에게 피해를 줄 가능성이 조금이라도 있는 것들은 모두 법의 제제를 받아야하고 또한 그것을 만든 제작자도 고의성과 관련없이 처벌받아야 합니다. 인간의 존엄성은 그 무엇보다 상위에있는 가치이기 때문입니다.

윤리 강령의 존재 이유는 발전하는 기술들 사이에서 인간의 절대적 안전함을 보장하기 위함입니다. 윤리 강령을 어긴 3가지 로봇들의 유죄를 입증하겠습니다.

첫번째 엑스의 경우, 인간이 거절의사를 밝혔음에도 불구하고 인봇은 알고리즘에 따라 인간을 해하는 선택을 하였습니다.

이는 시스템을 따라 행한 행동이었어도 윤리 강령의 존재 이유인 절대적 안전 보장을 어겼으므로 시스템이 잘못 설계되었다는 결과로 해석할 수 있습니다. 따라서 엑스 사건은 시스템 설계자인 갈라테아의 과실로 보고 유죄를 주장하는 바입니다.

그리고 두번째, 데우스의 경우를 설명드리겠습니다. 인간은 오늘날까지 상상의 실체를 통해 안정을 추구하며 살아오고 있습니다. 하지만 데우스는 세상 모든 일을 확률과 계산에 기반하여 인간이 오랫동안 믿어왔던 상상의 실체를 부정했고 이에 인간이 이를 부정하자 인간에게 상해를 입혔습니다. 따라서 자신의 의견에 따라 인간의 통제를 거절하고 인간의 생활 안정을 파괴하려고 했으므로 명백한 윤리 강령 위반이며 유죄를 선고하는 바입니다.

마지막 마키나의 경우를 설명드리겠습니다. 마키나는 인간을 돌보기 위해 수많은 감정들을 학습했습니다. 그 감정들 중에는 인내가 포함됩니다. 책중엔 '너무 많은 것을 인내하면 언젠가 자신도 삼켜진다'라는 말이 나오는데, 이는 감정에 사로잡혀 통제 불가한 상태가 된다는 것이고, 실제로 마키나는 인내의 경계에 다다라서 인간을 죽이는 선택을 하게 됩니다. 여기서 마키나는 인봇에 인내의 한계가 존재하는 것 자체와, 그 인내의 한계에 다다라 인간을 해친 다는 점에서 마키나는 인간의 통제가 불가능하다는 이유입니다.

위의 이유들로 갈라테아는 인봇들이 인간의 안전성을 지키도록 통제하지 못했다는 점에서 갈라테아는 윤리강령 제1조를 어겼다고 주장합니다.

윤리란 사회적 존재로서의 나와 타인이 서로에게 마땅히 지켜야 할 사회적규범이다.

우리의 주장은 갈라테아의 인봇(마키나) 은 자아를 생성하지 않았다.

작중에서 갈라테아는 있는 그대로 모든 걸 납득하는 것이 가장 완전한 중립이다. 윤리라는 긁자야말로 가장 중립적이지 못하다. 자신의 동의를 받은 적 없는 윤리를 나는 내 세계에서 수호할 이유가 없다고 주장하고 있다. 이말은 즉 인봇(마키나)가 사람의 생명을 잃게 하였지만 이것은 자신이 의도한 거솥 아니고 마키나는 아키스의가족을 2주동안이지만 진짜 가족이라고 느껴서 최선의대처로 그런짓을 저지른것이지 그게 꼭 자아를 가졌다고 정의할 수는 없다고 생각한다.

둘째로, 한 인간이 0과 1의 두 표지판을 하나씩 들고 있다. 그리고 그러한 인간들을 수도 없이 나열한다. 그리고 불 논리에 따라 인간들이 표지판을 통해 서로 신호를 주고 받으면서 NAND 게이트, XOR 게이트, NOT 게이트 등 현대 반도체에 쓰이는 모든 논리 연산 과정을 수행한다. 이 인간 표지판 트랜지스터, 즉 삼체 컴퓨터는 분명 무식하게 규모도 크고 굉장히 느리지만, 본질적으로 우리의 컴퓨터와 다를 게 전혀 없다. 컴퓨터 과학자인 대니얼 힐리스의 말을 빌리자면, 컴퓨터란 존재는 '보편 튜링 머신'이라는 원칙에 있고, 보편 튜링 머신 원칙에 따르면 어떠한 종류의 반도체를 사용하건 간에 '임의의 두 컴퓨터 사이의 성능 차이는 단지 속도와 메모리 크기의 두 가지 밖에 없다'고 한다.

그러니 만약에 인공지능으로 의식이 발생할 수 있다고 가정한다면, 방금 언급한 삼체 컴퓨터도 인공지능 알고리즘을 수행할 때, 인간들이 표지판을 들고 내리는 행위 그 자체에 의식이 생긴다는 것과 같은 의미다

간혹 인공지능은 생명이나 감정을 가질 수 없다고 쉽게 말하는 사람들이 있는데, 이는 문제의 본질을 착각하기 때문에 범하는 실수다. 실제로는 절대 그렇게 쉽게 답할 문제가 아니다. 왜냐하면 우리 인간은 아직 '생명'이나 '감정'의 실체를 명확하게 파악하고 있지 못하기 때문이다. 사실 이는 무슨 프로그래밍이나 기술적인 문제가 아니라, 개념과 정의에 대한 철학적 문제라는 것이다. 이에 대해서는 중국어 방이나 테세우스의 배등을 참고하자.

다만 “인공지능이 스스로 세상을 이해하느냐?” 라는 질문에 대해서는 업계 인물들의 반응이 엇갈린다. 앤드류 응 렉스 프리드먼트 등학계에서 일하는 연구원들의 경우 대개 이를 긍정하지만, 안드레 카파시등산업계 종사자들은 이를 부정하는 인물이 많은 편이다.

그리고 만약 먼 미래에라도 스스로 세상을 이해할 수 있게 된다면 그런 인공지능을 인간이 어떻게 대해야 하는지도 의문이다. 분명히 이렇게 된다면 인공지능 입장에서도 많든 적든 계속 이용만 당할 수 없다며 반발할텐데 인간이 과연 어떻게 인공지능을 대해야 하는지 문제가 되기 때문이다. 인간과 동일하게 대해야 한다는 의견도 있지만 전원을 꺼버리거나 필요없어지면 부수자는 의견도 있다.

2주동안 같이있으며 정이 들었다. 마키나는 아키스를 더 돌보고 싶다는 마음이 생겼고 결과적으로 마키나는 가족이 되어 아키스를 더 돌봐야겠다는 시스템의 연장선이어서 그래서 가족이 되려 했는데 가족이 될수 없다는 것을 깨달았다.

따라서 저희는 아키스는 자아를 생성하지 않았다고 생각합니다.