지난 10월경 외국인는 범죄조직으로부터 한국을 여행 중이던 딸이 방 안에 감금된 채 울면서 살려달라고 하는 영상을 받았다. 범인은 “당신 딸을 납치했다, 딸을 살리고 싶으면 합의금을 보내라.”라고 부모를 협박했다. 부모는 이 사실을 영사관에 알렸고, 영사관에서는 한국 경찰에 신고했으며 범인을 잡았다 이것은 딥페이크로 만든 가짜 영상 이었다

🎯 목적:

• 힐러리 클린턴의 신뢰도 하락

• 도널드 트럼프에 유리한 여론 조성

🛠️ 수법:

• 러시아의 인터넷 리서치 에이전시(IRA)가 수천 개의 가짜 계정, 봇, 페이스북 페이지 운영

• AI 기반 알고리즘으로 정치적 분열을 조장하는 콘텐츠 제작 → 타겟 광고로 유포

• 딥페이크는 아니었지만, 포토샵된 이미지 + 조작된 뉴스 다수 사용

💥 결과:

• 1억 명 이상에게 콘텐츠 도달

• 정치 불신 확대, 진영 갈등 격화

이후 6월 2000명이 넘는 AI 연구원, 학자, 학생들이 해당 연구가 네이처에 출판되는 것을 반대하는 서명을 냈다. 얼굴 생김새로 범죄 여부를 판단하는 것 자체가 차별적이라는 이유에서다. 결국 대학은 연구 개요를 설명하는 보도자료를 삭제하고 논문을 업데이트할 예정이라고 발표했다.
 

전기통신금융사기 통합신고대응센터

https://www.counterscam112.go.kr/bbs002/board/boardDetail.do?pageIndex=1&pageUnit=10&pstSn=5&searchCondition=1&searchKeyword=

사람들은 이것을 이용하여 사람들의 얼굴이나 다른 것을 감쪽같이 변형해서 유포한다. 이런 행동들은 하나의 범죄에 포함이 된다.

• 이 AI는 예전 데이터를 보고 "과거에 남성들이 더 많이 뽑혔으니까 남성이 더 적합해"라고 잘못 배운 거예요.

• 그 결과, 여성 지원자들의 이력서를 낮게 평가하는 일이 생겼어요.

• 결국 회사는 이 AI 채용 시스템을 중단했어요.

기사 링크: https://www.seoul.co.kr/news/society/accident/2025/04/07/20250407500038서울신문

미국 아틀란타에서 18년 전 사망한 딸의 이름과 졸업 사진이 악용되어서 AI 챗봇 "'비디오게임 저널리스트이자 기술, 대중문화, 저널리즘 전문가'인 AI 캐릭터로 표현돼 있었다. 캐릭터. ai 이라는 사이트에서는 사진과 이름을 넣어 이용자가 직접 챗봇을 만들어 다른 사람과 소통할수있다. 앞으로 이러한 AI 악용들이 늘 가능성이 놓다.

링크: https://www.hankyung.com/article/2024101691907

-최근 발전한 AI를 이용하여 딥페이크 뿐만 아니라 목소리 톤, 억양까지 따라해서 돈을 요구하는 전화를 거는 딥보이스 피싱이 증가하고 있다. 사람들은 다른 사람의 목소리가 들리거나 문자만 오는 보이스피싱은 많이 알고있지만, 딥보이스 피싱은 주변 지인들의 목소리가 진짜라고 생각하는 경우가 더 많기 때문이다.

출처https://view.asiae.co.kr/article/2025022810270795470

30년 경력의 미국 변호사 스티븐 슈워츠가 법원에 제출한 서류에서 인용한 판례들이 챗GPT를 통해 생성된 가짜 판례로 드러나 논란이 발생했다. 이에 따라 뉴욕 맨해튼 연방 법원의 케빈 카스텔 판사는 슈워츠 변호사에 대한 제재 여부를 논의하기 위해 청문회를 예정했다. 문제가 된 사건은 엘살바도르에서 뉴욕으로 향하는 비행기에서 승객이 다친 후 항공사를 상대로 제기한 소송이다. 슈워츠는 공소시효가 지난 항공사의 기각 요청에 맞서 여러 판례를 인용했으나, 이 중 최소 6건이 실제로 존재하지 않는 허구 판례로 확인됐다

사례 설명: AI가 탄생하고난 2주후 터키 대통령 선거가 열렸다. 당시 에르도안 대통령은 자신의 지지자들에게 터키의 분리주의 단체 PKK가 상대방인 클르츠다로을루 후보를 지지하는 노래를 부르는 영상을 보여주었다. 하지만 그것은 AI가 만든 가짜 영상이었고 클르츠다로을루 후보는 배후에 러시아가 있다고 비난했다. 결국 아르도안 후보가 대선에서 승리해 30여년 장기집권의 서막을 열었다.

요약

AI로 대통령이 클르츠다로울루 후보 지지하는 노래 만듬. 대통령 지지 떨어짐

출처 : 인더스트리뉴스(http://www.industrynews.co.kr)

인공지능 (AI)은 우리 삶에 편리함을 가져다주고 있다. 하지만 악의적인 범죄에도 다양하게 사용되고 있다. 특히 악의적인 목적으로 사용될 수 있는 민감한 정보를 사람들이 공개하도록 속이는 행위인 피싱이나 합성 이미지, 비디오 및 오디오인 딥페이크는 엄청난 재산피해를 불러일으키기도 했다. 또한 신상을 털고 감시하는 것은 온라인에서 누군가에 대한 개인정보를 공개하는 행위이다. 이는 AI 언어 모델이 개인 데이터를 포함한 많은 양의 인터넷 데이터를 학습하기 때문에 벌어난 일이다.

딥페이크는 단순히 재미와 유머 목적으로 만든것이였지만,딥페이크를 사용해 협박하고,가짜 뉴스를 퍼트려 혼란을 주는 용도로 자주 사용해서 문제가 되고 있다. 왜 이런걸까?

딥페이크의 원래 목적: 딥페이크의 원래 목적은 가짜 돈을 더 잘 구분하고, 이미지를 정교하게 편집하고, 실감나는 영상을 만들기 위해 사용되었다

딥페이크 악용: 분명히 좋은 목적으로 만든것이였지만 이 딥페이크 때문에 많은 사람들이 피해를 보고 있다. 하지만 가해자 퍼벌은 커녕 범인도 잡이 못한다. 이 심각한 부작용 때문에 딥페이크를 없애자와 사용용도를 바꾸자로 의견이 많이 갈리고 있다.

결론: 분명 좋은 목적으로 만든것인데 ai가 너무나 발전하여 피해를 보는 사례가 너무 많이 나온다. 과연 이런 빠른 ai발전이 정말 필요할까?

출처:https://spri.kr/posts/view/23469?code=data_all&study_type=&board_type=industry_trend

-요약: 현재 생성형 ai의 유행이 증가하면서, 딥페이크가 커다란 흥행이 되어가고 있다. 하지만 이것또한 문제가 많다는 주장과 실제로 논란이 될만한 성적인 사진등을 올리는 등 여러가지 문제가 적발되어 가고 있다. 또, 딥보이스로 보이스피싱을 해 문제가 일어나고 있다.

최근 뉴스 브레이크의 가짜 기사 사건이 미국 정치권에 다시 소환된 것은 이 앱이 사실상 중국 인력과 기술, 자본으로 운영된다는 사실이 언론 보도로 드러났기 때문이다. 이에 미국 의회에선 이 앱에 대한 정부 차원의 조사를 촉구하는 목소리가 나오고 있다. 특히 AI는 스스로 가짜 뉴스를 생산하고도, 이것이 진실인지 아닌지 판단하지 못한다. AI가 생산하는 뉴스 콘텐츠의 진실성에 대한 근본적 의문이 제기되는 것이다. https://www.chosun.com/economy/tech_it/2024/06/11/OQQJM3JH4JFNBLTTUTBZQBOXWE/

다른 사례로는 마케팅회사에서 AI로 이스라엘 군을 칭찬하는 글을 올리고 전쟁에 관련된 가짜뉴스를 만들어 냈다고 한다.

요약:피해자 사진·영상이 널리 유포된 것으로 보이고, 불특정 다수가 (불법촬영물을) 이용해 합성 성범죄물을 제작, 재유포하는 등 2차 피해도 심각하다”고 우려했다.이러듯 딥페이크를 악용하여 쓰면 안된다.

출처:https://www.hani.co.kr/arti/society/women/1173459.html

탄원서에는 '고양시 발전에 기여', '헌신적 노력', '다양한 프로젝트와 활동' 등 긍정적인 표현이 등장했지만 정작 피고인이 어떤 활동을 했는지에 대한 구체적인 언급은 없었다.

또 '누구도 선뜻 나서지 않았던 당내 불미스러운 일조차 정의라는 명목으로 홀로 싸우기도 하고'라는 다소 생뚱맞은 내용이 기재됐다.

탄원서를 검토하던 정기훈 검사(사법연수원 44기)는 문장이 번역문처럼 자연스럽지 못해 AI로 생성한 문서가 아닌지 의심해 문서의 진위를 확인하기 위해 수사에 착수했다.

수사 결과 해당 탄원서는 챗지피티를 이용해 조작된 것으로 밝혀졌다. 구치소에 있던 A씨로부터 탄원서 조작을 부탁받은 지인이 B씨의 명함을 참고해 '고양시 체육회, 공익활동, 당내 경선 문제 해결' 등 키워드를 넣어 탄원서를 만들었던 것으로 드러났다.

출처:https://news.mt.co.kr/mtview.php?no=2024020717073435618