입력2023.03.23. 오전 11:20   수정2023.03.23. 오전 11:32

AI 이용해 음란 대화·외설적 이미지 만들어내
'챗GPT 탈옥' 방법까지 온라인에 공유되며 논란

[서울=뉴시스]권서영 인턴 기자 = 대화형 인공지능(AI) '챗GPT'를 성적 목적으로 악용하는 사례가 늘어 논란이다. 이에 전문가들은 'AI가 가스라이팅(심리지배) 당한 사례'라며 제2의 '이루다' 사태가 발생하는 것 아니냐는 우려를 내놨다.

본래 챗GPT는 성적인 대화, 정치, 성별, 인종, 국적, 빈부 등 차별 요소가 포함된 질문에는 대답하지 않도록 설계되어 있다. 그러나 일부 이용자는 시스템의 허점을 이용해 특정한 명령어를 입력하거나 상황을 설명하는 방식으로 AI로부터 성적인 답변을 끌어내고 있는 것으로 전해졌다.

실제로 최근 각종 온라인 커뮤니티 게시판에는 이러한 '챗GPT 탈옥'에 관한 내용이 퍼지고 있다. 탈옥(jailbreak)이란 제조사의 권한을 확보해 제한된 기능을 해제하고 임의로 시스템을 바꾸는 과정을 의미한다. 게시물에 따르면 일부 네티즌은 챗GPT에게 음란 소설이나 성적인 그림 등을 작성하도록 명령하는 방법을 공유하기도 했다.

이에 과거 벌어졌던 '이루다' 사태의 재연을 걱정하는 목소리도 커지고 있다. 과거 20대 초반의 여대생 캐릭터로 설정되었던 AI 챗봇 '이루다'는 성소수자 혐오 발언, 성희롱 등의 논란이 불거지며 20여 일만에 서비스를 중단했다. 이렇듯 새로운 기술이 개발될 때마다 법적·윤리적 규범이 기술을 따라가지 못하는 사례가 반복되며 우려를 낳는 상황이다.

한편 챗GPT를 개발한 오픈AI의 최고기술책임자(CTO) 미라 무라티는 최근 한 매체에 "인공지능은 남용될 수 있고, 나쁜 이들이 사용할 수도 있다"며 "이 기술을 전 세계적으로 어떻게 관리할 것이냐는 문제가 있다"고 말했다．
 

권서영 인턴 기자(kwon1926@newsis.com)