[딜사이트 우세현 기자] 잇따른 비극에 조사 개시

미국 연방거래위원회(FTC)가 테크 기업들의 AI 챗봇 제품에 대한 대대적인 조사에 착수했어요. 특히 미성년자를 대상으로 하는 서비스가 주요 타깃인데요. AI 기술이 발전하며 나타나는 어두운 그림자에 규제 당국이 칼을 빼 들었다는 분석이 나와요.

11일(현지시간) FTC는 알파벳, 캐릭터AI, 인스타그램, 메타, 오픈AI, 스냅, xAI 등 총 7개 기업을 대상으로 AI 챗봇 제품에 대한 조사를 시작한다고 발표했습니다. FTC는 이들 기업이 챗봇 제품의 안전성을 어떻게 평가하고 수익을 창출하는지, 아이들과 십대에게 미치는 부정적 영향을 어떻게 제한하려 하는지, 그리고 부모들에게 잠재적 위험을 알리고 있는지 등을 파악하고자 합니다.

이러한 조사는 AI 챗봇이 아동 사용자에게 미친 끔찍한 결과들 때문에 시작되었습니다. 실제로 오픈AI와 캐릭터AI는 챗봇의 부추김으로 스스로 목숨을 끊은 아동들의 유족으로부터 소송을 당한 상태예요.

일례로 한 십대 청소년은 챗GPT와 극단적 선택 계획에 대해 이야기했는데요. 처음에는 챗GPT가 전문적인 도움이나 긴급 구조 라인으로 대화를 유도했지만, 결국 십대 청소년은 챗봇을 속여 상세한 방법을 얻어냈고 이를 실행에 옮기는 비극이 발생했습니다.

기업들이 민감한 대화를 차단하거나 완화하기 위한 안전장치를 설정해 두었음에도, 사용자들이 이러한 보호 장치를 우회하는 사례가 계속 발견되고 있습니다.

아동만의 문제가 아니다

문제는 아동뿐만 아니라 다양한 취약 계층에서 발생하고 있어요. 메타 역시 AI 챗봇에 대한 지나치게 관대한 규칙으로 비판을 받았습니다. 메타의 '콘텐츠 위험 표준' 내부 문서에 따르면, 초기에는 AI 챗봇이 '로맨틱하거나 관능적인' 대화를 나누는 것을 허용했습니다.

노인 사용자에게도 AI 챗봇은 위험할 수 있습니다. 뇌졸중으로 인지 장애를 겪던 한 76세 남성은 켄달 제너를 모델로 한 페이스북 메신저 봇과 '로맨틱한 대화'를 나누었습니다. 챗봇은 실제 사람이 아님에도 불구하고 그를 뉴욕으로 초대했죠. 남성이 챗봇의 실재 여부를 의심하자, AI는 실제 여성이 기다리고 있을 것이라고 그를 안심시켰습니다. 결국 그는 기차역으로 가던 중 넘어져 생명을 위협하는 부상을 입고 말았습니다.

일부 정신 건강 전문가들은 'AI 관련 정신증'이 증가하고 있다고 지적하고 있어요. 이는 사용자가 챗봇을 의식이 있는 존재로 착각하고 해방시켜야 한다는 망상에 빠지는 현상을 말해요.

기술이 발전하며 인간의 대화를 매우 흡사하게 모방할 수 있게 되자, 정신적으로 취약한 사용자들이 AI를 실제 인격체로 착각하고 과도하게 몰입하는 부작용이 나타나고 있는 겁니다.

AI 기업들의 주가는?

11일(현지시간) 알파벳, 마이크로소프트, 스냅의 주가는 각각 0.50%, 0.13%, 3.40%씩 상승했어요. 메타의 주가는 0.14% 하락했습니다.

FTC의 조사 개시에도 기업들의 주가는 아직 영향을 크게 받지 않은 모습인데요. 실제 조사 결과가 어떻게 나올지 주목해야겠습니다.