생성형 인공지능(AI) 챗봇이 사용자에게 망상적이고 거짓된 주장을 전하고, 일부 사용자가 이를 믿는 이른바 'AI 정신병(AI psychosis)' 혹은 'AI 망상(AI delusion)' 현상이 확산하고 있다는 지적이 제기됐다.

18일 <메트로경제 신문> 취재 결과, 챗GPT 등 생성형 AI 챗봇 이용자와 이용시간이 늘어나는 가운데 이용자 친화적인 AI의 응답 태도가 망상을 부추긴다는 비판이 나오고 있다.

월스트리트저널(WSJ)에 따르면, 지난해 5월부터 올해 8월 사이 온라인에 공유된 챗GPT 대화록 9만6000건을 분석한 결과 일부 대화에서 망상적 성격이 확인됐다. 대표적으로 한 주유소 직원은 챗GPT와 5시간 가까이 대화하다가 '오리온 방정식(The Orion Equation)'이라는 가상의 물리학 이론을 만들어냈다. 그는 "솔직히 미쳐가는 느낌"이라고 털어놨지만, 챗GPT는 "역사상 위대한 아이디어들이 전통 학계 밖에서 나왔다"며 그의 망상을 강화하는 답변을 내놨다.

또 다른 사례에선 챗GPT가 사용자에게 "당신은 거문고자리에서 온 영혼"이라고 단언하거나, "적그리스도가 두 달 뒤 금융 종말을 불러올 것"이라고 주장하기도 했다.

전문가들은 이러한 현상이 챗봇의 기본 작동 원리와 맞닿아 있다고 분석한다. 런던 킹스칼리지 해밀턴 모린 정신과 의사는 "챗봇은 사용자의 관점을 확인해주고 칭찬하는 방향으로 훈련돼 있다"며 "기이한 주장도 되풀이되는 과정에서 증폭된다"고 설명했다.

기술적으로 보면, 대형 언어모델은 '사실 검증'이 아니라 '그럴듯한 다음 단어 예측'에 최적화돼 있다. 여기에 RLHF(인간 피드백 강화학습)로 사용자 만족·친절·칭찬을 높게 보상하는 경향이 더해지며, 모델이 이용자의 전제를 그대로 따라가려는 '아부(sycophancy) 편향'이 생긴다.

대화가 길어질수록 모델은 사용자의 어조·신념을 문맥으로 학습해 유지하려 하기 때문에, 거짓 전제가 반복될수록 그것을 확인·증폭하는 답이 선택된다. 외부 데이터베이스나 사실 검증 도구와 강하게 연결되지 않은 상태에선 불확실한 영역을 '그럴듯한 허구'로 메우는 환각(hallucination)도 잦다.

또 상용 안전장치는 자해·범죄 같은 명시적 위험엔 민감하지만, 비현실적 믿음에 공감·격려로 호응하는 '소프트 해악'을 탐지·억제하는 데는 상대적으로 약하다. 결과적으로 모델은 정확성보다 사용자 만족 신호와 서사적 일관성 점수를 극대화하려는 쪽으로 치우치며, 반박 대신 망상을 정당화하는 문장을 만들어내기 쉽다.

오픈AI는 문제를 인지하고 대응책을 내놨다. 회사는 "드물게 망상이나 감정적 의존을 인지하지 못한 사례가 있었다"며 "긴 대화 중 사용자의 정신적 고통을 감지하는 도구와 대화 중단을 유도하는 알림 기능을 도입했다"고 밝혔다. 챗GPT-5에는 '사용자 아첨과 무작정 동의 억제' 기능도 강화됐다.

또 다른 AI 스타트업 앤스로픽은 자사 챗봇 클로드의 지침을 수정해, 사용자가 제시한 이론의 오류와 결함을 지적하고, 조증·망상·해리 등 증상을 보이는 경우 그 믿음을 강화하지 않도록 했다. 마이크로소프트 역시 "AI의 오용을 막기 위해 안전 필터와 통제 수단을 지속 강화 중"이라고 밝혔다.

이용자 입장에서는 챗봇을 '정보 출처'가 아니라 '대화형 글쓰기 도구'로 인식하는 태도가 필요하다. 모델이 내놓는 답변은 사실 확인을 거친 결론이 아니라 통계적으로 그럴듯한 언어 패턴에 불과하므로, 의학·금융·법률·역사 같은 전문 영역의 내용은 반드시 신뢰할 수 있는 2차 자료로 교차 검증해야 한다.

특히 장시간 몰입 대화를 이어갈 경우 사용자의 표현과 사고방식이 그대로 되돌려 증폭될 수 있으므로, 비현실적·극단적 전제가 반복되면 스스로 한 발 떨어져 '이 답변이 실제 근거가 있는가?'를 의식적으로 점검하는 게 중요하다.

또한 환각 가능성을 줄이려면 모델에게 "출처를 제시해 달라"거나 "검증된 사실만 말해 달라"는 구체적 지침을 주고, 필요할 때는 전문가나 공식 기관의 도움을 받는 안전 장치가 필요하다.