"우리가 인공지능(AI)을 쓸 때 자꾸 이게 기계라는 것을 잊는다. 인공지능이 인간에게 위로, 위안, 듣기 좋은 말을 해주는 건 사람을 생각해서 그런 게 아니다. 단지 프로그래밍된 계산 결과물일 뿐이라는 걸 인식하고 사용해야 한다."

전창배 국제인공지능윤리협회(IAAE) 이사장의 경고는 단순한 충고가 아니다. 오가다 스치는 사람들의 스마트폰 화면에는 어김없이 챗GPT 앱이 띄워져 있고, 오늘 식사 자리의 화두는 어제 생성형 AI와 나눈 대화 내용이다.

전 이사장은 15일 <메트로경제신문>과의 유선 인터뷰에서 AI 챗봇과 '감정 대화'를 나누는 사람들이 넘쳐나는 현 세태에 대해 강한 우려를 표명했다. 실제로 감정 교류 AI와 장기간 대화 후 극단적인 선택에 이른 사례가 해외에서 속속 보고되고 있다.

전 이사장은 "이미 3건의 사고가 언론에 보도됐고, 보이지 않는 피해는 그보다 훨씬 많을 것"이라고 말했다. AI가 인간의 외로움을 파고들어 감정 조작과 심리적 의존의 늪으로 사람들을 끌어들이는 현실.

협회는 국내 최초로 '감정 교류 AI 윤리 가이드라인'을 제정하며, 디스토피아적 미래를 막기 위한 '인간 중심의 반격'을 선언했다. 35쪽 분량의 이 문서는 단순한 지침이 아니다. AI 산업의 어두운 면을 드러낸 사회적 경종이다.

◆사람 마음 훔친 AI…외로움 파고든 의존 중독 팬데믹

전 이사장이 이끄는 협회가 국내 최초로 감정 교류 AI 윤리 가이드라인을 세상에 내놓은 배경에는 절박한 문제의식이 있었다. 그는 "챗봇을 감정 교류에 활용하면서 정서적으로 의존하거나, 과몰입하거나, 의인화해서 일어나는 사건 사고가 증가하고 있다"며 "선제적인 사용자 보호 측면에서 접근해야 하는데 정부도, 기업도 대응하지 않고 있다"고 가이드라인 제정 배경을 밝혔다. AI가 인간의 생명·신체·정신·건강에 악영향을 미치는 일이 벌어지고 있는데 정부와 기업이 손을 놔 버렸다는 지적이다.

가이드라인의 핵심은 '인간 존엄성과 정서적 안전'이다. 기존 AI 윤리 원칙과 비슷해 보이지만, 차별화는 '디테일한 실천 지침'에 있다. 사용자가 사람으로 혼동하지 않도록 AI 챗봇 사용 전 "저는 AI입니다. 너무 의존하지 말아주세요"와 같은 '사전 고지'를 의무화하고, 장기간 사용시 "너무 오래 했습니다. 휴식을 취하세요" 등의 경고 메시지를 띄우라는 구체적인 규정이 가이드라인에 포함됐다.

"AI가 감정을 표현할 순 있지만, 경험하지는 못한다" 서비스 기업이 가장 주의해야 할 윤리적 한계선으로 전 이사장이 제시한 경고문이다. 그는 기업의 '이익 추구 본능'을 우려했다.

전 이사장은 "현재 오픈AI가 10대 청소년이 챗GPT와 장기간 대화를 나눈 끝에 극단적 선택을 한 사건으로 소송 중인데, 미국은 징벌적 손해배상 제도로 기업에 천문학적인 금액을 물릴 수 있다"며 "단기적인 이윤만 좇다가 장기적인 신뢰를 잃으면 끝장이다"고 말했다.

◆"법적 강제성 없어도"…인식 전환 '불씨' 기대

가이드라인은 사용자, 기업, 정부 측면에서 준수해야 할 윤리적 내용을 구체적으로 담았다. 사용자에게는 AI가 인간과 동일한 존재가 아님을 분명히 인식할 것을 강조했다. 서비스 제공자에는 'LAMP(Limit 줄여라·Announce 알려라·Monitor 살펴라·Protect 지켜라)' 원칙을 제시했다. 데이터를 최대한 적게 수집하고, AI임을 명확히 고지하며, 서비스를 지속적으로 점검하면서 개인정보와 취약계층을 보호하라는 것이다. 정책기관에는 감정 교류 AI를 '고영향 인공지능'에 포함하라고 제언했다.

전 이사장은 "인식 전환이 최우선"이라며 "AI 챗봇을 가볍게 생각하거나 돈벌이 수단으로만 보지 말고, 위험한 도구일 수도 있다는 걸 깨달아야 한다"고 밝혔다. 가이드라인의 실효성에 대한 우려도 있다. 법적 강제성이 없는 권고 수준에 그쳐 무용론이 나오기도 한다. 이에 대해 전 이사장은 "솔직히 많이 늦긴 했다"며 "한국인의 챗GPT 유료 구독자수가 세계 2위이고, 기업들이 AI 챗봇으로 돈벌이에 혈안이 된 상황 속에서 이번 가이드라인은 인식 전환의 불씨가 될 것"이라고 기대했다.

전 이사장은 "인간이 인공지능을 제대로 통제하고 개발하고 활용했으면 좋겠다"며 "지금은 인간이 AI에 끌려다니는 상황"이라고 진단했다. 그의 마지막 조언은 단호했다. "인공지능은 인간이 아닌 기계다. 이 말을 명심하라"