울산과학기술원(UNIST) 인공지능대학원이 360도 파노라마 이미지 1장만으로 실내 공간과 사물의 3차원 정보를 파악하는 AI 기술을 개발했다고 1일 밝혔다.

주경돈 교수팀이 개발한 AI 모델 'HUSH(Holistic Panoramic 3D Scene Understanding using Spherical Harmonics)'는 파노라마 이미지에서 공간 구조와 내부 물체의 3D 정보를 동시에 추출할 수 있다. 이 기술은 증강 현실(AR), 혼합 현실(MR), 디지털 트윈 등 공간 정보의 정확한 이해가 필수인 분야에 활용될 예정이다.

기존 AR이나 MR 기술에서 현실 공간과 디지털 콘텐츠를 결합하려면 벽이나 가구 위치, 물체 간 거리 정보 등을 AI가 정확히 이해해야 했다. 이를 위해서는 여러 각도에서 촬영한 다수의 사진이나 깊이 센서 같은 고가 장비가 필요했다.

HUSH는 360도 파노라마 이미지만으로 이런 정보를 파악한다. 파노라마 이미지는 일반 사진보다 넓은 범위를 담을 수 있지만, 둥글게 왜곡된 구면 구조에 따라 AI가 정확히 분석하기 어려웠다.

기존에는 이미지를 잘라 왜곡을 줄인 뒤 일반 AI 모델을 반복 적용했으나, 이 과정에서 정보 손실이나 비효율적 연산이 발생했다.

연구팀은 파노라마 이미지의 구면 특성을 정확히 반영하는 '구면 조화함수(Spherical Harmonics, SH)'라는 수학적 표현 방식을 활용해 이 문제를 해결했다.

이 방식은 구형 표면 정보를 주파수 성분으로 나눠 분석한다. 천장이나 바닥 같은 넓고 평탄한 영역은 저주파 성분으로, 가구나 물체 윤곽 같은 세부 복잡 구조는 고주파 성분으로 표현해 정확성을 높였다.

제1저자 이종성 연구원은 "구면 조화함수는 원래 가상 뷰 생성 분야에서 객체나 장면의 색감 표현에 주로 쓰이는 기술인데, 구면 위 데이터를 효과적으로 분석할 수 있다는 특성에서 착안해 파노라마 이미지 기반 공간 복원에 처음 적용했다"고 설명했다.

HUSH 모델은 기존 3D 장면 복원 모델들보다 깊이 예측 등에서 높은 정확도를 기록했고, 1개 이미지로 여러 공간 정보를 동시 예측할 수 있어 계산 효율성도 뛰어났다.

주경돈 교수는 "AR, MR과 같이 사용자 주변 실내 공간을 정확히 인지해야 하는 경우나 이미지 1장에서 유저와 상호 작용이 가능한 실감미디어 생성 등 실제 생활에 폭넓게 적용될 수 있을 것"이라고 말했다.

이번 연구는 컴퓨터 비전 분야 권위 학회인 CVPR 2025(Conference on Computer Vision and Pattern Recognition)에 채택됐다. CVPR 2025는 지난달 11일부터 5일간 미국 내슈빌에서 열렸다.