국립부경대학교 인공지능연구소 연구팀이 한국멀티미디어학회 2024년 추계학술대회 학부생 논문 경진대회에서 2편의 'BEST PAPER AWARD'를 수상했다.

최근 제주대학교에서 열린 이번 경진대회 현장 심사에서 국립부경대 인공지능연구소 주성욱·최다녕·정예찬 학생과 김채규 전임 연구원, 한국전자통신연구원 정치윤 박사 팀이 논문 'GradF2M: 시각-청각 감각대체를 위한 XAI 기반 음악 생성 방법' 연구로, 국립부경대 최다녕·장예찬·주성욱 학생과 김채규 전임연구원, 한국전자통신연구원 문경덕 박사팀이 논문 'LSTM 및 Transformer 모델을 이용한 얼굴 표정 감정 추출 기반 감정 음악 생성 방법에 관한 연구'로 각각 'BEST PAPER AWARD'을 받았다.

이 논문들은 감각 치환 기술에 대한 연구로, 상실된 감각 기관의 정보를 다른 감각 기관의 정보로 변환해 사용자에게 전달함으로써 이를 인식하도록 하는 것이다.

두 논문은 시각을 청각으로 대체하는 V2A (Visual-to-Auditory) 방법 중에서 얼굴 표정을 감정 음악으로 생성하는 방법을 제안해 우수한 평가를 받았다.

'GradF2M:시각-청각 감각 대체를 위한 XAI 기반 음악 생성 방법' 논문은 감정 분류 모델을 사용해 얼굴 표정 이미지에서 고차원 감정 정보를 추출하고, 이를 전달하는 방법으로 청각 정보 형태인 음악 멜로디로 정보 변환을 수행하는 방법을 제안했다.

또 설명할 수 있는 인공지능(eXplainable AI)에서 사용자가 이해 가능한 정보를 도출하고, 이를 청각 정보의 조절에 활용해 감각 대체 인식률을 개선하는 방안을 제시했다.

'LSTM 및 Transformer 모델을 이용한 얼굴 표정 감정 추출 기반 감정 음악 생성 방법에 관한 연구' 논문은 LSTM (Long Short-Term Memory) 및 Transformer 모델을 활용해 얼굴 표정에서 추출된 감정 멜로디를 바탕으로 감정 음악을 생성하고, 감정 가운데 기쁨과 슬픔에 대한 음악 생성을 위해 템포·조성과 같은 음악적 속성을 조정해 감정 전달력을 강화했다.

이 연구는 감정 음악 생성이 인간은 물론 로봇과 동물에게도 적용 가능성을 제시해 앞으로 감정 인식 및 상호 작용 기술의 발전에 기여할 수 있을 것으로 주목받았다.

한편 국립부경대 인공지능연구소의 김채규 전임연구원 연구실에서는 학부생들이 다양한 연구 프로젝트에 참여해 프로그램 코딩, 연구 논문, 특허 명세서 등을 작성하고 기술 개발을 통해 연구 경험을 쌓는 기회를 제공하고 있다.